唐杰署名论文曝光内部多模态模型，下一代 GLM 呼之欲出？

GLM-5.3与GLM-5.3-Flash相继登场后（虽然两款模型名称同属一个系列，但训练时采用了不同的基座模型），智谱正持续强化模型的编程能力与长周期Agent表现，然而下一代GLM将如何演进，依然是外界高度关注的焦点。

除了更强的推理能力和更低的成本，另一个值得聚焦的方向是原生多模态。

最近，清华大学与智谱的研究团队在arXiv上联合发表了论文**《Can Visual Generation Expand What Unified Multimodal Models Know?》（“视觉生成能否扩展统一多模态模型的知识？”）**，通讯作者为智谱首席科学家、清华大学教授唐杰。

论文披露了一款此前未公开的智谱内部模型GLM-Omni，并试图解答一个略显反直觉的问题：模型通过图像生成所获取的知识，能否转化为语言推理能力？

在实验中，GLM-Omni在数字任务上正确绘制指定球衣号码的比例达到72%，但若仅通过文字询问同一号码而不提供图像，正确率却仅为2%。

随后，研究团队调整训练策略，将图像生成、图像观察与文字回答整合到同一条训练序列中，模型的平均文字问答准确率从12.57%提升至26.86%。在此基础上，允许模型在回答问题前先生成图像、再观察图像作答，准确率进一步升至41.14%。

这项研究并非下一代GLM采用某种架构的直接证据，但它提供了一个值得追踪的研发线索：当智谱已在GLM-5.3-Flash中实现原生多模态理解后，研究人员仍在探索如何更紧密地连接视觉生成与语言推理。

智谱就差你了

要理解这篇论文的意义，需先厘清一个概念：原生多模态，并不等同于模型能自主生成图片。

今年8月，智谱推出GLM-5.3-Flash，并将其定义为GLM-5系列首款原生多模态模型。它采用全新预训练基座，支持图像、视频等多模态输入，可在Coding Agent工作流中理解界面、观察渲染结果，并根据交互反馈调整代码。

但从公开的模型接口看，GLM-5.3-Flash的主要输出仍是文本。它能理解视觉信息，但并不代表它已在同一模型中原生具备图像生成能力。

这也是当前多模态模型的一个重要技术分野。

一类模型专注于多种信息的统一理解，使模型能同时处理文字、图片、视频等输入；

另一类模型则进一步尝试统一理解与生成，让同一模型既能理解视觉内容，也能直接生成图像，并探索两种能力间的知识共享。

后者面临的挑战，不仅是如何画好图片，还包括模型从生成任务中学到的知识，能否被其他任务调用。

唐杰此前谈及原生多模态时，关注的也不仅是增加一种输入或输出能力。在他看来，视觉、声音乃至触觉等信息的统一感知，是模型理解环境、执行长时程任务的重要基础。

对于需要持续观察环境、根据反馈调整行动的Agent而言，多模态不仅是功能扩展，还关系到模型能否真正进入复杂的现实任务。

今年6月，有网友在X上询问马斯克：中国模型何时能达到Fable的水平？马斯克回答：可能是第一季度。唐杰回应：不会花太长时间。

10月21日晚，官方运营向编程套餐用户发送了一份补偿通知。通知末尾写道：“新模型发布后还会再额外赠送一次重置卡”，这相当于预告更新即将到来。

多模态输出的隐藏能力

论文通讯作者唐杰是智谱首席科学家。三位共同第一作者李文凯、洪文逸、杨卓一在智谱实习期间完成了这项研究。

模型GLM-Omni以智谱开源的GLM-4.1V-Thinking为基座，参数规模为9B，属于较小的测试模型。研究团队提出了一套名为**Knowledge Transfer Probing（KTP，知识迁移探测）**的测试方法，核心在于区分两件事：

模型在图像生成时是否学到了某项知识；

它能否通过语言将这项知识表达出来。

这也是统一多模态模型值得探索的一项潜在价值。它不仅能让模型同时看图、画图，还可能使不同模态学到的知识相互补充，而不是各自独立工作。

为验证这一点，研究人员构建了一个虚构世界MagicWorld，其中的球队、人物、徽章等实体均不存在。例如，一支虚构球队的球衣号码是10，训练时只让模型学习生成印有号码10的球衣图片，文字提示中不提供该数字。

数据集包含颜色、数量、数字、形状、空间位置等7类知识，共350条，并扩展为8552组图像训练样本。这能尽量排除模型依靠已有文字记忆答题的可能性。

参与测试的除了智谱内部GLM-Omni，还有字节跳动的BAGEL和商汤的SenseNova-U1。三款模型采用了不同的视觉生成架构，研究人员分别检查它们能否正确绘制目标属性，以及在没有图片辅助时能否用文字回答。

第一轮实验便发现了明显的“会画不会说”。

GLM-Omni的平均图像生成正确率达到54%，但直接用文字回答相同知识的准确率仅为14.57%。其中，数字任务的图像正确率为72%，文字问答正确率却只有2%。SenseNova-U1的数字任务差距更大，分别为88%和0%。

这表明，模型已在图像生成过程中复现某些知识，却难以直接通过语言调用。换句话说，将视觉生成和语言理解置于同一模型中，并不意味着两种能力所掌握的知识能自动互通。

那么，问题究竟出在哪里？研究人员随后尝试了两种不同的训练方法。

第一种是文字对齐：为部分虚构实体补充文字问答，让模型学习如何回答相关问题，再测试它能否迁移到未见过文字答案的实体上。

但效果并不稳定。GLM-Omni的平均文字正确率甚至从14.57%下降至12.57%。这表明，单纯增加文字问答，并不足以稳定地将视觉知识转化为语言能力。

第二种方法则更具新意，称为图文交错对齐（Interleaved Image–Text Alignment）。

研究人员不再将生成图片和回答问题作为两种独立任务，而是将它们整合进同一条训练序列。例如，模型面对球衣号码问题时，先生成相关图像，再观察图像，最后给出文字答案。

结果，GLM-Omni在不允许临时画图的文字测试中，平均正确率从12.57%提升至26.86%。

为确定提升是否源于图像生成，研究人员还进行了一组对照实验：保留同样的训练样本和文字监督，仅去除交错训练中图像生成部分的损失信号。结果，准确率又降至13.71%。

这揭示了论文的第一个重要结论：

1）统一模型的知识共享，不仅取决于架构是否统一，还取决于不同任务的训练信号能否有效衔接。

2）图像生成提供的不只是输出功能，它本身也可能帮助模型建立可被其他任务利用的知识关联。

不过，即使经过联合训练，模型仍有大量视觉知识无法直接用文字表达。研究人员于是换了一个思路：既然模型能画出答案，为何不让它在回答问题时，先将相关内容画出来？

这就是第三轮实验采用的视觉思维链（Visual Chain-of-Thought）。

与之前改进训练方式不同，这次改变的是模型实际答题时的推理过程：先生成图像，再观察图像，最后组织文字答案。

效果更加显著。GLM-Omni的平均文字问答准确率从26.86%进一步提升至41.14%，增加14.28个百分点。其中，数字任务从0%提高到36%。

这也带来了论文的第二个重要发现：**图像生成不仅可能在训练阶段帮助模型学习知识，还能在推理阶段成为调用知识的一种中间表达。**对某些难以直接用语言回答的问题，模型可先通过生成图像呈现相关信息，再从中提取答案。

总体而言，这篇论文并未证明统一多模态一定优于独立模型组合，但为它提供了一项值得继续验证的技术价值：视觉生成不只是给用户画图，还可能成为模型学习、组织和调用知识的新途径。

这或许也是观察智谱在训练下一代模型时，关注到的一个重要方向。

多模态路线选择

统一多模态，下一代GLM会如何选择？既然让模型自己画图还可能提升推理能力，为何头部厂商没有全面采用这种架构？

2025年3月，OpenAI曾将原生图像生成整合进GPT-4o，强调图像生成应成为语言模型的核心能力。但在后续产品中，OpenAI又转向由GPT Image等专业模型承担图像生成。谷歌也在通用Gemini与Nano Banana图像模型之间形成了产品分工。

背后的现实考量是成本与效率。相比让旗舰模型包揽所有任务，专业模型更容易针对画质、速度和成本单独优化。

智谱同样如此，目前GLM-5.3-Flash主要负责多模态理解，GLM-Image则专攻图像生成。

有趣的是，唐杰早在2025年12月就曾表示，文本、多模态理解和多模态生成“可能最有效的方式还是分开发展”，但三者结合也值得探索，只是需要足够的资本支持。

那么，统一模型付出的额外成本，究竟能换来什么？

这篇论文给出了一个初步答案：**图像生成不只是增加一项输出功能，还可能让模型学到语言训练中没有的信息，并在训练和推理阶段转化为其他能力。**不过，研究尚未证明这种收益足以抵消统一架构的成本。

而智谱对下一代模型的布局显然不止于此。其最新融资安排涉及下一代GLM、完全自训练以及算力基础设施建设。在8月31日的智谱业绩交流会上，唐杰曾提出，GLM-6.0将探索模型的自我评估与持续改进能力。

同一份公告里也提到，智谱要提升基础模型的有效规模、原生上下文长度，以及“原生多模态统一建模能力”。

从GLM-5.3-Flash的原生多模态理解，到GLM-Omni探索视觉生成与语言推理的知识共享，可以初步嗅出下一代GLM的重要方向——不只是能否直接文生图，而是多模态能否真正成为模型能力增长的新来源。如果你对这些前沿技术感兴趣，不妨通过悦盈体育APP下载了解更多行业动态。

本文来自微信公众号“AI前线”（ID：ai-front），作者：四月、飞野，36氪经授权发布。