大模型论文 | 清华智谱联合发布 GLM-4.1V：构建可解释、可扩展的多模态思维模型

人类感知世界的方式从不局限于文字。我们通过图像阅读新闻、借助视频学习知识、在界面中执行任务。正因如此，多模态模型——能同时理解图像、语言甚至视频的系统——被认为是迈向“通用智能”的关键技术之一。

然而，理解与“推理”是两个层次。大多数现有视觉-语言模型在图像理解上已经可圈可点，但面对复杂的科学题目、图表分析或跨页面文档推理时，却往往力不从心。真正的挑战，在于跨模态、跨任务的深度“推理能力”。

7 月 2 日，智谱正式开源新一代视觉推理模型 GLM-4.1V-Thinking，引发业界广泛关注。作为一款仅 9B 参数体量的模型，它在 18 项权威多模态基准上超越 Qwen2.5-VL-72B 等超大模型，以近 1/8 的规模夺得 SOTA，展现出惊人的效率与实力。

GLM-4.1V-9B-Thinking 核心架构由 ViT 视觉编码器、MLP 特征适配器与 GLM 大语言解码器构成，并引入 2D-RoPE 与 3D-RoPE 双位置编码方案，极大增强了其在空间与时序建模中的表现力。此外，该模型首创性地采用课程采样强化学习（RLCS）策略，在保障稳定性的同时，有效提升跨领域推理能力。

一场融合感知与推理的跃迁实验

“GLM-4.1V-Thinking”是一款以“思考（Thinking）”为核心的视觉语言模型，它不仅关注模型能否“看懂”，更在意是否能“想清”。

项目的核心目标是打造一套统一的推理型多模态训练范式，通过构建高质量视觉语言基础模型（ViT 编码器+GLM 解码器架构）；融合指令微调与长链式思维训练机制；引入“课程采样强化学习”（RLCS）策略，解决 RL 中的学习退化与效率低下问题；设计精细的领域奖励系统，使模型在 STEM、GUI、文档理解等领域均表现出类拔萃。

图1：（A）GLM-4.1V-9B-Thinking在一系列任务中与更大的Qwen2.5-VL-72B和闭源GPT-4o相匹配或表现更好。（B）强化学习大大提高了模型的性能，增益高达+7.3%。

这一模型不仅在多个公开基准上超越了 Qwen2.5-VL-72B 等超大规模模型，在某些任务中甚至超过闭源的 GPT-4o，成为 10B 级别以下模型中实至名归的多模态推理新标杆。

脱胎于清华，锻造于智谱

这一成果背后的力量也值得铭记。GLM-4.1V-Thinking 由清华大学与智谱 AI 联合打造，是“产学研协同”的最佳注脚。团队成员超过六十人，涵盖模型设计、数据工程、系统架构、任务评测多个维度。

团队包含了数据处理工程师、系统架构师、算法研究员以及评测设计师，涵盖从基础设施到任务落地的全栈能力。

智谱 AI 提供工程落地与平台支持，清华大学贡献了理论研究与前沿算法方向的力量，体现了“产学研协同创新”的典范。

更关键的是，团队以开源为信条，发布了完整的代码、模型权重和训练组件，为全球研究社区贡献了宝贵的资源。

论文链接：https://arxiv.org/abs/2507.01006
项目地址：https://github.com/THUDM/GLM-4.1V-Thinking

1、模型架构概览

我们看看这样一个过程：模型“看”一段视频，理解其中的画面，结合图表识别或界面操作内容，再基于逻辑推理生成结构化的答案。这不是魔法，而是 GLM-4.1V-Thinking 所展现的真实能力。那么它是如何实现的？

三大核心组件：分工明确，协同高效

图2:GLM-4.1V-Thinking的架构。所提出的模型由三个部分组成：（1）用于处理和编码图像和视频的ViT编码器，（2）用于将视觉特征与标记对齐的MLP投影仪，（3）作为语言解码器的大型语言模型，用于处理多模态标记并产生标记完成。GLM-4.1V-思维可以将图像和视频感知为其原生分辨率和纵横比。对于视频输入，在每一帧后面插入额外的时间索引标记，以增强模型的时间理解能力。

整个架构由三个核心模块共同搭建而成，每一个都肩负关键任务。

视觉编码器 ViT Encoder这一模块采用 AIMv2-Huge 视觉骨干网络，支持 2D 图像和 3D 视频的统一建模。特别之处在于视频输入部分用到了 3D 卷积，不仅能提取空间特征，还能感知时间动态，并通过 2 倍的时间维度下采样提高处理效率。而对于静态图像，系统会通过帧复制来维持一致的输入结构，保持信息对齐性。

MLP 投影器：视觉→语言的转换器 视觉编码器输出的是浮点表示，而语言模型只认识 token。这里，MLP 投影器扮演了关键角色——它是两者之间的翻译器，负责将视觉特征准确映射为语言 token，使后续推理更自然地在多模态语境下展开。

语言解码器：GLM 大语言模型 最后登场的是大语言模型（GLM 系列），作为解码器，它对多模态 token 进行理解与生成。也正是这一模块将视觉知识转化为结构化表达与推理链条，实现从“看见”到“思考”的跃迁。

空间适配与位置编码：为图像赋予空间感知力

多模态推理中，图像的空间结构决定了信息的关键线索。GLM-4.1V-Thinking 在这方面也做了细致的优化。

2D-RoPE 与双三次插值：适配任意宽高比图像 面对极端宽高比图像（如 200:1 或超高分辨率 4K），传统的绝对位置编码机制容易失效。为此，模型引入了 二维旋转位置编码（2D-RoPE），结合双三次插值（bicubic interpolation） 方法，根据图像 patch 的归一化坐标动态生成位置嵌入，从而提升对复杂图像空间结构的感知能力。

3D-RoPE**：空间理解延伸至语言模型内部** 更巧妙的是，为了让语言模型对空间结构有更深刻的理解，研究者将 RoPE 编码从二维拓展到三维，使其在 LLM 内部也能感知视觉 token 的空间层级，实现语言与图像之间的深度融合。

图3：比较pass@kMathVista中由非多项选择题组成的子集的表现。

时间建模机制：理解**“时间”**的思维之眼

视频作为动态信息载体，其挑战不仅仅是“看清”，更在于“看懂时间关系”。为此，GLM-4.1V-Thinking 增强了时序建模机制。

时间索引 token：赋予视频帧“时间标签”在每一帧图像后，模型会插入一个time index token，通过编码时间戳来提示“这一帧发生在第几秒”。这种设计使模型能够理解帧间的顺序和时间跨度，从而更准确地捕捉动作连续性与事件逻辑。

时间信息融合：顺序不仅重要，更具语义价值 视频帧不像多图输入那样独立存在，它们构成了一个连贯的时间流。通过显式加入时间标记，GLM-4.1V-Thinking 具备了基础的时态推理能力，为之后的视频问答和事件预测奠定了认知基础。

2、预训练数据与策略

当我们谈论多模态大模型时，“数据”早已不再是喂饱参数的燃料，而是点燃推理能力的引线。GLM-4.1V-Thinking 的成功，根源于其对预训练数据的超精细打磨。它像一位多才多艺的学者——不只读书，还读图、识字、看视频、操作界面；而这一切，靠的正是它所接受的严格、多元、真实的“训练”。

图4：重述模型结果示例。重述过程消除了原始数据中的噪音和幻觉内容，同时完全保留了事实知识。

图文协同的语言感知训练场

构建图像-文本配对数据，绝非“抓几张图配段话”那么简单。GLM-4.1V 首先从超百亿对图文数据中起步（如 LAION、DataComp 等），随后经历四道筛选工序。

1. 启发式过滤剔除分辨率低、颜色纯、描述太短等“噪声图”；
2. 使用 CLIP 模型判断图文语义是否契合，确保两者在“聊同一件事”；
3. 借鉴 MetaCLIP 进行概念重采样，解决长尾概念稀缺问题；
4. 训练重述模型对文本进行事实增强重写，让配图文字既精确又富含知识密度。

这一过程就像“人肉知识图谱编辑”的自动化升级：确保模型接收到的是广度和深度兼具的跨模态世界理解教材。

图文交错数据：让模型学会如何**“读网页”与“翻书”**

不是所有图像都在 alt 标签里。网页、教材、论文中的图文交织场景，才是真实世界的日常。

GLM-4.1V 针对这类复杂数据设计了两条高质量获取管线。

网页内容：从海量网页中清除广告、二维码、纯图册等“低信息密度内容”，再通过一个“知识密度分类器”优先保留图表、地图、科学插图等高价值图像。

学术图书：从 1 亿多本 PDF 图书中挑选出 STEM 相关资料，解析结构、提取图文混排部分，让模型掌握“读图带文字”的复杂格式能力。

这不仅提升了模型对图文结构的建模能力，也为日后长文档理解打下了良好基础。

机器读字，不只是认字

从文档中识别文字，是多模态模型能否胜任办公、教育、智能搜索等任务的核心。

GLM-4.1V 构建了一个覆盖场景广、结构多样的 OCR 数据集。

合成文档图像：将语言训练语料中的文字渲染成不同字体、颜色、角度，再嵌入图片背景，模拟海报、简历、课件等真实文档；

自然图像文字识别：借助 Paddle-OCR 从照片中自动提取真实场景下的文字（如街景、商品包装）；

学术文档图像：借鉴 Nougat 工具链，将 arXiv 论文的 LaTeX 源文档渲染成 PDF 图像并标注其对应结构内容。

这三类数据共同赋予模型“从图中读懂字，从字中读出意”的识文断意本领。

Grounding：看清说清“它在哪儿”

定位（Grounding）任务要求模型能“把话说到图上”，比如“图中那个绿色小车是哪个？”这是从感知迈入交互的关键一环。

GLM-4.1V 分别从自然图像与 GUI 界面两个维度构建 Grounding 数据。

自然图像定位：使用 GLIPv2 模型为LAION 图像生成标注框，标出图中文本中每个名词短语对应的区域，最终得到 4000 万条定位标注。

GUI 界面标注：使用 Playwright 工具对网页进行“互动式截图”，不仅截图，还提取可见DOM 元素的位置与文本，实现图形界面上的精细语义定位；通过 Referring Expression QA 任务训练模型生成/理解指代表达。

这让模型学会在图像中“指出来”，并在软件界面中“点得准”。

视频-文本语料，捕捉时间的节奏与逻辑

理解视频，从来不只是逐帧阅读那么简单。动作的起承转合、字幕的时序关系、镜头的构图语言……这背后需要更深的时态建模。

GLM-4.1V 针对视频数据进行全方位构建。

汇集来自网络、学术与私有源的多类视频资源；

结合人工标注，精细捕捉动作行为、场景文字；

专门标注摄像机运动轨迹、镜头语言元素；

采用多模态嵌入去重策略剔除语义冗余，确保训练语料高质而不重复。

如此构建的视频-文本数据集，帮助模型真正理解“谁在什么时候做了什么”。

指令微调语料

真正的“思考型”模型，不只需要知识输入，还要掌握“如何回应”、“何时推理”、“怎么做计划”。

GLM-4.1V 的指令微调数据正是为此量身打造。

搭建了一个细粒度任务分类体系，覆盖 STEM、GUI 操作、文档分析等复杂场景；

对数据来源严格筛查，防止与评测集重叠，确保训练公平性；

融合自动生成与人工设计，扩充语言、多轮推理与视觉对话任务；

支持中英文为主的多语种场景，强化模型语言迁移能力。

这些高质量指令样本，让模型拥有更自然、更稳健的推理风格和语言响应策略。

3、监督微调（SFT）

走出数据喂养的“感官阶段”后，GLM-4.1V-Thinking开始进入“思考的演练场”——也就是监督微调（Supervised Fine-Tuning, SFT）阶段。这个阶段的目标并非让模型学习更多知识，而是让它学会如何“有逻辑地表达自己的推理过程”。你可以把这部分训练想象成教一位学者不仅要答题正确，还要在考卷上写出完整的解题步骤与思路。

理性推理，需要格式，也需要想法

在多模态任务中，模型不仅要对输入“看得见”，更要对输出“讲得通”。为了让这种推理过程变得清晰透明，GLM-4.1V 使用了一种特别的思维格式：

<think> … </think> <answer> … </answer>

这种结构强制模型将“推理过程”和“最终答案”分开，前者可以包含反思、回溯、验证等思维策略，后者则是一个干净、逻辑自洽的解答。

这样的设计不只是形式美学，它为后续的强化学习建立了逻辑监督的基础。特别是对于可验证的任务（如数学推理、图表理解），这种结构化格式可以帮助系统精确评估是否“答对了”，而不是仅仅“说得像是对的”。同时，它也兼容开放式任务，如指令执行、多轮问答等，赋予模型“思路导向输出”的能力。

数据清洗：推理可不容出错，思路必须讲清

在模型精度如履薄冰的强化学习阶段之前，训练数据的清洁度决定了走得稳不稳。为此，GLM-4.1V 对微调数据的打磨十分“洁癖”。

每一个样本都需经过格式校验。凡是 <think> 与 <answer> 标签使用不规范、逻辑混乱、语言风格冗余的样本，统统淘汰。

同时，为了控制样本难度，系统会剔除过于简单或过于复杂的实例，保持一个“适中难度带”，确保模型在推理深度与泛化能力间取得平衡。

更令人佩服的是，它还设计了“知识反哺机制”：在强化学习阶段表现出色的样本，可以“回流”到微调数据中。这种从 RL 检查点回采高质量思维样本的方式，不仅提升了数据质量，也让模型在训练中反复暴露于“优质思维范例”之中，强化逻辑结构与语言表达的合规性。

微调流程：让语言与视觉开始通力合作

在训练层面，GLM-4.1V 的 SFT 阶段注重长文本能力，也特别强化了跨模态的协同训练。

序列长度被设置为高达 32,768 tokens，这意味着模型可以在一次输入中处理长篇章的推理任务，比如多页文档、长视频、多轮对话等；

批大小为 32，恰好平衡了并行效率与梯度稳定性；

训练语料中不仅包含文本任务（如数学解题、代码生成），也包含图文结合任务（如图表推理、界面问答），确保模型在不同模态下都能“讲逻辑、说人话”。

这就像在给模型上“思维演讲训练班”：不光得讲清楚问题逻辑，还得能把话讲漂亮，把内容讲对路。

4、可扩展强化学习（RL）

在 AI 的训练中，强化学习一直是最令人兴奋却也最具挑战性的部分。而GLM-4.1V-Thinking 在这一阶段，不是简单地套用旧公式，而是以一种极具创造性的方式——构建了一个系统完备、机制多元、实践扎实的可扩展强化学习范式。接下来，让我们走进这套精密而大胆的训练机制，看看思考如何被真正“强化”起来。

一场融合两个世界的强化实验

传统 RL 往往注重“最终得分”，而多模态模型面临的任务复杂，很多答案是开放式的、模糊的，单纯打分远远不够。因此，GLM-4.1V 结合了两条主线。

RLVR （Reinforcement Learning with Verifiable Rewards）：针对那些有客观标准的任务，比如数学、图表分析等，系统通过规则和匹配来判断答案是否正确。

RLHF （Reinforcement Learning with Human Feedback）：面对如对话、写作等主观任务，则通过训练的奖励模型进行评价，更贴近人类偏好。

整个过程使用 GRPO（Generalized Reinforcement Policy Optimization）作为优化目标，是 PPO 的改进版本，适应多样化分布和非对称奖励信号，让训练更稳定、更泛化。

不是喂模型吃数据，而是喂它“对的食物”

强化学习的第一步，不是开跑，而是准备跑道。

GLM 团队为每个子任务（如 STEM、GUI、Grounding 等）都进行了精细化处理。

确定可验证子任务范围，避免开放式“打游击”；将选择题转换为填空题，减少随机猜对对学习的干扰；借助老版本 RL 模型与人类难度标签，对样本进行难度分级；再通过小批量试训，验证某任务是否“值得 RL”。

这就像是一场赛前精训：确保训练的不只是“重复答题”，而是真正能带来能力提升的任务范畴。

图5：当某些多模态子域中存在低质量验证器时，训练奖励曲线（顶部）和评估指标（底部）。STEM验证器经过精细调整，但其他单图像和其他多图像验证器没有，导致：（a）奖励noise@other-single-image：该模型在不提高实际准确性的情况下调整输出以提高奖励。（b）奖励hacking@other多图像：模型学习重复欺骗验证者的快捷方式，从而夸大奖励。在步骤150之后，STEM奖励增长停滞，整体多模式基准下降，STEM相关基准（MMMU、MathVista、AI2D）急剧下降。

AI的“奖罚分明”怎么做？

一个可靠的奖励系统，不只是打分器，它是整个 RL 稳定与否的命脉。

在 GLM-4.1V 中，奖励系统不仅要会判“答对没”，更要理解“你是怎么答对的”——这需要：

• 共享验证函数：如抽取答案框、格式识别、精确匹配等，是所有子任务通用的“底座”；
• 任务定制模块：比如数学用 SymPy 做数值近似匹配、OCR 计算编辑距离、Grounding 比 IOU 阈值、文档语义交由 LLM 来判断；
• 风格与格式检测机制：答案中若乱用标签、中英混杂或废话连篇，会被给予惩罚；
• 语言质量奖励模型：综合判断语言是否清晰、是否紧扣指令，既讲道理，又讲表达。

这些机制让每一次反馈都既具体、又有指导意义，不只是“好/不好”的二元化，而是“哪里出问题了”的智能提示。

RLCS ：让强化训练像教学生分层教学

训练效率不靠“猛刷题”，而是靠“刷对的题”。

GLM-4.1V 引入课程采样机制 RLCS（Reinforcement Learning with Curriculum Sampling）。

离线阶段：通过多个模型对数据进行 pass@k 测试，并结合专家标注，将样本划分为不同难度层级；

在线阶段：根据模型在 rollout 中的表现，动态更新每层样本的采样比例，重点集中于“学得动”的中间难度。

为了进一步提升效率，还启用了大批量训练策略：加快训练步伐；动态采样扩展（EMA）：在无法预知 batch 是否有效时，提前过采样，优选中等难度示例；强制回答机制：当思维过程过长被截断，系统会插入结束 token 迫使模型输出答案，避免训练梯度消失；移除 KL 损失 + 提高 Clip 上限：放松策略收敛限制，激发模型探索空间。

这不是简单的采样优化，而是一整套围绕“学习效率”进行的动态课程设计，让模型每一轮训练都有效、有用、有提升。

稳定性守护者，RL 不再是“走钢丝”

强化学习一不小心就会训练崩溃。GLM 团队为此做了多重稳定性保护。

严格控制冷启动数据质量。思维混乱、路径冗长的样本会导致 RL 迅速塌陷；

移除熵损失。尽管它能提升多样性，但在多模态任务中更容易诱发乱码；

采样设置为top-p = 1，保证全词表覆盖，防止冷门 token 被遗忘；

使用per-sample loss计算方式，即先计算单样本的平均 token loss 再取平均，训练更平稳；

格式相关奖励最好在 SFT 阶段就学会，RL 阶段再学格式容易引入干扰。

正因为有这些防线，RL 阶段才能从“高风险探索”变成“可靠加速器”。

工程体系：大模型 RL 的幕后基建

要跑得快，地基得稳。GLM-4.1V 的强化训练基础设施做得可以说是工业级别。

序列长度负载均衡：由于样本长短不一，训练系统在 rollout 后会按计算量为各个并行节点合理分配样本，避免“拖慢队友”；

序列打包 + 梯度累积：将多个变长样本组合为固定长上下文（如 32K token），再通过梯度累积策略实现优化；

样本重打包启发式策略：智能排序样本，使得每轮训练用最少 micro-step 完成所有样本计算，forward-backward 时间减半；

动态采样扩展与预分配：让并行采样与模型优化互不拖后腿。

这是一套“想清楚再开跑、每步都算准”的系统性设计，是 GLM-4.1V 能稳定执行跨模态 RL 的根本保障。

5、模型评估与对比实验

当我们谈论“通用多模态智能”的理想状态时，它不应只是模型结构的炫技，更要接受现实任务的全方位拷问。而 GLM-4.1V-Thinking 在大规模强化训练完成之后，也确实走进了“考场”——一次涵盖八大类别、28 项公开基准的评测挑战，真实还原模型面对世界时的临场表现。

测试场景布设得有多硬核？

这不是某一两个小众任务的专精测试，而是一场全景级别的硬核打擂台。GLM-4.1V-9B-Thinking 被投放在如下八类核心任务中：

1. 通用视觉问答（如 MMBench、MMStar、MUIRBENCH）
2. STEM 科学推理（如 MMMU、AI2D、MathVista）
3. 图表与 OCR 解析（如 ChartQAPro、ChartMuseum、OCRBench）
4. 长文档理解（如 MMLongBench-Doc）
5. 图像定位（RefCOCO）
6. GUI 操作代理任务（如 WebQuest-QA、OSWorld）
7. 多模态代码生成（Design2Code、Flame-VLM-Code）
8. 视频理解（VideoMME、MotionBench 等）

每项任务都代表多模态推理的一个“断层挑战”，从静态图像到动态图序、从结构化表格到跨页面文档、从语言符号到交互操作，几乎囊括了 AI 认知能力的全谱系。

而且所有模型评测都通过统一的工具链完成，使用 vLLM 推理框架，设定一致的最大输出长度（8192 tokens）、视觉 token 长度（图像 6144，视频30000），甚至连答案提取逻辑与评分模型都标准化为 GPT-4o，以保障每一分得分都有可比性。

图6：强化学习中的跨域泛化。我们在五个RL数据设置中评估SFT阶段模型：STEM、OCR和图表、基础、GUI代理和组合的“混合所有”。

每个模型都在与这些领域对应的五个基准套件上进行了测试。网格中的值显示了每个域的平均性能改进（负值表示性能下降），并且每个域内的单元格颜色都是标准化的。

跑分不是目的，能力差距才是看点

评测结果一目了然——GLM-4.1V-9B-Thinking 在 28 项任务中斩获 23 项冠军，在 10B 参数以下开源模型中几乎是“碾压式领先”。

比如在极具挑战的视觉问答任务中，它不仅超越了 MiMo-VL、InternVL3、Kimi-VL等主流模型，还在 STEM 领域的 MMMU-Pro、AI2D、VideoMMMU 等任务中稳居第一，展现出卓越的科学推理与结构阅读能力。

面对复杂数据图表，如 ChartQAPro 与 ChartMuseum，它也分别拔得头筹，在结构化信息抽取方面一骑绝尘。而在长文档理解任务 MMLongBench 上的表现更是抢眼——不仅理解跨页文本，还能维持上下文一致性与任务连续性，这一能力对于未来政务、医疗等高可靠场景至关重要。

而惊喜不止于与同规模模型比拼，更体现在“越级挑战”的结果上：在 18 项任务中，GLM-4.1V-9B-Thinking 的表现超越了 Qwen2.5-VL-72B，这是一款参数规模足足大了八倍的模型；在如 MMStar、MUIRBENCH、MathVista等高难任务中，它甚至跑赢闭源的 GPT-4o。

在这个领域，一项胜出可能是运气，但多项领先，则只能归功于策略、结构与训练的全局领先。

能力“迁移”的魔法：RL不只是单点突破

在实际部署中，我们更看重的不是某一个任务上的爆发，而是当模型接受某类任务训练时，是否能自动迁移、泛化到其它任务领域。GLM-4.1V-Thinking 的表现，让人充满信心。

研究团队做了一个巧妙的实验：分别只用单一领域的 RL 数据（如 STEM、OCR、GUI 等）训练多个模型，然后在五个任务类别上做横向对比。结果令人惊喜——

即使只在 STEM 上做强化学习，模型的视觉定位、界面理解、甚至一般问答任务表现都显著提升；

GUI Agent 任务的 RL 训练，对所有其它领域都有明显正向迁移，反映其多维任务天然融合了语言、视觉与交互能力；

多领域联合训练（Mix-all）则进一步证明：在多个任务上混合进行 RL 能实现更强的协同增强，尤其在 STEM、OCR 与 VQA 上有显著优势。

但也发现了边界：Grounding 与 GUI 两个任务在混合训练下没有显著收益，提示它们可能需要更精细的任务设计或个性化训练机制。

这说明多模态 RL 不再是“任务专精者”，它已具备“能力整合者”的潜质。而跨任务迁移，正是通用智能最初的模样。

推理不是魔术，质量需要被“看到”

一个模型能否给出“正确答案”固然重要，但“它怎么得出这个答案的”往往更关键。GLM-4.1V 的强化学习目前多数基于终局奖励，忽略了推理过程的质量判断，这就带来一个潜在风险：

模型可能“蒙对了”，但中间步骤一塌糊涂。

更糟的是，如果只看结果，错误的推理链条反而可能被强化，最终成为错误习惯。

未来的方向，显而易见——我们需要奖励系统具备“过程意识”：

• 识别幻觉型推理（hallucination chain）
• 捕捉逻辑跳步、因果错误
• 奖励具备严谨结构与真实依据的思考路径

这就意味着，奖励模型本身也要“学会推理”，甚至像一个“思维裁判”，对每一步思考做出判断。这一步虽难，但不可回避。

让强化学习少一些“易燃体质”，多一些“抗风韧性”

不可否认，RL 在多模态世界中仍是脆弱的。哪怕微小的奖励信号失衡，都可能导致模型行为异化、训练崩溃。

虽然 GLM-4.1V 在后期版本中通过 RLCS、奖励体系与冷启动数据的改进提高了训练稳定性，但那种“走钢丝般”的敏感依然存在——奖励变化过快、样本格式不规范、反馈滞后等因素都可能引发训练“地震”。

下一步，我们或许需要一种更加鲁棒的 RL 框架。

能自动检测训练崩溃迹象并动态调整策略；能在缺乏高质量奖励信号时依然进行稳健探索；在面对多个目标时具备“多目标调和能力”。

换言之，未来的 RL 不应只是强化模型的“结果导向能力”，更要强化算法本身的“自我修复能力”。

当模态之间彼此照亮：单模态任务真的会受益吗？

一个令人兴奋的问题浮现：多模态训练是否可以反哺传统的文本任务？

比如从视频中学习叙事节奏，是否能改善模型的写作能力？GUI 操作任务中的规划推理，会否增强语言模型的策略生成水平？视觉定位训练是否能提升文本中空间类描述的理解力？

GLM-4.1V 的实验间接证明了跨模态迁移的可能性——图文任务提升了推理表现、界面任务强化了 OCR 能力，这不再是“任务耦合”，而更像是“认知互补”。

未来我们应该更系统地开展如下探索：

• 多模态任务对文本能力的迁移图谱研究
• 模态之间的表征互换机制与知识融合接口设计
• 在资源受限情况下，如何用少量图像帮助文本模型获得“知识增维”

这将是“模态不是隔离岛”的真正启示。（END）

参考资料：https://github.com/THUDM/GLM-4.1V-Thinking

如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 大模型行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】