这项由新加坡国立大学高级机器人中心、香港大学多媒体实验室、南洋理工大学以及新加坡制造技术研究院联合开展的研究，以预印本形式发布于2026年8月，论文编号为arXiv:2608.01397，有兴趣深入了解的读者可以通过该编号在arXiv平台查阅完整论文。
**一、机器人为什么总是"手忙脚乱"**
教机器人做事，远比看起来难得多。拿一个最简单的任务举例——把桌上的碗放进碟子里。对普通人来说，这不过是伸手、拿起、放下，整个过程不超过两秒。但对机器人而言，它需要搞清楚碗在哪里、距离多远、用多大的力气抓、放下去的角度如何控制，稍有偏差就可能把碗碰翻。
目前让机器人学会做事的主流方法，叫做"模仿学习"——给机器人看大量人类操作的视频或示范，让它从中提炼规律，形成自己的"行动策略"。这就好比一个厨艺学徒反复观看师傅炒菜，然后自己上手练习。然而问题在于，这种方法只是让机器人学会了"看到这个情况就做这个动作"，却没有让它真正理解动作背后的逻辑——我这一刀切下去，食材会变成什么形状？锅里的油温度再高一点，菜会不会焦？换句话说，机器人缺乏对自己行为后果的预判能力。
正是为了解决这个问题，研究人员提出了一类叫做"世界行动模型"（World Action Models，简称WAMs）的新方法。这类方法的核心思路是：让机器人在学习"怎么动"的同时，也学习"动了之后世界会变成什么样"。就像一位老练的棋手，走每一步棋之前脑子里已经预演了对方可能的应对，而不只是机械地套用固定招式。
然而，现有的WAMs方法在实践中遇到了一个棘手的矛盾，而这篇论文提出的SG-WAM框架，正是为了从根本上化解这一矛盾。
**二、"预见未来"有两种方式，但两种都有缺陷**
现有的世界行动模型大致分为两条路线，可以用"放电影"和"记笔记"这两种方式来类比。
"放电影"路线，学名叫"观测空间预测"，意思是直接预测未来的图像或视频画面。机器人在决定如何行动之前，先在脑中"播放"一段假想的未来视频——如果我把手伸向左边，未来的画面将会是这样；如果我向右，画面将会是那样。这种方式非常直观，但代价极高。因为图像里包含了大量与任务无关的信息：背景颜色、光线变化、桌布纹理……机器人要花费大量精力去学习这些与"把碗放好"根本没关系的视觉细节，就像一个厨师在记忆食谱的同时还要记住厨房墙壁的颜色，白白浪费脑力。
"记笔记"路线，学名叫"潜在空间预测"，是一种更聪明的压缩策略。机器人不再预测完整的图像，而是把场景压缩成一组抽象的数字向量——这些向量就像是场景的"精华提炼"，去掉了无关的外观细节，只保留关键信息。然而，问题就出在"关键信息"的定义上。这些用来预测未来的抽象向量，往往是由一套独立的"未来编码器"生成的，而机器人真正用来决策行动的表示，是由另一套系统生成的。两套系统各自为政，就像一个人用左手记笔记、右手执行动作，两只手的语言体系不一样，配合起来自然容易出问题。这就是所谓的"目标-策略不匹配"：预测未来用的信息，和生成动作用的信息，并不是同一种语言。
更深层的问题还在于：无论是哪条路线，现有方法大多对空间几何信息的处理不够重视。机器人操作任务的成败，往往取决于空间细节——碗离碟子的距离差了几毫米，抓取角度偏了几度，就可能全盘皆输。但现有的潜在空间表示往往是高度压缩的，精细的空间几何信息在压缩过程中流失了。
于是，一个核心问题摆在研究团队面前：如何构造一个既与动作生成紧密耦合、又富含空间几何信息的未来预测空间？SG-WAM的答案，是让机器人用"自己的语言"来预见未来，同时用几何知识来磨砺这门语言的精准度。
**三、SG-WAM的核心设计：一个会"自我预言"的机器人大脑**
SG-WAM这个名字，"SG"代表"Self-Guided"，即"自我引导"，"WAM"代表"World Action Model"，即"世界行动模型"。整个系统的运转逻辑，可以用"学徒培训"这个场景来贯穿理解。
把SG-WAM的机器人大脑想象成一家训练有素的厨艺学校。这所学校有一位"主厨"（VLM主干网络，基于Qwen3.5-0.8B语言视觉模型），负责综合感知——看清楚眼前的食材（视觉观测），听懂任务要求（语言指令），并形成对当前局面的整体判断。与此同时，学校里还有一批"实习生"，这就是SG-WAM引入的"可学习动态令牌"（Learnable Dynamics Tokens）。
这批实习生的特殊之处在于，他们没有固定的"岗位分工"，而是跟着主厨一起感知整个厨房的状态，专门负责记录和归纳"这道菜下一步会发生什么变化"。他们不是预先设计好要关注什么，而是在训练过程中自己摸索出最关键的信息该往哪里看。在具体实现上，这8个动态令牌被拼接在视觉和语言输入之后，与所有信息一起流经整个神经网络，最终形成对当前场景动态状态的紧凑表示。
**预测未来的方式：向"未来的自己"学习**
SG-WAM最独特的创新，在于它预测未来的靶子从哪里来。传统方法会找一个外部老师——比如一个专门处理未来图像的独立编码器——来告诉机器人"未来应该是什么样子"。而SG-WAM做的事情，是让机器人向"未来的自己"学习。
具体操作是这样的：训练时，除了当前时刻的观测之外，还会给系统提供几步动作之后的未来观测画面。然后，用当前网络的一个"慢更新副本"（指数移动平均拷贝，或称EMA版本）来处理这个未来画面，得到未来动态令牌的状态——这就是预测的目标。所谓"慢更新副本"，就像主网络的一个"稳重版本"：主网络每次训练都在快速调整，而这个副本的更新节奏要慢得多，每一步只吸收一点点主网络的变化（EMA动量系数设为0.999），始终保持相对稳定。这种设计借鉴了自监督学习领域著名的BYOL方法，用来防止预测目标不稳定导致训练崩溃。
在这套机制下，机器人用当前时刻的动态令牌状态，加上"即将执行的8步动作序列"，通过一个叫做"自引导世界预测器"（SGWP）的模块，预测出未来时刻的动态令牌状态。预测的目标——未来动态令牌的样子——则由同一套网络结构的慢更新副本来产生。简而言之，预测者和被预测目标说的是同一种语言，用的是同一套符号体系，只是一个看当下、一个看未来。这就从根本上消除了"目标-策略不匹配"的问题。
**动作怎么被输入进去**
预测时，即将执行的8步动作序列（每步动作是7维向量，涵盖机械臂各关节的运动）需要被编码成网络能理解的形式。研究团队用一个基于MLP的动作编码器将每步动作变成一个"动作令牌"，并给每个令牌加上时序位置编码，以保留动作发生的先后顺序——毕竟"先抓后放"和"先放后抓"是完全不同的故事。
自引导世界预测器内部由两种注意力机制组成。首先，当前动态令牌之间互相"交流"（自注意力），让每个令牌了解其他令牌在关注什么。然后，这些令牌以"提问者"的身份，去"询问"动作令牌序列（交叉注意力），从中选出与自己预测任务最相关的动作步骤来重点参考。经过这两步，预测器输出的就是对未来动态令牌状态的预测，训练时用均方误差损失函数来衡量预测与目标之间的差距，并以此来优化网络。
**四、空间几何感知：给机器人大脑装上"立体视觉"**
预见未来只是解了一半的题。另一半问题是：即便机器人能用"自己的语言"预测未来，这门语言是否足够精准，能够区分"碗差3毫米够不到碟子"和"碗正好放进碟子"这样细微的空间差异？
这就是SG-WAM几何监督模块发挥作用的地方。研究团队引入了一个预训练的三维几何基础模型——VGGT（Visual Geometry Grounded Transformer，视觉几何基础Transformer），作为"空间感知老师"。这个老师专门擅长从单张或多张图片中提取精细的三维空间结构信息，包括物体的深度、形状和相对位置关系，是在大量三维视觉数据上训练出来的专家系统。
几何监督的运作方式是"言传身教，不亲自上阵"。VGGT老师在训练时处理当前主视角的观测图像，提取出一套包含精细空间结构的几何特征（原始图像被缩放到518×518像素，经过VGGT处理后得到1369个图像块的特征，再通过自适应平均池化压缩到8×8个特征点，最终形成几何目标向量）。与此同时，SG-WAM主网络处理同一张图像，得到对应的图像令牌状态。然后，用一个轻量级的"几何投影器"把主网络的图像令牌映射到与VGGT特征相同的维度，再计算两者之间的余弦相似度损失——也就是让主网络的图像令牌在方向上尽量与VGGT的几何特征对齐。
这里用余弦相似度而非直接的数值差距，是有意为之的。余弦相似度只关心方向对不对，不管数值大小。这样做的好处是：主网络的图像令牌可以保持自身的数值尺度和分布，不会被过度约束，只是在"朝哪个方向理解空间"这件事上向几何专家看齐。这就像要求学徒"理解空间关系的思路要和师傅一致"，而不是"把师傅的笔记一字不差地背下来"。
重要的是，VGGT在整个训练过程中是完全冻结的，不参与梯度更新，也不在推理时出现。它只是训练时的一位特邀辅导老师，用来塑造主网络看图像的方式，让主网络的图像令牌里自然蕴含更丰富的三维空间信息。而这些被几何知识塑造过的图像令牌，会通过Transformer的注意力机制将空间信息传递给动态令牌，使得动态令牌的状态既服务于未来预测，又具备了空间几何感知能力。
**五、整个系统是如何工作的：从观测到动作的完整流程**
把上述所有组件串联起来，SG-WAM的完整工作流程如下。当前时刻，机器人的主视角摄像头（Kinect Azure）拍摄场景全景图，腕部摄像头（RealSense D405）拍摄近端操作图，再加上任务语言指令（比如"把碗放进碟子"），三类输入经过各自的编码器变成令牌序列。与此同时，8个可学习的动态令牌也加入这个序列，一起流经VLM主干网络（Qwen3.5-0.8B）的所有层，得到包含视觉令牌状态、语言令牌状态和动态令牌状态在内的完整上下文表示。
这套上下文表示随后服务于两个并行的任务。其一，送入"流匹配动作专家"（Conditional Flow-Matching Action Expert），生成接下来8步的动作序列。流匹配是一种近年兴起的生成建模技术，可以理解为：给定噪声和条件信息，学习一个"速度场"，使随机噪声沿着这个场的方向流动，最终变成合理的动作序列。其二（仅在训练时），动态令牌状态被送入SGWP，结合即将执行的动作序列，预测未来时刻动态令牌的状态，并与EMA副本产生的目标进行对比学习。
训练时的总损失函数由三项加权求和：动作模仿损失（权重为1）、未来状态预测损失（权重为0.1）以及几何对齐损失（权重为0.1）。三项损失共同优化同一套主网络参数，使得网络在学会模仿动作的同时，也把空间几何理解和未来状态预测的能力融入到它看世界的方式里。
到了实际使用（推理）阶段，VGGT老师、SGWP预测模块和EMA副本全部从系统中移除，只剩下在线VLM主网络、动态令牌和动作专家。输入当前观测和语言指令，直接输出动作序列。整个推理系统非常紧凑，没有任何额外的计算负担。
**六、实验结果：从仿真到真实世界的全面检验**
研究团队在两个仿真基准测试平台和一套真实机器人实验平台上对SG-WAM进行了全面评测。
**仿真测试：LIBERO基准**
LIBERO是机器人操作领域广泛使用的标准评测平台，包含四个子任务套件，分别考察空间推理能力（LIBERO-Spatial）、面向特定物体的操作能力（LIBERO-Object）、目标导向的行为能力（LIBERO-Goal），以及长时序任务执行能力（LIBERO-Long）。
SG-WAM在四个套件上的平均成功率达到98.5%，与当前最强基线方法持平。这一成绩尤为值得关注的背景是：SG-WAM使用的是仅有0.9B参数规模的基础模型，且完全没有经过额外的机器人具身预训练数据加持。对比来看，大多数高性能基线方法要么使用7B参数规模的大模型（如OpenVLA-OFT、WorldVLA、Spatial Forcing等），要么经过了大规模的机器人专用预训练（如π0、π0.5、GR00T N1.6等）。SG-WAM以更小的模型、更少的专用数据，取得了旗鼓相当乃至更优的结果，充分体现了其训练方法的高效性。
具体到各个子套件，SG-WAM在LIBERO-Spatial和LIBERO-Object上均达到99.4%和99.8%的成功率，与最优基线并驾齐驱甚至略有超越；在LIBERO-Goal和LIBERO-Long上分别达到98.6%和96.2%。其中LIBERO-Long历来是最具挑战性的子套件，因为任务需要机器人连续完成多个步骤，任何一步失误都会导致整体失败——SG-WAM在这一套件上优于大多数同等规模基线，表明其时序建模能力确有提升。
**零样本迁移测试：LIBERO-Plus基准**
更能检验泛化能力的，是LIBERO-Plus基准。这个测试平台的特点是：训练时只在标准LIBERO数据上学习，测试时则引入训练中从未见过的各种扰动，包括摄像机视角改变、机器人初始状态变化、语言指令措辞改变、光照条件变化、背景纹理变化、观测噪声增加，以及场景物体布局改变，共七种扰动维度。测试时完全不做任何微调或适应，是真正意义上的零样本迁移。
SG-WAM在LIBERO-Plus的总体成功率达到73.0%，超越所有对比基线，成为当前最佳。对比来看，在标准LIBERO上表现出色的Spatial Forcing和Fast-WAM，在LIBERO-Plus下成绩分别跌至29.1%和50.0%，说明其学到的表示较为依赖训练域的视觉外观。VLA-JEPA（2B模型）达到62.9%，OpenVLA-OFT（7B模型）达到69.6%，均低于SG-WAM的73.0%。
在各扰动维度的细分结果中，SG-WAM在摄像机视角（58.6%，最佳）、语言指令（81.4%，最佳）、光照条件（89.8%，最佳）和物体布局（74.2%，并列最佳）四个维度上均排名第一；在背景纹理（80.7%）和观测噪声（74.2%）维度上也保持竞争力；仅在机器人初始状态维度（48.9%）略低于VLA-JEPA（55.7%）。这一全面的分布外鲁棒性，表明SG-WAM学到的策略表示对浅层视觉变化和语言表达变化都具有较强的不变性。
**真实世界测试：三类物理操作任务**
研究团队使用UR5e机械臂构建了真实世界实验平台，设计了三个难度层次各异的操作任务。
第一个任务是带障碍物的取放操作：机器人需要从打开的抽屉里取出蓝色方块，越过一个阻隔物，放入碗中。这主要考察三维空间推理和避障轨迹规划能力。第二个任务是毛巾折叠：机器人需要将平铺的毛巾连续折叠两次，形成紧凑的叠放形状。每次折叠后布料的形态都会变化，下一次抓取点也随之改变，这主要考察对可变形物体状态的动态感知和几何感知能力。第三个任务是工具箱整理：机器人需要依次把一把螺丝刀和两个齿轮放入工具箱，最后关上盖子，共分为五个子步骤，主要考察长时序规划和多物体操作能力。每个任务收集了100条专家示范数据，并在标准设置和三种分布外扰动设置（背景变化、光照变化、新物体）下分别测试。
在分布内设置下，SG-WAM在三个任务上的成功率分别为75%（取放）、45%（折叠）和50%（工具箱），全面超越对比基线VPP（30%/35%/30%）和VLA-JEPA（35%/20%/20%）。在分布外扰动下，SG-WAM同样保持领先：以取放任务为例，背景变化时成功率55%（VPP为15%，VLA-JEPA为20%），光照变化时成功率60%（VPP为10%，VLA-JEPA为25%），新物体时成功率40%（VPP为10%，VLA-JEPA为20%）。
在工具箱整理任务的子步骤分解数据中，可以看到更细腻的规律：三个方法的成功率都随任务进展而下降（因为前面步骤的失误会影响后续步骤），但SG-WAM在后期步骤（如拾取第二个齿轮、关闭盖子）上的优势比早期步骤更明显，从50%比VPP的40%和VLA-JEPA的20%。这一现象暗示，SG-WAM的动作条件化潜在预测机制确实帮助系统在长时间执行过程中维持了更连贯的任务状态表示。
**七、消融实验：拆开来看，哪个部件最重要**
为了弄清楚SG-WAM各个设计要素的具体贡献，研究团队在LIBERO基准上进行了系统的消融实验。
当把几何监督和自引导世界建模两个模块都去掉时，只剩下基本的视觉语言动作网络，平均成功率为95.3%。单独加入几何监督后，成功率提升到96.6%，提升了1.3个百分点。单独加入自引导世界建模后，成功率提升到97.6%，提升了2.3个百分点。两者同时加入时，达到最优的98.5%，提升了3.2个百分点。这说明两个模块提供了互补的收益，简单相加的效果略低于真正同时引入。
世界建模模块对LIBERO-Long子套件的提升最为显著：没有世界建模时，该套件成功率为92.2%；加入世界建模后，提升到96.2%，提升了足足4个百分点。这与直觉相符——长时序任务最需要对动作后果的预判能力。几何监督模块虽然对LIBERO-Long的提升（从91.0%到92.2%）看起来数字较小，但它为世界建模提供了更有结构性的视觉上下文，两者的协同效应在完整模型中充分体现。
在动态令牌数量的消融实验中，从1个令牌到8个令牌，性能从96.1%稳步提升到98.5%，其中LIBERO-Long从90.2%提升到96.2%，改善幅度最大。然而，将令牌数量进一步增加到16个时，性能反而下降到97.2%，LIBERO-Long更下滑到92.4%。这一非单调的趋势说明，动态令牌承载的信息量有一个"最优区间"——8个令牌已经足以编码多样的交互动态，更多的令牌不会带来额外益处，甚至可能引入干扰。
研究团队还测试了"空动作"（null action）消融变体：将即将执行的动作序列替换为全零向量，其他架构完全保持不变。结果显示，空动作版本的平均成功率为97.6%，低于完整版的98.5%。四个子套件均有不同程度的下降，其中LIBERO-Long下降幅度最大（1.6个百分点）。这证明了动作序列本身确实携带了有用的信息，帮助系统更准确地预测动作对应的未来状态变化——当然，当前策略状态本身已经包含了大量预测信息，所以空动作版本仍然相当有竞争力。
**注意力图可视化：几何监督让机器人"看对了地方"**
研究团队还可视化了动态令牌对主视角图像令牌的注意力权重，直观对比了有无几何监督时机器人"在看哪里"。
有几何监督时，8个动态令牌普遍将注意力集中在与机器人-物体交互最直接相关的区域：机械臂末端执行器的位置、被操作物体（碗）的轮廓、目标放置位置（碟子）以及两者之间的空间关系。没有几何监督时，部分令牌的注意力会被视觉上显眼但与任务无关的区域所吸引——比如桌上颜色鲜艳的包装盒——而对机器人-物体的交互区域关注相对不足。这一视觉证据表明，几何监督确实将主网络的视觉表示重新组织为更以操作任务为中心的空间结构，为动作条件化的动态令牌预测提供了更有指导价值的视觉上下文。
**八、系统实现的完整技术细节**
为了让感兴趣的读者有更清晰的认识，这里补充一些关键的实现参数。SG-WAM的VLM主干网络为Qwen3.5-0.8B，是一个视觉语言双模态模型。训练时使用全部四个LIBERO标准套件的联合数据，训练40000步，全局批大小为96。学习率采用余弦衰减调度，有5000步线性热身；VLM主干的峰值学习率为1e-5，仅在训练时使用的辅助模块（几何投影器、SGWP等）为2.5e-5，动作头为1e-4。VGGT老师使用的是VGGT-1B规模的预训练模型，推理时完全去除。EMA动量系数固定为0.999。几何损失和预测损失的权重均为0.1。真实世界实验的训练设置与仿真实验基本一致，所有三个真实任务联合训练40个epoch，批大小96，不对任何单独任务进行特殊微调，同一个最终检查点用于分布内和分布外评测。
说到底，SG-WAM做到的事情可以用一句话来概括：它让机器人用"自己的眼光"来理解未来，而不是借用别人的眼睛；同时，它还让机器人的眼光变得更有深度——字面意义上的"深度"，因为几何监督让它看图像的方式天然包含了三维空间感知。这两件事结合起来，让一个只有0.9B参数、没有大规模机器人专用预训练的轻量模型，在多项基准测试上与甚至超过了使用7B参数、经过大量专用预训练的竞争对手。
当然，每一项研究都有其局限性。SG-WAM目前仍在桌面操作场景下验证，距离自由移动的服务机器人或复杂工业环境还有相当的距离。研究团队也明确指出，未来的工作方向包括将这一自引导世界建模框架扩展到更大规模的策略主干和更广泛的跨具身形态数据集，探索不同机器人平台之间的迁移能力。
这条路还很长，但SG-WAM迈出的这一步，方向是清晰的：不为了预测而预测，而是让预测成为行动的有机组成部分——用同一套语言，同时说清楚"现在怎样"和"动完之后怎样"，再决定"该怎么动"。
Q&A
Q1：SG-WAM与其他机器人操作模型相比，最大的不同是什么？
A：SG-WAM最大的不同在于它让机器人用"自己的表示"来预测未来，而不是依赖外部独立的未来编码器。预测目标由同一套网络结构的慢更新副本（EMA副本）产生，这样预测系统和动作生成系统说的是同一种语言，避免了传统方法中预测目标和行动决策之间信息不对齐的问题。同时，SG-WAM还引入VGGT几何老师来强化空间感知，但只在训练时使用，推理时完全去除，不增加额外计算负担。
Q2：SG-WAM的几何监督是怎么工作的？
A：训练时，SG-WAM用一个预训练的三维视觉模型VGGT处理当前观测图像，提取精细的空间几何特征作为"目标"。主网络的图像令牌通过一个轻量投影器映射后，与这些几何目标计算余弦相似度损失，让主网络学会用更具三维空间结构感的方式来理解图像。VGGT本身全程冻结，不参与训练，推理时也被完全移除，只是充当训练时的"空间感知老师"。
Q3：SG-WAM用的模型参数量只有0.9B，为什么能超过7B的模型？
A：SG-WAM的核心优势不在于模型规模，而在于训练方式。通过自引导世界建模，网络在学习模仿动作的同时，还被迫学会预测动作的后果，这使得学到的表示更加丰富和结构化。几何监督进一步让视觉表示具备空间感知能力。两种额外的训练信号共同作用，让较小的模型学到了更有泛化价值的策略表示，在分布外测试中尤其明显——对视觉外观变化更不敏感，对任务的核心空间关系理解更深。