视觉-语言-动作模型：从看懂世界到控制机器人

机器人长期面对一个看似简单、实际很顽固的三重难题（视觉感知、语言理解和动作控制）：它要看懂眼前的物体，理解人类想让它做什么，还要把这种理解转换成不会撞翻杯子、不会捏碎水果的运动。视觉、语言和控制中的任意一项都已经有成熟模型，但把三者连成可靠闭环，远比把三个模块接上线困难。

传统机器人系统通常采用“感知—规划—控制”的流水线。摄像头模型报告“桌上有一个红色立方体”，语言模块把“拿起红色物体”解析为符号目标，规划器再搜索一条抓取轨迹。模块化的好处是可解释、易调试、安全边界清楚；它的问题则是每一次交接都可能损失信息。

例如，视觉模块也许知道立方体的位置和姿态，却没有把“它被杯子挡住一半”完整传给规划器；语言模块知道“拿起”是什么意思，却不知道当前夹爪的张开幅度；控制器能精确执行轨迹，却不知道人在中途移动了目标。最终，机器人不是完全不会做，而是只会在工程师预先覆盖的状态里做。

VLA 到底是什么？

视觉-语言-动作模型（Vision-Language-Action Model，VLA）是一类以视觉观察、自然语言指令以及可选的机器人本体状态为条件，直接预测机器人动作的策略模型。这里的“动作”可能是末端执行器位姿、关节目标、夹爪开合，也可能是一小段未来动作序列。

这个表达式揭示了两个容易被宣传语掩盖的事实。第一，VLA 是策略，不只是一个会描述图片的视觉语言模型；它的输出最终必须落到真实控制量。第二，VLA 并不保证“一个网络、一次前向传播就完成所有事情”。有些模型端到端输出动作，有些模型把慢速语义推理与高速控制拆成两个耦合系统。

从机器人 Transformer 到通用 VLA

VLA 并不是突然出现的一种单独架构。它沿着三条线逐步汇合：更大规模的多任务机器人数据、从互联网图文中获得的语义知识，以及更适合连续控制的动作生成方法。

这条时间线说明，VLA 的演进不是单纯增加参数量。每一代分别在知识来源、数据覆盖、动作接口和部署频率上解决不同瓶颈。

一条典型 VLA 数据路径

不同论文的实现细节差异很大，但大多数 VLA 都可以用下面五个阶段建立直觉。它们不是必须分开的五个程序，而是同一可训练计算图中的五类职责。

1. 视觉编码器：从像素提取“是什么”和“在哪里”

机器人首先面对的是一个高维、连续且不断变化的像素流。视觉编码器通常由 ViT 系列模型承担，将图像切分成 patch 并编码为视觉 token。像 SigLIP 这样的图文预训练模型擅长语义对齐，DINOv2 一类自监督视觉模型则能提供丰富的局部与空间特征。OpenVLA 的做法很有代表性：融合 SigLIP 与 DINOv2，再把视觉表示交给语言骨干。

“识别出苹果”只是最低要求。真正有用的表示还要保留苹果相对碗的位置、遮挡关系、可抓取部位，以及机器人从当前视角是否看清这些信息。

2. 投影与多模态融合：让视觉进入语言骨干

视觉编码器与语言模型的隐藏维度通常不同，因此需要线性层或 MLP 投影器把视觉 token 映射到语言模型使用的维度。随后，视觉 token、文本 token 与机器人状态可以被拼接到同一序列，或通过交叉注意力相互查询。

融合层承担的不是简单格式转换。模型必须学会把“红色杯子”这段文字与画面中的具体区域绑定，还要根据“放进碗里”判断哪些空间关系与后续动作相关。这就是视觉语言基础模型的互联网知识开始影响机器人策略的地方。

3. 语言或多模态骨干：把任务语义变成动作条件

语言骨干提供对象概念、关系理解、指令跟随和一定程度的常识迁移。RT-2 的关键观点正是：把机器人动作表示成模型能够生成的符号后，可以在视觉语言数据与机器人轨迹上共同训练，让网络知识迁移到控制任务。

但“会推理”不能等同于“会稳定控制”。大模型的一次错误补全，在聊天中可能只是一个错词；在机器人上却可能变成一次碰撞。因此，动作生成、闭环反馈、延迟与安全约束仍然需要专门设计。

4. 动作头：从隐藏表示回到物理世界

动作头决定模型如何表达“下一步怎么动”。一个常见的 7 维末端动作可以写成 [x, y, z, roll, pitch, yaw, gripper]，分别描述平移、旋转与夹爪状态。对人形机器人，输出还可能覆盖几十个关节自由度；对移动机器人，则会包含底盘速度和转向。

这些输出通常是末端位姿增量、关节目标或动作块，并不是直接施加到电机的电压与力矩。真实控制栈仍需要低层控制器把策略目标转换成执行器指令，并在碰撞、速度和力矩约束下运行。更准确的数据流应写成：VLA 策略 → 低层控制器 → 执行器 → 新观测。

单系统与双系统：统一不等于只有一个频率

“端到端”描述的是训练目标与信息流，不必然意味着所有计算都由同一规模的模型、以同一频率执行。机器人同时需要慢速的语义理解和高速的动态反馈，这形成了两条主要路线。

以 Helix 公布的设计为例，上层 System 2 使用较大的视觉语言模型读取场景和指令，以约 7–9 Hz 产生语义条件；下层 System 1 是更小的视觉运动策略，以 200 Hz 生成连续控制。两者并不是“规划完成后再一次性交给控制器”，而是异步更新：慢系统持续刷新任务语境，快系统持续根据最新视觉与本体状态纠偏。

GR00T N1 同样采用受人类“双系统”启发的结构，但其具体骨干、动作生成器和训练数据体系与 Helix 不同。把“单/双系统”当成设计范式比把所有实现混成同一张固定架构图更准确。

从模型图走到实时系统，还要看哪些数字？

对其他 VLA 也应记录同样的预算：端到端延迟、动作块长度、重规划频率、低层控制频率、显存与功耗，以及模型失效时由谁接管。只报告参数量或视频帧率，无法判断系统能否稳定部署。

动作编码：离散 token 还是连续轨迹？

语言模型输出的是离散 token，机器人的关节角度和速度却是连续量。如何跨过这条缝隙，是 VLA 最关键的设计选择之一。

离散路线也在进化

逐维、逐时刻分箱并不是离散动作的终点。FAST 使用离散余弦变换把一段动作压到频域，再进行 token 化，目标是用更少 token 表达高频、灵巧动作。它说明真正的比较不是“token 一定粗糙、连续一定精确”，而是动作表示能否同时保留轨迹结构、控制序列长度并跨机器人形态泛化。

一个可计算的例子：1 秒动作到底有多长？

假设机械臂以 50 Hz 运行，每个时刻输出 7 个动作维度，那么 1 秒轨迹包含 50 × 7 = 350 个连续标量。如果采用逐维、逐时刻的离散方案，自回归模型最多需要顺序生成 350 个动作 token；后面的 token 还必须等待前面的 token，这会直接影响控制延迟。

若归一化动作范围是 [-1, 1]，均匀分成 256 桶，单个桶宽约为 2 / 255 ≈ 0.0078，理想情况下的最大舍入误差约为半个桶，也就是 0.0039。换回真实单位后，这个误差会随工作空间或关节范围放大。

FAST 不再把 350 个标量彼此独立看待，而是先利用平滑轨迹在频域中的可压缩性，再对重要系数编码。π0 的连续动作专家则直接生成整个动作张量，并用若干流匹配积分步骤得到轨迹。三者真正的权衡是：顺序长度、重建误差、采样计算量和对新观测的反应速度。

五个代表模型，各自解决了什么？

下面的对照图把五种模型放在同一条“输入—骨干—动作生成—输出”轴上。RT-2 与 OpenVLA 主要复用语言模型的自回归 token 接口；π0、Helix 与 GR00T N1 则使用专门的连续动作模块。

VLA 如何训练，又如何在机器人上运行？

一条典型训练路线不是从零开始把所有能力一起学完，而是把互联网规模的视觉语言预训练与机器人示范数据连接起来。

1. 先获得视觉语言基础。视觉编码器与语言骨干从图文、问答、描述等数据中获得对象概念、关系与语言理解能力。
2. 统一机器人数据。不同机器人拥有不同相机、关节数、坐标系和控制频率。训练前必须规范图像、状态、指令与动作，并保留形态标识。
3. 用示范轨迹学习策略。最常见的是行为克隆：给定观察与指令，监督模型预测人类遥操作或已有策略实际执行的动作。
4. 为目标平台微调。通用预训练解决“从哪里开始”，具体机器人仍需用本机数据进行全量微调、LoRA 或动作头适配。
5. 在闭环中反复执行。模型不是生成整段脚本后退出，而是不断接收新画面、预测动作、执行一小段、再次观察并纠正。

三类公开数据集解决不同问题

轨迹数量不能独立代表数据价值。一小时双手灵巧操作与一小时重复抓取包含的信息密度不同；失败恢复、接触变化、操作者差异和语言标注质量，也会显著影响策略在分布外状态中的表现。

如何评测 VLA，而不只是观看演示视频？

机器人领域目前没有一个能跨硬件、跨动作空间直接排名所有 VLA 的通用榜单。一个成功率数字只有在同时说明机器人、数据、微调方式、任务分布和试验次数时才有意义。

常见基准各自能回答什么？

LIBERO 用语言条件桌面操作任务分别考察空间、物体、目标和混合知识迁移，适合比较微调与多任务学习，但它仍是仿真环境。

SIMPLER 通过视觉匹配与系统辨识缩小 real-to-sim 差距，并检查仿真能否正确排列真机策略。它能降低评测成本，却不能替代真机测试。

RoboCasa 提供厨房场景中的多任务和长时程操作，可用于观察策略在复杂环境中的组合能力。最终仍应以重复真机试验验证接触、延迟与安全问题。

三个反问：多眼、TB 数据与“智能涌现”

VLA 正在同时扩大感知通道、训练数据和模型能力，但这三种“变大”不能混为一谈。更多相机不一定意味着模型理解了三维几何，TB 级文件不一定包含足够多的有效经验，而任务泛化也不等于已经出现通用具身智能。

1. VLA 已经从单眼走向双眼、三眼了吗？

双眼已经出现，多视角也已经出现，但“三眼模式”还不是一种公认的 VLA 架构。早期 VLA 通常读取一张 RGB 图像：原版 OpenVLA 的标准输入是单张图像，最初的 Helix System 1 也使用单目画面。此时模型可以从物体大小、遮挡和训练经验中推断深度，却没有双目视差提供的直接几何线索。

Figure 后来为物流任务把 Helix System 1 升级为双目视觉骨干：两路相机特征先在多尺度网络中融合，再被转换为视觉 token。这是真正利用成对视角的架构，而不只是把两张图片依次塞给语言模型。Figure 报告双目版本相对非双目基线的有效吞吐量提升 60%，但这是特定物流任务上的厂商消融结果，不能直接外推到所有 VLA。

因此，判断一个模型是不是“多眼”至少要问三件事：训练时用了几路画面？这些相机是否标定并同步？网络是否显式或隐式学习了跨视角对应关系？只在输入序列里追加图片，和在 token 化前融合双目特征，拥有不同的三维感知能力与计算代价。

2. 机器人训练数据已经达到 TB 级了吗？

如果按文件体积计算，答案已经是肯定的。DROID 官方文档给出的完整 RLDS 版本为 1.7 TB，其中包含 76,000 条演示、约 350 小时交互；原始版本还保存全高清双目视频。Open X-Embodiment 聚合了 100 万条以上真实机器人轨迹，而 FAST 工作进一步报告了在 1 万小时机器人数据上训练 VLA，并用 100 万条真实轨迹训练通用动作 tokenizer。

还要区分三种数据：VLM 骨干使用的互联网图文数据、VLA 使用的带动作机器人轨迹，以及为某台机器人采集的微调数据。前两者可能非常大，最后一种却常常只有数小时到数百小时。VLA 今天已经进入“TB 级存储”，但仍没有进入可以随意覆盖现实长尾的“海量有效交互”阶段。

3. VLA 是否已经出现了“智能涌现”？

这里需要先缩小“涌现”的定义。RT-2 把互联网视觉语言知识迁移到机器人动作中，能够根据训练演示里没有出现过的数字、图标和物体关系重新组合已有抓放技能。论文称其为“涌现能力”，但也明确指出：机器人的物理技能仍受机器人训练数据中的技能分布限制。涌现的是语义解释与技能重组，不是凭空学会新的动力学能力。

更接近“随规模跨过阈值”的证据来自 Emergence of Human to Robot Transfer in Vision-Language-Action Models：研究者发现，只有当预训练覆盖足够多的场景、任务和机器人形态后，人类视频带来的机器人泛化收益才明显出现。这说明规模可能让模型形成更少依赖具体身体形态的表示。不过，该结论仍来自有限任务、固定评测设置和单一研究体系，离广义的“机器人智能突然出现”还有很大距离。

要把“涌现”从一个吸引人的描述变成可信结论，至少需要连续的规模曲线、严格未见的任务与形态、数据污染检查、对失败恢复和长时程行为的测量，以及多个团队的独立复现。现阶段更准确的说法是：VLA 已出现语义迁移和跨形态表征的局部涌现迹象，但尚未证明通用机器人智能已经涌现。

离“通用机器人”还差什么？

1. 数据覆盖与长尾失败

示范数据往往集中在成功、短时、桌面操作。真实环境中的反光、遮挡、柔性物体、工具故障和人类突然介入都属于长尾。模型在常见任务上成功，并不等于它知道何时应该停下来求助。

2. 时延和控制频率

大 VLM 提升语义能力，却也带来显存、功耗与推理延迟。动作分块、异步双系统和小型动作专家都在缓解这个矛盾，但分块越长，模型对中途变化的反应可能越慢。

3. 跨形态泛化

同一个“抓取”在双指夹爪、五指手和吸盘上对应完全不同的动作空间。共享语义并不自动解决运动学差异；模型需要形态条件、统一动作表示或专门适配层。

4. 可验证性与安全

VLA 是概率模型，现实控制却需要可预测的安全边界。碰撞检测、力矩限制、紧急停止、可达性检查和传统控制器不会因为端到端模型出现而消失。更可信的落地方式，是把学习策略放在经过工程验证的安全包络内。

5. 评估还不够统一

不同论文常使用不同机器人、任务、数据和成功标准。单个实验室的成功率很难直接横向比较；除了任务完成，还应报告扰动鲁棒性、恢复能力、延迟、能耗和失败严重程度。Figure 与 NVIDIA 的结果还属于厂商技术披露；在没有公开权重、统一硬件和独立复现时，应把“演示能力”和“可复现基准”分开陈述。

结语：VLA 的意义是重写接口

VLA 最重要的变化，不是宣布传统机器人学已经过时，而是重写了高层语义与低层控制之间的接口。过去，这个接口由工程师设计的对象标签、状态机和动作原语构成；现在，它可以是一段从视觉语言表示中学习到的连续潜变量，也可以是一串可由 Transformer 预测的动作 token。

这让机器人有机会复用互联网知识、跨任务学习，并用自然语言接受新目标。但真正的革命不会只来自更大的语言模型：它还依赖更好的机器人数据、更高效的动作表示、更可靠的闭环反馈，以及能够约束概率模型的安全系统。

参考资料

1. NJ Raman. Vision-Language-Action Models: The Architecture Powering the Robot Revolution, 2025.
2. Brohan et al. RT-1: Robotics Transformer for Real-World Control at Scale, 2022.
3. Driess et al. PaLM-E: An Embodied Multimodal Language Model, 2023.
4. Brohan et al. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control, 2023.
5. Open X-Embodiment Collaboration. Open X-Embodiment: Robotic Learning Datasets and RT-X Models, 2023.
6. Kim et al. OpenVLA: An Open-Source Vision-Language-Action Model, 2024.
7. Black et al. π0: A Vision-Language-Action Flow Model for General Robot Control, 2024.
8. Pertsch et al. FAST: Efficient Action Tokenization for Vision-Language-Action Models, 2025.
9. Figure AI. Helix: A Vision-Language-Action Model for Generalist Humanoid Control, 2025.
10. Figure AI. Helix Accelerating Real-World Logistics, 2025.
11. Figure AI. Introducing Helix 02: Full-Body Autonomy, 2026.
12. NVIDIA. NVIDIA Isaac GR00T N1: An Open Foundation Model for Humanoid Robots, 2025.
13. Kareer et al. Emergence of Human to Robot Transfer in Vision-Language-Action Models, 2025.
14. Ma et al. A Survey on Vision-Language-Action Models for Embodied AI, revised 2026.
15. Khazatsky et al. DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset.
16. Walke et al. BridgeData V2: A Dataset for Robot Learning at Scale.
17. Liu et al. LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning.
18. Liu et al. SIMPLER: Evaluating Real-World Robot Manipulation Policies in Simulation.
19. Nasiriany et al. RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots.