要解决的问题
把多模态模型接入机器人或操作环境，让它输出的不是文字，而是动作（机械臂的位姿、抓取指令等）。这样模型在互联网图文数据中学到的常识与语义理解，就能迁移到物理世界的控制中。
核心方法
在预训练好的视觉语言模型基础上，用机器人示范数据继续训练，把动作也表示成 token 或连续向量，让模型根据图像和语言指令直接输出动作。
代表工作
- RT-2（2023）：Google DeepMind 基于 PaLI-X、PaLM-E 等视觉语言模型，同时在网络数据与机器人数据上训练，把动作编码成文本 token，确立了「视觉-语言-动作模型」这一范式。
- OpenVLA（2024）：开源的 7B 参数视觉-语言-动作模型，基于 Llama 2 与融合 DINOv2、SigLIP 特征的视觉编码器，在 Open X-Embodiment 数据集的约 97 万条真实机器人示范上训练。
开放问题
- 从仿真到真实（sim-to-real）的迁移。
- 动作空间在不同机器人形态之间的泛化。
- 实时性与安全约束。