A FIELD GUIDE FOR VLM TRAINING

从「看见」
到「抓稳」。

把抓取,训练成模型的基础能力。

在 pretrain 与 mid-train 中,连接物体、空间、接触与动作结果。让 VLM 理解:在哪里,以及怎样抓。

EXISTING VLM+GRASP SUPERVISION面向已有视觉语言模型
OBJECT / CONTACT / ACTIONFIG. 01
CONTACT PAIR PARALLEL-JAW GRIPPERCONCEPT DRAWING

接触点、接近方向与夹爪条件,共同决定一个抓法。

THE CORE IDEA

定位正确 ≠ 抓取可行 ≠ 执行成功

三种能力,需要相互关联的监督。
FEATURED PAPER / CoRL 2025

GraspVLA
先在虚拟世界里,
做出一批抓取示范。

让程序先算出、试出一套抓取动作,再把过程拍成带答案的“教学视频”,交给模型学习。

下面用一只杯子讲解数据流程。图解是教学示意,具体实现以论文与代码为准。

SynGrasp-1B / 论文报告的数据规模
1 万+三维物体
240物体类别
1000 万抓取轨迹
10 亿合成帧

“1B”数的是帧。一段抓取过程有很多帧,不能把它理解成 10 亿次独立抓取。

论文 §3 与附录 B ↗

一只虚拟杯子,怎样变成训练样本?

点选步骤,沿着数据走一遍 ↓
01 / 物体与场景CONCEPT ILLUSTRATION
同一段虚拟抓取过程 · 连贯的数据记录

数据生成流程依据 论文 §3 ↗ 与 作者项目页 ↗。这里把操作过程画成示意,不复现仿真计算。

TWO KINDS OF TEACHING MATERIAL

两种教材,教的内容不同。

网页图片扩大“认得哪些东西”的范围;合成抓取记录进一步提供动作监督。两者共享“先找到目标”的学习任务。

01找到杯子VLM · 目标框有监督
→
02决定怎么抓VLM · 抓取姿态有监督
→
03生成一段动作动作专家 · 连续动作有监督

合成记录提供目标框、抓取姿态和动作。前两项训练 VLM,连续动作交给动作专家学习。

模型与联合训练依据 论文 §4 ↗ 与 官方代码 ↗。动作预训练数据来自仿真,同时使用已有视觉语言骨干和互联网 grounding 数据。

SEE THE ORIGINAL DEMO

看看这些“教学视频”
实际长什么样。

切换合成数据与真实机器人演示。视频来自作者项目页,可在这里直接播放。

查看作者项目页 ↗
SYNTHETIC TRAINING DATA按需联网加载 · 不自动播放
FOR YOUR PRETRAIN / MID-TRAIN

你最值得借鉴的,是这条数据链。

先把“图像 → 目标框 → 抓取姿态”引入 VLM。 复用验证过的抓取记录,让位置与抓法共享同一场景、同一对象和统一坐标。

再加入条件变化与困难负例。 这是本页为 mid-train 提出的扩展建议,需要重新检查标签;不是论文规定的训练阶段。

GraspVLA 是带动作专家的 VLA。只迁移前面的监督,可以训练抓取相关理解;实际闭环控制仍需要动作模块与执行验证。

01 / TRAINING CURRICULUM

先建立联系,
再学会依条件判断。

一套关联的数据底座,两种训练侧重。
阶段划分是设计建议,并非唯一标准。

持续保留

通用视觉语言数据
+ 2D / 3D grounding

混合比例通过消融与通用能力回归评测确定。
02 / ONE SCENE, CONNECTED LABELS

一份场景,
长出五种监督。

保留完整底层记录,再生成训练任务。
让 2D、3D、抓取与结果真正对应起来。

每条记录都要带上
坐标系与单位夹爪定义标注来源可观测性质量与版本
↳

只有单张 RGB、缺少尺度时,应监督可观测的区域与相对关系,或补充深度/标定。解析评分、仿真成功、真机成功分别保存;未知标签保留为空。

03 / CHANGE ONE CONDITION

还是同一只杯子,
为什么这次不能这样抓?

好的训练数据包含条件变化。
选择一种情况,观察候选 A 的标签如何改变。

TOP VIEW / CANDIDATE A规则示意
A杯身SCHEMATIC · NOT TO SCALE

这是预设规则驱动的概念演示,不运行物理仿真。实际训练标签须由几何检查、仿真或真实执行获得。

04 / BUILD THE DATA ENGINE

把一次生成,
变成可追溯的数据流程。

语言负责表达任务,物理证据负责验证标签。
不要让模型凭文字编造成功结果。

  1. 01

    准备对象与场景

    物体资产、夹爪几何、相机与尺度。覆盖形状、尺寸、遮挡和摆放变化。

    ASSETS + CALIBRATION
  2. 02

    生成抓取候选

    采样接触点、姿态与开口宽度。保留多个可行解,并生成邻近困难负例。

    POSE + CONTACT
  3. 03

    检查与验证

    区分局部碰撞、整机可达性、接近路径和抬起结果;未验证项留空。

    CHECK + ROLLOUT
  4. 04

    组织训练任务

    同一场景生成定位、姿态、比较与结果任务,按阶段采样并持续质检。

    LABELS + TASK MIX
↳

合成数据扩展覆盖,真实数据校准差异。
人类视频提供接触线索;解析方法、仿真与真机记录提供不同层级的证据。保留来源,分别评测。

查看数据与方法参考 ↗
05 / PROVE THE CAPABILITY

增加了抓取数据,
到底学到了什么?

控制模型、训练预算和下游执行组件。
先做消融,再决定扩量与混合比例。

组别训练数据需要回答的问题结果
A BASELINE基础 VLM原始模型具备多少抓取先验?待测
B GROUNDING+ 2D / 3D grounding定位提升能带来多少抓取收益?待测
C GRASP GEOMETRY+ 抓取几何监督能否提出更可行的接触与姿态?待测
D CONDITIONAL GRASP+ 条件变化 / 负例 / 结果是否真正学会依条件判断?待测

A 为起点基线;比较 B / C / D 时匹配更新步数、有效训练 token 与通用数据比例,另设等预算通用继续训练对照。上表为实验设计,没有填入假设成绩。

HOLD OUT

先划分资产,再生成样本。

留出未见物体、场景和条件组合。相同物体的多视角、相邻帧和近重复资产放在同一划分中,减少数据泄漏。

MEASURE

从答案,测到执行。

检查定位与姿态误差、候选可行性、任务约束满足率,再用固定执行系统测真实抓取成功率,同时回归通用 VLM 能力。