从「看见」
到「抓稳」。
把抓取,训练成模型的基础能力。
在 pretrain 与 mid-train 中,连接物体、空间、接触与动作结果。让 VLM 理解:在哪里,以及怎样抓。
接触点、接近方向与夹爪条件,共同决定一个抓法。
定位正确 ≠ 抓取可行 ≠ 执行成功
三种能力,需要相互关联的监督。GraspVLA
先在虚拟世界里,
做出一批抓取示范。
让程序先算出、试出一套抓取动作,再把过程拍成带答案的“教学视频”,交给模型学习。
下面用一只杯子讲解数据流程。图解是教学示意,具体实现以论文与代码为准。
“1B”数的是帧。一段抓取过程有很多帧,不能把它理解成 10 亿次独立抓取。
论文 §3 与附录 B ↗一只虚拟杯子,怎样变成训练样本?
点选步骤,沿着数据走一遍 ↓数据生成流程依据 论文 §3 ↗ 与 作者项目页 ↗。这里把操作过程画成示意,不复现仿真计算。
两种教材,教的内容不同。
网页图片扩大“认得哪些东西”的范围;合成抓取记录进一步提供动作监督。两者共享“先找到目标”的学习任务。
合成记录提供目标框、抓取姿态和动作。前两项训练 VLM,连续动作交给动作专家学习。
模型与联合训练依据 论文 §4 ↗ 与 官方代码 ↗。动作预训练数据来自仿真,同时使用已有视觉语言骨干和互联网 grounding 数据。
你最值得借鉴的,是这条数据链。
先把“图像 → 目标框 → 抓取姿态”引入 VLM。 复用验证过的抓取记录,让位置与抓法共享同一场景、同一对象和统一坐标。
再加入条件变化与困难负例。 这是本页为 mid-train 提出的扩展建议,需要重新检查标签;不是论文规定的训练阶段。
GraspVLA 是带动作专家的 VLA。只迁移前面的监督,可以训练抓取相关理解;实际闭环控制仍需要动作模块与执行验证。
先建立联系,
再学会依条件判断。
一套关联的数据底座,两种训练侧重。
阶段划分是设计建议,并非唯一标准。
通用视觉语言数据
+ 2D / 3D grounding
一份场景,
长出五种监督。
保留完整底层记录,再生成训练任务。
让 2D、3D、抓取与结果真正对应起来。
只有单张 RGB、缺少尺度时,应监督可观测的区域与相对关系,或补充深度/标定。解析评分、仿真成功、真机成功分别保存;未知标签保留为空。
还是同一只杯子,
为什么这次不能这样抓?
好的训练数据包含条件变化。
选择一种情况,观察候选 A 的标签如何改变。
这是预设规则驱动的概念演示,不运行物理仿真。实际训练标签须由几何检查、仿真或真实执行获得。
把一次生成,
变成可追溯的数据流程。
语言负责表达任务,物理证据负责验证标签。
不要让模型凭文字编造成功结果。
- 01
准备对象与场景
物体资产、夹爪几何、相机与尺度。覆盖形状、尺寸、遮挡和摆放变化。
ASSETS + CALIBRATION - 02
生成抓取候选
采样接触点、姿态与开口宽度。保留多个可行解,并生成邻近困难负例。
POSE + CONTACT - 03
检查与验证
区分局部碰撞、整机可达性、接近路径和抬起结果;未验证项留空。
CHECK + ROLLOUT - 04
组织训练任务
同一场景生成定位、姿态、比较与结果任务,按阶段采样并持续质检。
LABELS + TASK MIX
合成数据扩展覆盖,真实数据校准差异。
人类视频提供接触线索;解析方法、仿真与真机记录提供不同层级的证据。保留来源,分别评测。
增加了抓取数据,
到底学到了什么?
控制模型、训练预算和下游执行组件。
先做消融,再决定扩量与混合比例。
A 为起点基线;比较 B / C / D 时匹配更新步数、有效训练 token 与通用数据比例,另设等预算通用继续训练对照。上表为实验设计,没有填入假设成绩。
先划分资产,再生成样本。
留出未见物体、场景和条件组合。相同物体的多视角、相邻帧和近重复资产放在同一划分中,减少数据泄漏。
从答案,测到执行。
检查定位与姿态误差、候选可行性、任务约束满足率,再用固定执行系统测真实抓取成功率,同时回归通用 VLM 能力。
研究参考
下列项目支持数据与方法选择。
本页的阶段安排是建议方案,不代表 Astra 的训练配方。