TraceVLA — Visual Trace Prompting

ICLR 2025 · arXiv:2412.10345 · 2D 轨迹视觉提示增强 VLA 时空意识

速览
方法
Benchmark/任务
实验
与课题关系
自测
来源：PDF 原文核对；本地未找到源码仓库。

一句话

TraceVLA 用 CoTracker 从历史图像中跟踪活跃点，把末端/物体历史运动轨迹画回 RGB 图像，再和原图一起输入 OpenVLA。它证明：把历史压缩成 2D visual trace，比直接拼接多帧更适合 VLA 使用。

历史帧窗口 N=6
→
CoTracker 40×40 网格
→
筛选 M=5 active trajectories
→
叠加到 RGB 形成 trace image
→
原图 + trace 图输入 VLA

实现机制

设计细节
点跟踪CoTracker；起始帧划分 K×K 网格，K=40。
活跃点选择累计相邻帧位移，超过阈值视为 active point。
轨迹采样随机采样 M=5 条 active trajectories。
输入格式原图 + visual trace 图，中间插入 learnable separator token。
trace dropout训练时以概率 α 用原图替换 trace 图，提升 CoTracker 失败时的鲁棒性。

伪代码

tracks = cotracker(history_frames, grid=40)
motion = sum_norm(tracks[:,1:] - tracks[:,:-1])
active = tracks[motion > threshold]
trace = sample(active, M=5)
trace_img = overlay_polyline(current_img, trace)
action = traceVLA(images=[current_img, trace_img], text=trace_prompt + instruction)

评测设置

Benchmark/平台内容目的
SimplerEnv Google Robot131/137 多环境配置，含 visual matching 与 variant aggregation验证环境变体、相机、光照、背景、干扰物下的鲁棒性
WidowX-250 真机固定第三视角 256×256 RGB；8 个真实任务；每任务 30 demos finetune验证真实机器人和 unseen tasks
LIBEROSpatial/Object/Goal/Long 四 suite，多任务混合训练验证空间关系、物体、目标和长程任务收益

核心结果

  • SimplerEnv：摘要报告相比 OpenVLA 提升约 10%。
  • 真机：摘要报告真实任务约为 OpenVLA 的 3.5×。
  • 环境变体：camera orientation、background、distractor 下提升明显，平均提升超过 20% 的类别出现在这些变体中。

LIBERO 附加结果

方法SpatialObjectGoalLongAvg
OpenVLA finetuned82.6±0.483.8±0.670.4±0.545.7±0.670.6±0.4
TraceVLA finetuned84.6±0.285.2±0.475.1±0.354.1±1.074.8±0.4

关键消融

  • 仅同数据继续 finetune OpenVLA 只有 1.1% 增益，小模型甚至 -0.3%。
  • 直接输入 6 帧历史图像反而下降约 6%。
  • text trace 有 2.4% 增益，但 visual trace 额外再高 6.4%。
  • N=6/9 较优，太短信息不足，太长遮挡场景。

对 2D 方案的意义

TraceVLA 支持“只用 2D RGB 也能注入时序信息”的路线，并证明视觉提示优于把坐标写成文本。
但它已经占据“历史轨迹 visual prompting”。我们的方案不能只是 CoTracker + 画轨迹 + VLA，应转向 candidate action progress / rejection / relation verification。

自测

  1. 为什么多帧输入不如 visual trace？
  2. Trace dropout 解决什么问题？
  3. TraceVLA 与未来动作后果验证有什么不同？