VP-VLA 精读 — Visual Prompting Interface

速览

方法

Benchmark/任务

实验

与课题关系

自测

来源：PDF 原文核对；本地未找到源码仓库。

一句话

VP-VLA 把 VLA 拆成两个系统：System 2 用 Qwen3VL 做任务分解、目标/位置识别，并用 SAM3 生成 crosshair/bbox visual prompts；System 1 用 QwenOFT VLA 输入原图和 prompt 图，学习跟随这些视觉锚点执行动作。

复杂指令

→

Qwen3VL 分解子任务

→

SAM3 分割目标/位置

→

crosshair / bbox visual prompt

→

QwenOFT 控制器输出 action chunk

双系统机制

模块	作用
System 2 Planner	事件驱动调用；根据语言、图像、gripper state 判断当前子任务、目标物体和目标位置。
事件触发	用 gripper state change 近似语义阶段切换，例如抓取完成后切到放置。
Visual prompt generation	SAM3 根据物体/位置名称生成 mask，再渲染 crosshair 或 bounding box。
System 1 Controller	QwenOFT/Qwen3VL-4B-Instruct 架构，输入 instruction + original image + visual prompt image。
Grounding loss	在 key frames 监督 prompt 坐标，防止 VLA 把提示当噪声。

伪代码

if gripper_event_triggered(state):
    subtask, obj, loc = qwen3vl_plan(instruction, image, state)
    obj_mask = sam3(image, obj)
    loc_mask = sam3(image, loc)
    vp_image = render_prompt(image, crosshair=centroid(obj_mask), bbox=box(loc_mask))
action = qwenoft_vla(instruction, images=[image, vp_image])

Benchmark/任务设计

Benchmark/平台	任务	目的
RoboCasa-GR1-Tabletop	tabletop kitchen，24 个多阶段 pick-and-place 任务，约 24,000 videos；每任务 50 trials	验证复杂多阶段、novel object/source-target 组合和空间 grounding
SimplerEnv WidowX	Put Spoon on Towel、Put Carrot on Plate、Stack Green Block、Put Eggplant in Basket	和 π0/π0.5/OpenVLA-OFT 等主流 VLA 横向比较
真实 waste sorting	按类别放入 Green/Red/Black box，含 OOD objects	测试类别语义和 OOD 物体 grounding
真实 colored egg	按颜色属性选择鸡蛋，含 OOD colors/positions	测试属性指令与空间位置泛化
真实 egg carton placement	4×4 网格指定行列放置，含 OOD coordinates	测试精确位置语言/视觉提示跟随

RoboCasa-GR1

方法	Avg
Isaac-GR00T N1.5	48.2
Isaac-GR00T N1.6	47.6
QwenGR00T + Qwen3VL	47.8
QwenOFT + Qwen3VL	48.8
VP-VLA/Ours + Qwen3VL	53.8

SimplerEnv

方法	Avg
OpenVLA-OFT	41.8
CogACT	51.3
VideoVLA	53.1
π0	53.1
π0.5	57.1
GR00T-N1.6-Bridge	57.1
QwenOFT + Qwen3VL	50.0
VP-VLA/Ours	58.3

真实 OOD

任务	VP-VLA	QwenOFT
Waste sorting ID/OOD	87.5% / 85.0%	80.0% / 63.3%
Colored egg ID	77.1%	58.3%
Colored egg OOD color	75.0%	29.2%
Colored egg OOD position	75.0%	54.2%
Egg carton ID/OOD	91.3% / 68.8%	70.6% / 55.0%

消融

变体	RoboCasa Avg
w/o grounding	49.4
all-frame grounding	49.5
point prompt	47.3
direct overlay	50.8
full	53.8

对最终课题的约束

“结构化指令 → SAM 画框/点 → VLA 执行”已经被 VP-VLA 覆盖。不能把它当最终创新。

可用的差异化是：VP-VLA 给当前阶段目标 anchor；我们的机制应评价候选动作是否真的推动目标关系进展，并在推理时 reject/rerank 错误动作。

自测

VP-VLA 为什么要分 System 2 和 System 1？
为什么 key-frame grounding 优于 all-frame grounding？
它和 action progress verification 的区别是什么？