LA4VLA — Learning to Act without Seeing

LA4VLA 的问题诊断：VLA 容易“看图走捷径”

标准 VLA 数据是 (visual observation, language instruction, state) → action。问题是视觉每帧都变、token 多、与动作有强相关；语言 instruction 通常只有一句，且在整段轨迹中不变。于是模型可能学到“看到这个局面就做这个动作”，但没有真正学“这句语言如何约束动作”。

诊断实验：换视觉，看动作是否还听语言

论文设计四种输入条件：原始视觉、去视觉、视觉不对齐、视觉冲突。保持 instruction 不变，替换或遮掉视觉，检查预测轨迹方向是否仍跟随语言。

结果显示：标准 VLA 在原始视觉下看似能跟随指令，但视觉被移除/替换/冲突时，动作方向显著偏移。这为 LA pretraining 提供了动机。

LA-33K 是什么

LA-33K 不是重新采集的新机器人数据，而是从已有 DROID demonstration 中重构出的 atomic language-action 数据。每个 episode 不含视觉输入，只有 vision-agnostic instruction、robot states 和对应 action trajectory。

这使语言监督从“整条长轨迹一句话”变成“短 atomic segment 一句局部动作指令”，语言-动作对齐密度显著提高。

动作类别

数据构造流水线

关键模块 1：Keyframe detection

LA4VLA 先从 robot state 里抽 temporal hints：低运动量区间通常是对齐、抓取、放置、阶段切换；夹爪 open/close 变化通常是 grasp/release。

state trajectory s[1:T]
 ├─ remove gripper channel
 ├─ compute arm-state difference Δs
 ├─ Savitzky-Golay smoothing + normalization
 ├─ detect static intervals by adaptive threshold
 └─ detect gripper transition by before/after window mean

论文默认：Savitzky-Golay window 7、poly order 3；static threshold ratio 0.5；window size 5；gripper threshold 0.8；transition window n=3。

关键模块 2：Qwen-3-VL-Plus segmentation prompt

VLM prompt 包含：原始任务描述、多视角视频帧、keyframe cues、动作词表、primitive definitions、类别规则、JSON schema。VLM 输出 segment 列表：

[
  {
    "subaction": "lift",
    "instruction": "lift the object upward while holding it",
    "start": 3.50,
    "end": 5.00
  }
]

视频按 2 FPS 采样、resize 到 224×224；多视角时每个 view 有文字标签。VLM 只在数据构造阶段用视觉，最终 LA dataset 不保留视觉。

关键模块 3：人工验收

最终保留率 58.2%，双标注子集 Krippendorff’s α = 0.7794。论文还给出成本：处理 1/10 DROID 即 9,560 episodes，Qwen-3-VL-Plus 消耗约 44.29M input tokens 和 3.385M output tokens。

为什么必须人工验收

LA4VLA 的数据质量风险主要来自三类错配：边界错、动作标签错、语言描述错。VLM 可以给出结构化 JSON，但如果 segment 跨越两个 primitive，或者 instruction 写了对象外观/身份，LA pretraining 就会把错误语言-动作关系灌进 policy。

模型：LA4VLA-1B

论文使用 LA4VLA-1B：InternVL3-1B backbone + flow matching action head。LA pretraining 时视觉输入被 mask，模型根据 instruction + robot state 预测 action trajectory；VLA 或 downstream fine-tune 时恢复视觉输入。

LA batch:
  instruction + robot state + masked visual
      └─► InternVL3-1B representation
          └─► flow-matching action head
              └─► action trajectory

VLA batch:
  image + instruction + robot state
      └─► same VLA policy
          └─► action trajectory

五种训练范式

训练目标与数据格式

论文没有开源训练代码，但从方法描述可恢复核心训练接口。LA-format batch 与 VLA-format batch 的区别只在视觉是否可用。

# LA-format batch
{
  "instruction": "transport the object to the right while holding it",
  "state": robot_state[t0:t1],
  "images": MASKED_OR_EMPTY,
  "actions": action_trajectory[t0:t1]
}

# VLA-format batch
{
  "instruction": same atomic instruction,
  "state": robot_state[t0:t1],
  "images": original visual observations,
  "actions": action_trajectory[t0:t1]
}

Action head 是 flow matching，因此训练形式可写成：对真实 action trajectory 加噪，模型预测从噪声到真实动作的 velocity field。

如果要复现，最小模块应包括

1. segmentation module：从 state 检测 keyframes，并调用 VLM 生成 JSON segment proposal。
2. verification/cleaning module：人工或半自动质检，保留 score ≥ 2 的 segments。
3. LA dataset builder：把 retained segment 写成 instruction/state/action，不写入 image。
4. LA-33K-V builder：同一 segment 恢复原始 visual observations。
5. policy trainer：支持 Base/LA/VLA/LA-VLA/MixPT 五种 schedule。
6. robustness evaluator：视觉噪声、视觉移除、视觉冲突和真实任务 success。

训练日程建议：如何验证论文主张

官方代码状态

可复现代码骨架

la4vla/
  data/
    keyframe_detector.py      # state trajectory -> static / gripper events
    vlm_segmenter.py          # Qwen-3-VL-Plus prompt -> JSON segments
    verify_segments.py        # human score / filtering / agreement
    build_la33k.py            # retained segments -> LA-33K
    build_la33k_v.py          # retained segments + images -> LA-33K-V
  models/
    la4vla_policy.py          # InternVL3-1B + flow matching action head
    action_head.py            # noisy action -> velocity field
  train/
    train_base.py
    train_la.py
    train_vla.py
    train_lavla.py
    train_mixpt.py
  eval/
    eval_metaworld.py
    eval_libero.py
    eval_real_xarm6.py
    eval_visual_perturb.py

核心伪代码：MixPT

for batch in dataloader_mix(LA_33K, LA_33K_V):
    if batch.format == "LA":
        images = mask_or_empty(batch.images)
    else:
        images = batch.images

    cond = model.encode(images, batch.instruction, batch.state)
    noisy_action, target_velocity, tau = flow_sample(batch.actions)
    pred_velocity = action_head(cond, noisy_action, tau)
    loss = mse(pred_velocity, target_velocity)
    update(loss)

这段伪代码抓住 LA4VLA 的训练本质：同一策略同时看到“无视觉 LA 监督”和“有视觉 VLA 监督”。

如果我们自己实现，关键接口应该长什么样

class LAEpisode:
    episode_id: str
    source_demo_id: str
    start_time: float
    end_time: float
    subaction: str
    instruction: str
    states: Tensor[T, state_dim]
    actions: Tensor[T, action_dim]
    images: Optional[Tensor[T, V, H, W, 3]]  # LA: None / VLA: restored
    quality_score: int
    annotator_confidence: int

class LA4VLATrainer:
    def train_la(batch):      # image masked
        return flow_loss(policy(instruction, state, no_image), actions)
    def train_vla(batch):     # image enabled
        return flow_loss(policy(instruction, state, image), actions)
    def train_mixpt(batch):
        return train_la(batch) if batch.format == "LA" else train_vla(batch)

这类接口能把论文中最关键的 LA/LA-33K-V 配对关系保留下来。复现时不建议只保存普通 JSON caption；必须保存 source_demo_id/start/end，否则无法恢复 LA-33K-V 和做 segment-level error audit。

部署链路应如何搭

论文真机平台是 xArm6 + parallel-jaw gripper + 两个 RGB 相机：一个 wrist camera，一个 third-person camera。部署时必须恢复视觉输入，因为下游任务需要定位按钮、书架位置、九宫格杯子位置。

复现最低要求

• 需要能记录 action trajectory 与 robot state 的示教系统。
• 需要把 downstream 任务做成 language-conditioned 多目标任务，否则无法证明语言动作 prior。
• 需要同时评估 no-pretrain / VLA / LA / MixPT，避免把提升误归因于数据量。
• 必须做视觉扰动或视觉冲突评测，否则“减少视觉捷径”的主张证据不足。

评测协议矩阵：作者到底测了什么

仿真实验：MetaWorld 与 LIBERO

StarVLA 也受益：MetaWorld 从 58.39 提升到 69.91；LIBERO 从 93.70 提升到 94.85，说明 LA pretraining 不是 LA4VLA-1B 特定技巧。

真机实验

为什么这些实验能支撑主张

这也是我们判断顶会级工作的标准：不仅要有数据构造，还要有清楚的能力定义、训练范式对比、policy success、鲁棒性诊断和跨架构验证。

视觉扰动鲁棒性

论文在 Press Button 和 Place Drink 上加 Gaussian image noise，检验视觉退化时策略是否还能依赖语言动作 prior。

表示分析

LA-pretrained policy 在 masked visual input 下，direction-following 指标高：DAR 0.99、DCS 0.85；conflicting state 下仍有 DAR 0.95、DCS 0.80。t-SNE 显示 LA-pretrained 表征按命令方向形成更清晰簇，而 VLA-trained 表征更容易按 state 混成小簇。

方向跟随指标如何理解

这些指标不是为了替代 rollout success，而是证明机制：如果 policy 的动作方向在 masked/conflicting input 下仍跟着 instruction 走，那么 downstream 的成功率提升更可能来自语言动作先验，而不是偶然调参。

失败模式与风险

• LA 数据过粗。如果 atomic segment 仍太长，instruction 会变成小任务描述而不是低层动作描述，语言-动作密度下降。
• LA 数据过细。如果切得太碎，每段没有完整物理效果，模型学到高频噪声而非 reusable action prior。
• 视觉完全屏蔽带来定位缺失。LA pretraining 不能替代视觉 grounding；所以 LA-VLA/MixPT 往往比纯 LA 更稳。
• 人工验收成本。33K 级别能做，扩展到百万级需要更强自动质检或 active verification。
• 机器人本体差异。DROID 到 xArm6/MetaWorld/LIBERO 有收益，但还不能证明任意本体零样本泛化。

LA4VLA 与 LAP 的本质区别

对 CLAP 的启发

LA4VLA 提醒我们：如果只做 positive language-action，已经很接近 LAP/LA4VLA。CLAP 要发顶会，必须做它们没做的能力：当前动作是否 suitable、哪些 plausible action 当前应该被 reject。

自测题