返回列表

具身智能数采新范式：如何用腕部相机破解精细操作数采难题

随着 VLA、Physical AI 和世界模型的发展，无本体、人类数据正逐渐成为重要的数据来源。

相比于机器人本体数据，人类数据更容易覆盖丰富的任务类型、操作方式和真实环境，也更容易扩展到真实世界中的长尾任。因此，从 UMI 等无本体采集方案到最近越来越被采用的 Egocentric头戴相机方案，人类数据采集的形态仍在持续演进。

但其中有一个问题值得进一步讨论：

如果目标是学习人与物理世界的交互，仅有 Ego Camera 是否记录了足够的信息？

对于这个问题，机器人领域其实已经提供了一个值得参考的方向——让模型不仅“看见环境”，也能够“看见手”和真正发生交互的位置。

Ego Camera 够了吗？为什么要增加 Wrist Camera？

在机器人领域，腕部视角相机（Eye-in-Hand）并不是一个新概念。

从工业视觉伺服、精密装配、抓取到 Bin Picking，机器人"看自己的手"已经被广泛应用了很多年。与头部第一人称视角或外部第三人称视角相比，腕部相机始终跟随机器人末端执行器运动，能够持续观察执行器、目标物体和实际接触区域，因此可以稳定记录许多其他视角难以获取的操作信息，包括：

  • 执行器与物体的接触位置及完整接触过程；

  • 物体局部形状、姿态和状态的细微变化；

  • 表面纹理、材质与光照条件等细粒度视觉信息；

  • 距离操作区域更近的局部环境信息。

但 Wrist Camera 的价值，并不只是“看得更近”或“看到更多细节”。

由于相机始终围绕操作区域运动，它天然具备以下特点：

  • 目标在画面中占据更大的比例，能够保留更多可用于模型学习的细节；

  • 视角始终聚焦于真正发生交互的位置，减少大量与任务无关的背景信息；

  • 随着手部运动持续跟踪操作对象，避免目标频繁离开视野；

  • 不同环境之间看到的局部视觉分布更加一致，因此对背景变化和环境变化具有更好的鲁棒性。

对于机器人学习而言，这意味着模型不仅能够获得更丰富的操作信息，也更容易学习真正与任务相关的视觉特征，而不是依赖背景、场景布置或其他偶然线索。

image

腕部相机的这些优势，并不仅仅属于机器人。

在 论文《Emergence of Human-to-Robot Transfer in Vision-Language-Action Models》 中，作者在人类第一视角数据的基础上进一步增加 Wrist Camera，实验结果表明，在需要精细手部操作观测的 Manipulation Task 中，引入 Wrist Camera 可以进一步提升模型性能。

image

目前，围绕人类 Wrist Camera 数据的系统性研究仍然相对有限。但机器人领域长期积累的实践经验，以及已有的人类数据实验结果，都在指向同一个趋势：在涉及精细操作的任务中，局部交互信息本身就是一种重要的数据模态。

image

image

image

双手协同任务中，Wrist Camera 还能带来什么？

在实际数据采集过程中，我们还观察到一个有趣的现象。

对于双手协同任务，由于左右手 Wrist Camera 的安装位置不同，两侧相机往往能够从不同角度观察彼此的操作过程，天然形成视角互补。

例如，当一只手被 Ego Camera 或自身 Wrist Camera 遮挡时，另一只手的腕部相机仍有机会完整记录整个交互过程，包括另一只手的接触动作、物体状态变化以及两只手之间的协同关系。

image

这种由双手运动自然形成的多视角信息，并不能通过单纯提升 Ego Camera 的分辨率来替代。因为它解决的不是“画面是否足够清晰”的问题，而是“关键交互过程是否真正进入了视野”的问题。

从 What Humans See，到 What Actually Happens

因此，我们认为，随着具身智能的发展，人类数据采集也需要从记录人看到什么（What humans see），逐渐发展为记录操作过程中真正发生了什么（What actually happens during manipulation）。

对于未来的 VLA、Physical AI和世界模型而言，模型不仅需要理解任务本身，更需要理解人与物理世界之间细粒度的交互过程。

Ego Camera 提供全局语义与任务上下文（Global Context），帮助模型理解任务发生的背景；Wrist Camera 提供局部物理交互（Local Physical Interaction），帮助模型理解操作是如何完成的。前者让模型“看懂任务”，后者让模型“看清操作”。对于未来的具身智能，这两类信息缺一不可。

SenseXperience：真实世界人类数据采集系统

基于对人类操作数据和局部交互信息的持续研究，我们设计了 SenseXperience 真实世界人类数据采集系统。SenseXperience 发布｜艾欧智能真实世界数采方案

SenseXperience 采用轻量化、模块化的可穿戴采集设计，结合稳定的数据同步与存储系统，在尽量不影响采集人员正常生活和工作的前提下，支持真实场景中的持续数据采集与规模化部署。

目前，SenseXperience 已应用于多类真实任务与场景，并完成百万级人类操作数据积累。

系统由头部、腕部、夹爪等多个采集单元组成，可根据任务需求独立使用，也可以灵活组合。

image

双绑带设计，适配不同操作任务

针对不同任务对拍摄视角、遮挡情况和操作空间的差异，SenseXperience 腕部单元设计了两种佩戴方式，可分别佩戴于掌心与手腕：

  • 佩戴在掌心：相机可以随着手腕运动，手的全部运动信息都可以被直接或间接的包含在图像信息中。

  • 佩戴在手腕处：相机与实际接触点保持一定距离，能够在握持物体或手掌闭合时降低视野被完全遮挡的概率。

image

image

从数据采集，到可直接使用的数据资产

通过 SenseXperience 采集的多模态数据，可进一步接入艾欧智能 EmbodiFlow 具身数据管理平台，完成数据后处理、质量检查、可视化与标准化导出。

平台支持输出 LeRobot、MCAP、HDF5 等机器人社区广泛采用的数据格式，降低从原始数据采集到模型训练之间的处理门槛，帮助团队减少数据整理、格式转换与质量筛查等重复工作。

通过 SenseXperience 与 EmbodiFlow 的协同，真实世界人类数据可以从一次性的采集结果，进一步转化为可管理、可验证、可复用的数据资产。

获取 Sample Data

我们提供了 SenseXperience 样例数据，欢迎下载体验。

Hugging Face 链接：https://huggingface.co/datasets/io-intelligence/SenseXperience_WristCam_SampleData

您也可以使用艾欧智能开源的机器人数据可视化工具 ROSView（ https://rosview.com/ ），来方便快捷的预览这些数据。

RosView 是艾欧智能开源的，专为机器人与具身智能研发场景设计的浏览器端机器人数据可视化平台，支持多种机器人数据格式，具备丰富的可视化面板，以及面向大规模数据的高性能回放能力，旨在为机器人行业开发者提供一个易用、开放、可持续演进的基础工具。艾欧智能开源 ROSView：具身智能数据的离线可视化工具

欢迎了解更多关于 SenseXperience：人类动作采集与具身智能数据方案 — SenseXperience

资料引用

  • Vision-Based Manipulators Need to Also See from Their Hands (ICLR 2022) — 首次系统验证 Wrist Camera 在机器人操作任务中的优势。

  • Giving Robots a Hand: Learning Generalizable Manipulation Policies from Human Videos (CoRL 2023) — 探讨 Wrist View 与人类 Demonstration 对机器人学习的价值。

  • Rethinking Camera Choice: An Empirical Study on Fisheye Camera Properties for Robot Manipulation (CVPR 2026) — 从 Camera Placement 的角度分析 Wrist Camera 在机器人学习中的优势。

  • Emergence of Human-to-Robot Transfer in Vision-Language-Action Models (2025) — 验证在人类 Ego 数据中增加 Wrist Camera 能够提升 Human-to-Robot Transfer 的表现。