跳到主要内容

LeRobot Studio:具身智能数据的浏览器

LeRobot Studio 是由 艾欧智能(IO-AI.TECH) 开发的基于浏览器的 LeRobot 数据集可视化工具,旨在为具身智能研究人员和开发者提供直观、高效的数据分析与验证环境。

背景:LeRobot 数据集标准的重要性

随着具身智能领域的发展,高质量的数据集已成为核心要素。然而,机器人数据长期存在格式碎片化、存储效率低和复用困难等问题。

LeRobot 数据集标准(v2.1/v3.0)正在迅速成为具身智能领域的"USB 接口"。包括 OpenPiNVIDIA GR00T (Isaac Lab) 在内的顶级开源模型与仿真平台,均已支持或兼容 LeRobot 格式。它通过以下特性解决了长期困扰行业的"数据巴别塔"问题:

  1. 统一的数据结构:采用 Parquet + MP4 的组合,高效封装了图像、电机状态(State)和动作指令(Action)等多模态数据,解决了跨平台和跨设备的数据兼容性问题。
  2. 云原生支持:支持流式传输(Streaming),允许直接从 Hugging Face Hub 等云端或本地存储加载数据,无需预先下载海量文件,显著提升了数据访问效率。
  3. 社区生态互通:标准化的格式使得数据集更易于检索、索引和共享,促进了机器人学习社区的协作与发展。

LeRobot Studio 正是基于这一标准构建的通用浏览器,帮助用户深入理解和校验这些标准化的数据资源。

LeRobot Studio 核心功能

LeRobot Studio 提供了零门槛的数据调试能力,无需本地环境配置即可使用。

1. 多模态数据同步回放

机器人数据包含高频的传感器数据和不同帧率的视频流。LeRobot Studio 实现了时间轴对齐机制,能够同步展示:

  • 多视角摄像头画面
  • 机器人关节状态曲线
  • 控制指令序列

通过拖动时间轴,用户可以精确回溯任意时刻的机器人感知与决策状态。

多视角视频同步

2. 状态与指令对比分析

在模型训练与调试过程中,分析"期望指令"与"实际状态"的差异至关重要。

  • 指令(Action):模型或遥操作设备发出的控制信号(虚线表示)。
  • 状态(State):机器人实际执行的关节反馈(实线表示)。

通过折线图面板,用户可以直观地观察两者之间的延迟、抖动或偏差,从而快速定位硬件执行问题或数据采集质量问题。

数据曲线分析

3. 数据集快速校验

LeRobot Studio 利用浏览器的本地算力,支持直接加载本地文件夹或压缩包,数据无需上传云端,保障了数据的安全性和加载速度。 同时,也支持通过 URL 远程按需加载云端数据集,便于快速预览。

使用方式

我们提供两种便捷的访问入口:

方式一:艾欧官网

访问地址:https://io-ai.tech/lerobot/

  • 特点:无需登录,即开即用。
  • 适用场景:快速查看本地数据集、体验官方样例数据。

欢迎页面

方式二:艾欧数据平台

访问地址:艾欧数据平台

  • 特点:与数据管理流程深度集成。
  • 适用场景:在数据采集、标注和格式转换后,直接在平台内进行质量验收和预览。

界面功能导览

LeRobot Studio 的界面布局专为数据分析设计:

1. Episode 列表侧边栏

左侧边栏列出了数据集中的所有任务(Episode)。支持关键词搜索和元数据显示,帮助用户快速筛选和定位特定的数据片段。

Episode 侧边栏

2. 原始数据面板 (Raw Data)

展示当前帧的完整 JSON 数据结构。这对于开发者调试代码非常有用,可以直接复制 timestampactionstate 的具体数值进行排查。

原始数据面板

3. 播放控制栏

提供帧级精度的播放控制。除了常规的倍速播放外,支持逐帧步进功能,便于分析如抓取、装配等精细操作过程中的瞬间状态。

播放控制栏


关于我们

艾欧智能(IO-AI.TECH) 致力于构建高效的具身智能基础设施。LeRobot Studio 是我们数据工具链的重要组成部分,旨在提升数据闭环的效率。