跳到主要内容

数据导出

数据导出页面把平台内已标注的数据集转换为训练与质检所需的格式。导出以数据集为选择单位,按标签页区分目标格式;转换类导出在后台队列执行,结果记录在导出历史中。

LeRobot 导出:格式标签页、数据选择与右侧参数面板

使用前提​

项内容
菜单入口数据 → 导出
路由/export
页面模块权限「查看导出列表」
必需权限「创建导出任务」
可见角色管理员、项目经理
数据集权限导出前校验所选数据集的导出权限,无权限的数据集被剔除
质检前置默认启用「质检未通过禁止导出」,质检未通过的数据集被拦截
云存储前置转换类导出需要已配置的「系统导出数据存储位置」云存储连接

导出格式​

格式总览​

页面顶部以标签页列出全部导出格式,其中「导出额度管理」仅管理员可见。转换类导出写入后台队列并记录导出历史;直出类导出在浏览器内直接下载。

标签页路由输出内容消耗额度
JSON/export/json标注结果 JSON,可选包含原始文件下载链接否
表格/export/csv标注结果 CSV否
元数据/export/metadata数据集元信息 CSV否
原始数据/export/raw-data原始文件的下载链接清单否
MCap/export/mcapMCAP 文件及同名标注 JSON是
LeRobot/export/lerobotLeRobot 数据集 tar.gz是
RLDS/export/rldsRLDS episode 数据集是
HDF5/export/hdf5分组压缩的 HDF5 tar.gz是
图像标注/export/annotations图像标注文件否
时间对齐/export/aligns时间对齐结果 CSV是
丢帧检测/export/framedrops丢帧检测结果 CSV是
MCap 切块/export/splits按标注时间段切分的 MCAP是
导出额度管理/export/quota导出额度记录否,仅管理员

转换类导出参数​

LeRobot、HDF5、RLDS 三类格式的参数分别设置。

参数类型必填默认值取值范围说明
数据集 ID文本是io-ai-data/lerobot_dataset仓库名称格式导出数据集的仓库名
数据采样频率数字是301–60 Hz频率越低数据集越小,推荐 10–30
图像格式单选是MP4MP4、JPGMP4 相比 JPG 节约约 80% 存储
严格匹配模型输入输出复选否关闭勾选、取消勾选勾选后裁切观测值与指令值为一对一;配置适配映射后忽略此项
自动模糊人脸复选否关闭勾选、取消勾选识别画面人脸并模糊化
启用子任务复选否关闭勾选、取消勾选勾选后每条标注成为 episode 内的子任务,仅支持 v3.0
LeRobot 版本单选是v3.0v3.0、v2.1子任务模式下固定 v3.0
适配映射表单或 JSON否空留空使用默认规则映射与非默认数据格式的字段关系

导出结果打包为 tar.gz,可直接用于 LeRobot、SmolVLA、ACT、Diffusion 等训练流程,也可在模型训练中作为输入。

参数类型必填默认值取值范围说明
分组数量数字是101–100每个 HDF5 文件包含的 MCAP 文件数量
数据刷新频率数字是301–60 Hz每秒数据采集次数,影响文件大小与训练精度

导出结果按原始文件分组命名后压缩为 tar.gz。格式与数据结构见 HDF5 数据集。

RLDS(Reinforcement Learning Datasets,强化学习数据集)由 Google Research 提出,以 TensorFlow Datasets(TFDS)为存储与读取载体;Open X-Embodiment 的数据集按 RLDS 的 episode 格式组织。下表列出该标签页的导出参数。

参数类型必填默认值取值范围说明
TFDS 数据集名称文本是embodiflow_rlds字母、数字与下划线用于 builder 与输出目录命名
数据集版本文本是1.0.0语义化版本号例如 1.0.0
数据采样频率数字是300–120 Hz0 表示保留原始关节指令频率

RLDS 列表只显示扩展名为 MCAP 或 SenseXperience 且已标注的数据集。RLDS 为独立导出标签页,与LeRobot 可视化用途不同。

直出类导出​

直出类导出在浏览器内下载,不进入后台队列。

格式操作可导出范围附加选项
JSON下载全部 JSON、导出选中、上传导入 JSON单次最多 10000 个数据集包含未标注数据;包含文件下载链接(有效期 24 小时)
表格下载全部表格、导出选中单次最多 10000 个数据集无
元数据下载全部元数据 CSV、导出选中单次最多 10000 个数据集导出字段选择:数据 ID、数据名、项目、上传者、创建时间、更新时间、数据标签
原始数据导出下载链接、导出选中单次最多 1000 个数据集输出格式 CSV、JSON

元数据导出包含所选数据集的名称、项目、上传者、时间与数据标签。原始数据导出按数据集关联的云存储路径生成下载链接,输出字段为下载链接(2 小时有效期)、数据集名称、项目名称、上传者、创建时间。JSON 的「上传导入 JSON」把导出的 JSON 文件重新导入平台,用于批量修改标注数据。

图像标注导出​

图像标注导出列出项目内的图像标注条目,按标注类型筛选后导出。此页面的接口校验模块权限 「数据标注」,与转换类导出的权限键不同。轻量标注在独立的标注工具(/annotate)页面完成。

下表为导出页提供的筛选项,与标注数据实际存储的类型枚举不是同一组取值(存储侧取值为 BBOX、POINT、POLYGON、LINE、CIRCLE,见数据标注)。

标注类型含义
BBOX矩形框
POINT点标注
POLYGON多边形
POLYLINE折线
KEYPOINT关键点
SEGMENTATION分割
导出格式输出内容
CSV图像路径与标注坐标
YOLO标注 txt 文件与类别定义
COCO目标检测与分割的 JSON
Pascal VOCVOC XML
TAR图像文件与标注文件完整打包

单次导出的标注条目上限为 10000,未指定时默认取 1000。

质检类导出​

格式输出内容适用范围
时间对齐CSV,每行以主相机时间戳为基准,包含各话题的对齐时间MCAP 及兼容格式数据集
丢帧检测CSV,每行包含 topic、起止时间戳与疑似丢帧区间MCAP 及兼容格式数据集
MCap 切块按标注动作的时间段切分 MCAP 并附带对应标注信息仅 MCAP 与 SenseXperience 格式数据集

质检类导出进入后台队列,消耗导出额度。

导出任务​

创建导出​

  1. 在页面顶部选择导出格式标签页。
  2. 在搜索栏设置项目与筛选条件(列表随条件刷新并写入 URL 查询参数)。
  3. 在列表中勾选要导出的数据集。
  4. 在右侧参数面板设置该格式的参数。
  5. 点击「开始导出」,转换类导出进入后台队列。
  6. 在导出历史中等待状态变为「已完成」,然后下载文件。

数据集筛选​

筛选维度说明
项目决定列表的数据范围
数据名称按名称匹配
时长范围按数据时长区间筛选,单位秒,默认 0–3600
所属项目按项目筛选
采集员按采集员筛选
采集任务按来源采集任务筛选
标记点文本按标注文本内容检索

列表默认只显示已标注的数据集。MCap 与 JSON 标签页提供「包含未标注数据」选项,勾选后一并导出。

导出记录与状态​

转换类导出的记录显示在各格式标签页下方,每 5 秒自动刷新。记录包含导出时间、导出数量、源数据总时长、文件大小、导出耗时、导出参数与错误信息。

状态含义可执行操作
pending任务已创建,等待执行无
processing正在执行查看进度
completed执行成功,文件已生成下载数据、复制链接、训练
failed执行失败查看错误信息,重新导出

下载链接有效期为 24 小时。仅状态为「已完成」的记录可下载;非管理员只能下载本人创建的导出文件。

导出额度管理​

导出额度按数据集条数消耗,每导出 1 个数据集记 1 次。管理员无额度限制;其他用户在未配置个人额度时使用全局配置 EXPORT_MAX_COUNT,未设置该项时默认 10。额度管理入口「导出额度管理」仅管理员可见。

列含义
用户额度归属账号与角色
总额度可导出的数据集条数上限
已使用已消耗条数
剩余额度总额度减已使用
状态正常、余额不足(剩余不超过总额度 20%)、已用完
备注授予说明
授予时间额度创建时间

管理操作包括授予额度、编辑额度与删除额度。删除额度后该账号回退到全局配置。

约束与限制​

项目取值适用范围
JSON 与表格单次选择上限10000 个数据集直出类
元数据单次选择上限10000 个数据集直出类
原始数据单次选择上限1000 个数据集直出类
图像标注单次上限10000 条,默认 1000图像标注
下载链接有效期24 小时转换类与原始数据
额度消耗单位数据集条数转换类
质检拦截默认开启全部导出
适配映射校验配置无效时拒绝创建任务LeRobot

失败处理​

现象可能原因处置责任方
提示数据集均无导出权限所选数据集不属于当前账号或未授权导出转为可访问的数据集,或由管理员调整数据集权限操作人、管理员
提示导出额度不足已用与本次所选条数之和超过总额度减少所选条数,或由管理员增加额度操作人、管理员
提示质检未通过禁止导出所选数据集质检未通过先在数据质检处理,或由管理员关闭该拦截配置操作人、管理员
提示上传凭证无效或缺失页面停留过久,上传凭证失效刷新页面后重新导出操作人
提示 MCap 切块仅支持指定格式所选数据集不是 MCAP 或 SenseXperience移除不符格式的数据集操作人
提示 RLDS 仅支持指定格式所选数据集不是 MCAP 或 SenseXperience移除不符格式的数据集操作人
提示适配映射无效适配映射配置不合法按提示修正映射后重新导出操作人
导出记录状态为失败数据量过大、存储连接异常、转换报错查看错误信息,分批重试或联系管理员操作人、管理员
下载时提示记录不存在或未完成记录未完成、文件被清理确认状态为「已完成」后重试操作人

相关页面​

页面用途
数据管理查看与管理待导出的数据集
标注任务查看标注任务完成情况
数据质检质检规则与导出拦截口径
LeRobot 可视化在平台内预览 LeRobot 数据
模型训练使用导出数据训练模型
HDF5 数据集HDF5 格式与数据结构