跳到主要内容

数据标注

标注把一段机器人数据与自然语言描述对应起来,为训练提供监督信号。标注结果决定模型能否把「收拾餐桌」这类指令映射到具体动作与物品。

定义​

术语说明
标注任务承载一批数据集标注工作的任务单元,有状态流转
标注记录一条数据中的一个时间段,或一个图像区域
技能动作模板,如 pick {A} from {B}
对象动作作用的对象,填充模板中的 {A}
目标动作的目标位置或容器,填充模板中的 {B}
状语附加描述,如动作先后顺序
面板数据的渲染单位,对应一路相机或传感器 Topic

标注类型与字段​

标注类型​

平台提供三类标注方式,入口与适用对象如下。

标注类型适用对象标注内容入口
语义分段标注MCAP 等时序数据时间段 + 技能、对象、目标、状语,生成中英文描述数据列表进入 Studio
图像物品标注相机视角图像图像区域 + 物品名称图像标注页
批量标注同质化数据集复用一条样例标注标注任务的批量标注页

语义分段标注以一条数据为范围,可包含一条或多条标注时间段;每条时间段对应一个原子动作,多条时间段按 sequence_id 组成完整任务序列。

标注内容字段​

字段取值来源说明
技能字典动作模板,决定描述句式
对象字典模板中的 {A}
目标字典模板中的 {B}
位置位置选项对象相对位置
左右手左手、右手、双手记录执行动作的手
状语字典附加说法,可前置或后置
质量评分0–1,-1 表示未评分表单以 0.5–5 星、步长 0.5 填写,落库时取星值除以 5
自定义描述手工输入覆盖模板生成的描述

标注结果的存储形式​

标注内容存储记录主要字段
语义分段标注每条时间段一条记录起始与结束时间戳、起始与结束帧号、技能、对象、目标、英文描述、中文描述、选项、质量评分、无效原因
图像物品标注每个区域一条记录物品名称、区域坐标、图像宽高、困难样本标记、标注类型

标注记录按所属数据集与任务关联,可随数据导出进入训练流程,见数据导出。

口径与依据​

项目取值口径与依据
语义标注内容字段技能、对象、目标、位置、左右手、状语标注表单提供的可选项,见「标注内容字段」
质量评分范围0–1,-1 表示未评分表单以 0.5–5 星填写,落库取星值除以 5
图像标注类型5 种枚举目标检测记录的标注类型枚举:BBOX、POINT、POLYGON、LINE、CIRCLE

标注界面与操作​

标注界面​

进入数据详情后,数据以面板形式渲染,每个面板对应一路相机或传感器 Topic。

面板调整​

操作方式
更换渲染内容点击面板左上角设置按钮,在菜单中选择面板类型
更改数据来源在设置菜单中选择要切换的 Topic 消息源

数据集页面展示全部可用数据

点击面板左上角的设置按钮

从下拉菜单选择面板类型

通过设置菜单更改 Topic 消息源

预览新选择的 Topic 内容

时间轴​

标注时间轴按技能分组展示已完成的标注时间段,支持展开或收起技能行。面板上的播放控件提供播放、暂停、前进、后退,用于定位动作的起止时刻。

快捷键​

快捷键作用
Q标记动作起始时刻
R标记动作结束时刻
回车添加标注
Ctrl+S保存标注
空格播放或暂停
←后退
→前进
1、2、3应用预测出的第 N 条描述

精细标注​

精细标注在单个数据流中标记一条或多条动作时间段,适用于一条数据包含多段动作的场景。标注任务流程见新建标注任务与标注员操作指南。

操作步骤​

  1. 在数据列表点击数据名称,进入 Studio。
  2. 播放数据,将进度定位到动作起始时刻。
  3. 点击「开始」或按 Q,记录起始时间戳。
  4. 播放到动作结束时刻,点击「结束」或按 R,记录结束时间戳。
  5. 在表单中选择技能、对象、目标、位置与左右手,或填写自定义描述。
  6. 点击「添加标注」或按回车,把该时间段加入标注列表。
  7. 重复第 2 步至第 6 步,直到覆盖全部动作。
  8. 点击右上角保存按钮或按 Ctrl+S,把标注上传到服务器。

点击开始按钮或使用快捷键 Q 开始标注

点击结束按钮或使用快捷键 R 结束标注

填写标注的自然语言描述

从选项中选择预定义描述或添加新描述

点击添加标注按钮或使用回车键确认

点击右上角保存按钮上传标注

注意

未保存的标注仅存在于当前浏览器。离开页面前需执行保存,否则改动丢失。

批量标注​

批量标注用于同质化数据集。平台提供三种模式,按下表选择。

模式作用适用场景
快速标注为所选全部数据集写入同一条描述数据集动作相同
批量复制标注将样例标注按时间轴比例复制到目标数据集动作分段与样例一致
批量替换标注按规则批量替换描述、对象与目标需要统一订正文案

快速标注步骤​

  1. 在标注任务的批量标注页选择「快速标注」。
  2. 填写英文描述与中文描述。
  3. 提交,系统为所选全部数据集写入该描述。

批量复制标注步骤​

  1. 选择一条已完成标注的数据作为样例。
  2. 选择需要复制标注的目标数据集。
  3. 提交复制,系统按时间轴比例生成目标标注。
  4. 查看复制结果与失败项。

批量替换标注步骤​

  1. 在批量替换页设置替换规则,覆盖描述、对象与目标。
  2. 提交替换,系统按规则改写所选数据集的标注文案。

从列表中选择样例数据

创建新的标注任务

查看创建的标注任务

完成样例数据的标注

保存完成的样例标注

选择要用作模板的样例

开始批量复制标注

系统提示复制成功

查看批量标注结果

图像物品标注​

图像标注在相机视角图像上标注物品名称。入口为图像标注页,从标注导出页跳转进入。

操作步骤​

  1. 选择待标注的数据集,页面上方加载对应图像。
  2. 在图像上拖拽绘制矩形区域,或单击标记一个点。
  3. 为每个区域填写物品名称,名称来自字典中的对象列表。
  4. 重复第 2 步至第 3 步,添加全部区域。
  5. 提交,保存全部物品标注。

标注对象列表取自字典,维护方式见字典管理。

使用限制​

标注受以下既有边界约束。

项目限制说明
时间定位起始与结束时间戳必填时间戳缺失的标注无法保存;帧号字段可选,缺失时导出为空
质量评分0–1,-1 表示未评分表单以 0.5–5 星、步长 0.5 填写,落库时取星值除以 5
图像标注类型BBOX、POINT、POLYGON、LINE、CIRCLE 五种每条记录仅一种类型,默认 BBOX
图像标注区域矩形区域或单点拖拽绘制矩形,或单击标记一个点
技能与对象取值取自字典字典外的文案不能作为技能、对象或目标
未保存标注仅存于当前浏览器离开页面前需保存,否则改动丢失
批量标注适用数据同质化数据集快速标注、批量复制、批量替换按同一动作或相同分段套用

相关页面​

页面用途
数据管理数据集检索、预览与批量操作
数据导出导出标注结果用于训练
数据格式MCAP 结构与标注数据字段
字典管理技能、对象、目标、状语字典维护
数据质检ROS 录制的自动质量检测规则