数据标注
标注把一段机器人数据与自然语言描述对应起来,为训练提供监督信号。标注结果决定模型能否把「收拾餐桌」这类指令映射到具体动作与物品。
定义
| 术语 | 说明 |
|---|---|
| 标注任务 | 承载一批数据集标注工作的任务单元,有状态流转 |
| 标注记录 | 一条数据中的一个时间段,或一个图像区域 |
| 技能 | 动作模板,如 pick {A} from {B} |
| 对象 | 动作作用的对象,填充模板中的 {A} |
| 目标 | 动作的目标位置或容器,填充模板中的 {B} |
| 状语 | 附加描述,如动作先后顺序 |
| 面板 | 数据的渲染单位,对应一路相机或传感器 Topic |
标注类型与字段
标注类型
平台提供三类标注方式,入口与适用对象如下。
| 标注类型 | 适用对象 | 标注内容 | 入口 |
|---|---|---|---|
| 语义分段标注 | MCAP 等时序数据 | 时间段 + 技能、对象、目标、状语,生成中英文描述 | 数据列表进入 Studio |
| 图像物品标注 | 相机视角图像 | 图像区域 + 物品名称 | 图像标注页 |
| 批量标注 | 同质化数据集 | 复用一条样例标注 | 标注任务的批量标注页 |
语义分段标注以一条数据为范围,可包含一条或多条标注时间段;每条时间段对应一个原子动作,多条时间段按 sequence_id 组成完整任务序列。
标注内容字段
| 字段 | 取值来源 | 说明 |
|---|---|---|
| 技能 | 字典 | 动作模板,决定描述句式 |
| 对象 | 字典 | 模板中的 {A} |
| 目标 | 字典 | 模板中的 {B} |
| 位置 | 位置选项 | 对象相对位置 |
| 左右手 | 左手、右手、双手 | 记录执行动作的手 |
| 状语 | 字典 | 附加说法,可前置或后置 |
| 质量评分 | 0–1,-1 表示未评分 | 表单以 0.5–5 星、步长 0.5 填写,落库时取星值除以 5 |
| 自定义描述 | 手工输入 | 覆盖模板生成的描述 |
标注结果的存储形式
| 标注内容 | 存储记录 | 主要字段 |
|---|---|---|
| 语义分段标注 | 每条时间段一条记录 | 起始与结束时间戳、起始与结束帧号、技能、对象、目标、英文描述、中文描述、选项、质量评分、无效原因 |
| 图像物品标注 | 每个区域一条记录 | 物品名称、区域坐标、图像宽高、困难样本标记、标注类型 |
标注记录按所属数据集与任务关联,可随数据导出进入训练流程,见数据导出。
口径与依据
| 项目 | 取值 | 口径与依据 |
|---|---|---|
| 语义标注内容字段 | 技能、对象、目标、位置、左右手、状语 | 标注表单提供的可选项,见「标注内容字段」 |
| 质量评分范围 | 0–1,-1 表示未评分 | 表单以 0.5–5 星填写,落库取星值除以 5 |
| 图像标注类型 | 5 种枚举 | 目标检测记录的标注类型枚举:BBOX、POINT、POLYGON、LINE、CIRCLE |
标注界面与操作
标注界面
进入数据详情后,数据以面板形式渲染,每个面板对应一路相机或传感器 Topic。
面板调整
| 操作 | 方式 |
|---|---|
| 更换渲染内容 | 点击面板左上角设置按钮,在菜单中选择面板类型 |
| 更改数据来源 | 在设置菜单中选择要切换的 Topic 消息源 |





时间轴
标注时间轴按技能分组展示已完成的标注时间段,支持展开或收起技能行。面板上的播放控件提供播放、暂停、前进、后退,用于定位动作的起止时刻。
快捷键
| 快捷键 | 作用 |
|---|---|
| Q | 标记动作起始时刻 |
| R | 标记动作结束时刻 |
| 回车 | 添加标注 |
| Ctrl+S | 保存标注 |
| 空格 | 播放或暂停 |
| ← | 后退 |
| → | 前进 |
| 1、2、3 | 应用预测出的第 N 条描述 |
精细标注
精细标注在单个数据流中标记一条或多条动作时间段,适用于一条数据包含多段动作的场景。标注任务流程见新建标注任务与标注员操作指南。
操作步骤
- 在数据列表点击数据名称,进入 Studio。
- 播放数据,将进度定位到动作起始时刻。
- 点击「开始」或按 Q,记录起始时间戳。
- 播放到动作结束时刻,点击「结束」或按 R,记录结束时间戳。
- 在表单中选择技能、对象、目标、位置与左右手,或填写自定义描述。
- 点击「添加标注」或按回车,把该时间段加入标注列表。
- 重复第 2 步至第 6 步,直到覆盖全部动作。
- 点击右上角保存按钮或按 Ctrl+S,把标注上传到服务器。






注意
未保存的标注仅存在于当前浏览器。离开页面前需执行保存,否则改动丢失。
批量标注
批量标注用于同质化数据集。平台提供三种模式,按下表选择。
| 模式 | 作用 | 适用场景 |
|---|---|---|
| 快速标注 | 为所选全部数据集写入同一条描述 | 数据集动作相同 |
| 批量复制标注 | 将样例标注按时间轴比例复制到目标数据集 | 动作分段与样例一致 |
| 批量替换标注 | 按规则批量替换描述、对象与目标 | 需要统一订正文案 |
快速标注步骤
- 在标注任务的批量标注页选择「快速标注」。
- 填写英文描述与中文描述。
- 提交,系统为所选全部数据集写入该描述。
批量复制标注步骤
- 选择一条已完成标注的数据作为样例。
- 选择需要复制标注的目标数据集。
- 提交复制,系统按时间轴比例生成目标标注。
- 查看复制结果与失败项。
批量替换标注步骤
- 在批量替换页设置替换规则,覆盖描述、对象与目标。
- 提交替换,系统按规则改写所选数据集的标注文案。








图像物品标注
图像标注在相机视角图像上标注物品名称。入口为图像标注页,从标注导出页跳转进入。
操作步骤
- 选择待标注的数据集,页面上方加载对应图像。
- 在图像上拖拽绘制矩形区域,或单击标记一个点。
- 为每个区域填写物品名称,名称来自字典中的对象列表。
- 重复第 2 步至第 3 步,添加全部区域。
- 提交,保存全部物品标注。
标注对象列表取自字典,维护方式见字典管理。
使用限制
标注受以下既有边界约束。
| 项目 | 限制 | 说明 |
|---|---|---|
| 时间定位 | 起始与结束时间戳必填 | 时间戳缺失的标注无法保存;帧号字段可选,缺失时导出为空 |
| 质量评分 | 0–1,-1 表示未评分 | 表单以 0.5–5 星、步长 0.5 填写,落库时取星值除以 5 |
| 图像标注类型 | BBOX、POINT、POLYGON、LINE、CIRCLE 五种 | 每条记录仅一种类型,默认 BBOX |
| 图像标注区域 | 矩形区域或单点 | 拖拽绘制矩形,或单击标记一个点 |
| 技能与对象取值 | 取自字典 | 字典外的文案不能作为技能、对象或目标 |
| 未保存标注 | 仅存于当前浏览器 | 离开页面前需保存,否则改动丢失 |
| 批量标注适用数据 | 同质化数据集 | 快速标注、批量复制、批量替换按同一动作或相同分段套用 |
相关页面
| 页面 | 用途 |
|---|---|
| 数据管理 | 数据集检索、预览与批量操作 |
| 数据导出 | 导出标注结果用于训练 |
| 数据格式 | MCAP 结构与标注数据字段 |
| 字典管理 | 技能、对象、目标、状语字典维护 |
| 数据质检 | ROS 录制的自动质量检测规则 |