跳到主要内容

数据管理

数据管理页面集中管理平台内全部数据集,提供检索、筛选、预览与批量操作。数据集是标注任务的输入;标注、质检与导出分别在「标注任务」「数据质检」「数据导出」页面完成。

数据管理界面(管理员,测试环境)

使用前提​

项内容
菜单入口数据 → 数据
路由/dataset
必需权限「数据列表」
相关权限「数据标注」(发起标注)、「数据计算/预处理」(更新元信息等计算类操作)、「数据导出」(进入导出页)
生效规则管理员不受模块权限限制,全部为读写;其他角色按角色默认模板生效,用户级覆盖优先于角色默认;未配置的模块为禁止

模块权限的配置方式见 模块权限。

数据浏览​

数据范围​

页面顶部的项目选择器决定列表的数据范围。三个选项的差异:

范围可见数据集适用角色
全部项目当前账号有权访问的所有项目下的数据集管理员;项目经理看到自己所属项目与公开项目
指定项目仅所选项目下的数据集全部角色
个人空间当前账号上传的私有数据集全部角色

数据量较大时先选定项目,可减少单次查询返回的数据量。

检索与筛选​

筛选条件写入 URL 查询参数,可直接分享带筛选条件的链接。已生效的机器人、标签、上传者三项会以标签形式显示在列表上方,可逐项移除。

筛选维度说明
数据名称按名称匹配,支持模糊匹配
机器人按采集数据的机器人筛选
标签按数据标签筛选
上传者按上传账号筛选
所属项目按项目筛选,支持多选
采集员按采集员筛选,支持多选
采集任务按来源采集任务筛选
时长范围按数据时长区间筛选,单位秒
标记点文本按标注文本内容检索

高级搜索展开状态

列表字段​

字段说明
缩略图数据集预览图
名称数据集名称,点击进入详情
大小文件占用空间
时长数据时长
上传时间入库时间,支持排序
状态是否已分配标注任务、是否已标注完成
标签数据分类标签

列表底部分页控件显示每页条数与总条数;未勾选任何行时,底部显示当前筛选结果的存储空间合计。

数据预览​

点击数据集名称或缩略图进入详情,查看基本信息、机器人信息、标注统计与关联任务,并在浏览器内播放在线内容。

数据类型支持的格式播放能力
视频MP4、AVI、MOV播放、暂停、倍速
音频MP3、WAV播放、波形显示
MCAPMCAP三维场景渲染、标记点查看

Studio 数据播放

数据维护​

批量操作​

操作前需在列表中勾选目标数据集。底部操作栏的可用操作:

操作作用约束
重命名批量修改数据集名称逐条确认
统计查看所选数据的标注统计只读
标注以所选数据创建标注任务需「数据标注」
标签批量添加或移除数据标签需「数据标注」
更新重新提取元信息或重新预处理需「数据计算/预处理」
删除软删除所选数据删除后进入回收站,可恢复
导入将所选数据导入到项目需项目成员身份
机器人关联或解除关联机器人用于数据溯源
注意

勾选的行中若包含开源共享数据集,批量操作会被拒绝,提示「所选数据包含开源共享数据,仅可查看/导出,无法进行二次编辑」。此类数据集只能查看与导出。

数据批量操作

统计信息​

点击底部「统计」查看所选数据集的汇总指标。指标口径:

指标含义
数据总数所选数据集条数
数据总时长所选数据集时长合计
标注总数标注条目总数
合格标注总数审核通过且未被标记为无效的标注条目数
平均每条数据标注量标注总数 ÷ 数据总数
标注总时长标注覆盖的时长合计
平均每条数据标注时长标注总时长 ÷ 数据总数
无效数据总数被标记为无效的数据条数
已检查合格率已检查合格数 ÷ 已检查总数
无效采集因采集环节问题判定为无效的标注数
错误语义 未改正 / 已改正语义错误标注中未修正与已修正的数量

标注统计

元信息更新​

文件时长或大小显示异常、上传后元信息提取失败、文件被外部工具修改时,需要重新提取元信息。

操作路径:勾选数据集 → 底部「更新」→ 选择更新元信息 → 确认。对话框逐条显示处理状态:

状态含义后续动作
待处理已入队,等待处理无需操作
处理中正在读取文件并提取元信息等待完成
已完成元信息更新成功无
失败文件损坏或格式错误永久性错误不自动重试,需先修复文件后重新提交

误删恢复​

删除采用软删除,数据进入回收站,可恢复。恢复后保留原有标注数据、关联标注任务、数据标签与元数据、操作与访问日志。

重新上传与已删除数据集同名的文件时,系统检测到同名记录并提供两个选项:

选项结果适用场景
恢复现有数据集保留全部历史信息,含标注与任务关联原数据被误删
创建新数据集忽略历史数据,建立全新记录原数据需要废弃

失败处理​

现象可能原因处置
检索不到目标数据项目范围选择错误、无该数据的访问权限、关键词过窄、数据已被删除切换项目范围;在回收站中确认是否被删除;放宽关键词或改用高级搜索
列表加载缓慢范围选择为全部项目、筛选条件过宽、单页条数过大、网络不稳定选定具体项目;增加筛选条件;减少每页条数
批量操作部分失败个别文件损坏、数据集无标注数据、包含开源共享数据在操作对话框中查看逐条错误信息,对失败项单独重试
元信息更新失败文件损坏或格式不受支持修复文件后重新提交;永久性错误不自动重试

相关页面​

页面用途
标注任务任务状态、任务详情、批量标注
数据上传上传新数据、视频与音频转 MCAP
数据导出导出标注结果用于训练
数据质检ROS 录制的自动质量检测规则
回收站恢复已删除的数据