跳到主要内容

数据管理

功能概述​

集中管理与检索数据，支持按名称、机器人、标签等条件筛选，支持批量操作（重命名、统计、标注、标签、删除、导入、关联机器人）。在此勾选数据后，可一键发起“标注”创建任务。

适用角色和场景​

  • 管理员/项目经理：全量操作与项目分配、创建标注任务。
  • 审核员/标注员：查看与检索数据（权限受限）。

主要功能​

数据浏览与检索​

项目筛选​

数据管理支持多种项目视图：您可以查看所有项目的数据，选择特定项目查看其数据，访问个人私有数据，或浏览团队共享数据。这种灵活的筛选方式让不同角色的用户都能快速找到所需数据。

高级搜索功能​

系统提供强大的搜索能力，支持数据名称的模糊匹配和精确搜索，按数据来源机器人筛选，按标注标签筛选数据，按上传时间筛选，以及按文件格式筛选（MCAP、BAG、视频、音频、图片）。这些搜索条件可以组合使用，帮助您精确定位目标数据。

状态筛选​

通过分配状态（已分配/未分配任务）、标注状态（已标注/未标注）、质量状态（高质量/低质量/待审核）等维度，您可以快速筛选出符合特定条件的数据，提高工作效率。

数据预览与播放​

数据预览​

系统提供缩略图显示功能，让您快速浏览数据内容。同时显示文件大小、时长、上传时间等基本信息，以及机器人信息、采集参数等元数据，帮助您全面了解数据特征。

在线播放​

支持多种格式的在线播放：视频文件、音频文件，以及MCAP格式的机器人数据可视化播放。播放器提供暂停、快进、慢放、循环播放等控制功能，让您能够灵活地查看和分析数据内容。

批量操作功能​

数据管理操作​

支持丰富的批量操作功能，大大提高数据管理效率：

批量数据管理：

  • 批量重命名 - 批量修改数据集名称
  • 查看统计信息 - 批量查看数据集的统计信息（大小、时长、标注数量等）
  • 管理标签 - 批量添加或删除数据集标签
  • 删除数据 - 批量删除数据集（软删除，可在回收站恢复）
  • 导入外部数据 - 批量导入外部数据源
  • 关联机器人 - 批量将数据集关联到机器人设备

批量标注操作：

  • 创建标注任务 - 选择多个数据集后，一键创建标注任务
  • 追加到现有任务 - 将数据集追加到已有的标注任务中
  • 查看标注进度 - 批量查看数据集的标注完成情况

数据重新上传与恢复：

平台支持智能的数据集恢复功能。当您重新上传之前已删除（软删除）的数据集时：

  • 自动检测 - 系统会自动检测是否存在同名的软删除数据集
  • 恢复选项 - 上传时如果检测到同名软删除数据集，可以选择：
    • 恢复现有数据集 - 恢复软删除的数据集，保留所有历史信息
      • 保留原有的标注数据（dataset_markers）
      • 保留任务关联（dataset_tasks）
      • 保留数据集标签和元数据
      • 保留访问和操作日志
    • 创建新数据集 - 忽略软删除的数据集，创建全新的数据集记录
  • 无缝恢复 - 恢复后的数据集立即从回收站移除，恢复正常使用状态
提示

数据集恢复建议：

  • 如果数据曾被误删，建议选择"恢复现有数据集"以保留所有历史信息
  • 如果是全新上传的数据文件，可以选择"创建新数据集"
  • 恢复操作会保留标注、任务关联等所有重要数据

标注相关操作​

选择数据后可以一键创建标注任务，或将数据追加到现有标注任务中。您还可以查看数据的标注结果和标注进度，以及质量统计信息，为标注工作提供全面的支持。

数据下载与导出​

文件下载​

支持下载原始数据文件、转换后的MCAP文件，以及ZIP压缩包形式的批量下载。无论您需要单个文件还是批量数据，都能方便地获取。

数据导出​

提供标注结果导出、统计报告导出、元数据导出等功能。导出的数据可以直接用于模型训练、数据分析或其他用途，满足不同场景的需求。

数据质量监控​

质量指标​

系统持续监控标注完成率、质量通过率、标注效率、异常数据等关键指标，帮助您全面了解数据质量状况。

质量分析​

通过质量趋势分析、标注员表现对比、问题分析等功能，您可以深入了解数据质量的变化规律，识别改进机会，提升整体标注质量。

元数据同步与验证​

平台提供了强大的元数据同步功能，确保数据集信息的准确性：

自动元数据提取：

  • 上传成功后，系统会自动提取数据集的元数据
  • 包括文件大小、时长、开始时间、结束时间等信息
  • 对于MCAP格式，会提取完整的消息统计和话题信息

手动同步元数据：

  • 如果元数据不准确或需要更新，可以手动触发元数据同步
  • 系统会重新读取文件并更新元数据信息
  • 支持批量同步多个数据集的元数据

元数据验证：

  • 自动验证文件完整性
  • 检测文件是否损坏或格式错误
  • 对于损坏的文件，会标记为错误状态并记录错误信息

错误处理：

  • 自动检测永久性错误（如文件损坏）和临时错误
  • 永久性错误会直接标记为错误状态，不再重试
  • 临时错误可以手动重试同步
信息

元数据同步说明：

  • 同步过程可能需要一些时间，特别是大文件
  • 同步不会影响已有的标注数据
  • 如果文件损坏，同步会失败并标记错误状态

回收站与数据恢复​

平台使用软删除机制，删除的数据集会进入回收站，可以恢复：

回收站功能：

  • 集中管理所有已删除的数据集
  • 显示删除时间、删除人等信息
  • 支持按类型、时间等条件筛选
  • 支持搜索已删除的数据集

数据恢复：

  • 可以从回收站恢复误删的数据集
  • 恢复后会保留所有历史信息
  • 支持单个恢复和批量恢复
  • 恢复的数据集自动从回收站移除

永久删除：

  • 管理员可以永久删除回收站中的数据
  • 永久删除后无法恢复，请谨慎操作

任务队列集成：

  • 数据集的元数据同步等操作使用任务队列处理
  • 可以通过任务队列管理功能监控同步进度
  • 支持队列的暂停、恢复、清理等操作（详见任务队列管理说明）

适用角色​

管理员​

作为平台管理员，您可以查看和管理所有项目的数据，监控整体数据质量状况，将数据分配给不同项目，并进行系统维护，清理无效数据，优化存储空间。

项目经理​

项目经理可以管理负责项目的数据，选择数据创建标注任务，监控数据标注进度，并确保数据标注质量。通过数据管理模块，项目经理能够全面掌控项目的数据状况。