跳到主要内容

标注任务

功能概述

集中管理所有标注任务,支持按状态分组(待开始、工作中、待检查、检查合格、提交数据),并提供筛选与批量操作。创建任务需在“数据”页面先勾选数据,再点击底部“标注”进行指派。

适用角色和场景

  • 管理员:总览与治理任务,必要时批量删除或调整。
  • 项目经理:按项目创建并指派任务,跟踪进度与质量。
  • 标注员:进入任务页完成标注并提交。
  • 审核员:进入任务页执行审核,通过或打回并给出说明。

主要功能

任务状态管理

状态分组

系统将任务分为五个主要状态:待开始(已创建但尚未开始的任务)、工作中(正在进行标注的任务)、待检查(已完成标注等待审核的任务)、检查合格(通过审核的标注任务)、提交数据(已提交用于训练的数据)。这种状态分组让您能够清晰地了解每个任务的当前状态。

状态流转

任务在生命周期中会经历以下状态流转:任务创建后进入待开始状态,开始标注后变为工作中,完成标注后进入待检查,审核通过后变为检查合格,审核不通过则回到工作中重新标注,最终数据提交后变为提交数据。这个流程确保了标注工作的有序进行。

任务创建与分配

任务创建

创建任务时,您需要在数据页面选择要标注的数据,设置任务名称、描述、优先级,指定标注员和审核员,选择任务所属项目,并设置任务完成时间。这些配置确保任务能够按照预期执行。

批量操作

系统支持丰富的批量操作功能,大大提高任务管理效率:

批量选择:

  • 支持在任务列表中多选任务
  • 可以按状态、项目等条件筛选后进行批量操作
  • 选择后会显示底部操作栏

批量删除:

  • 可以批量删除选中的任务
  • 删除前会显示确认对话框,显示将删除的任务数量
  • 删除操作会同时清理相关的任务关联数据
  • 支持取消操作

批量分配(开发中):

  • 支持批量将任务重新分配给标注员
  • 支持批量修改任务属性
注意

批量删除操作不可恢复,请谨慎操作。删除任务不会删除关联的数据集,只会解除任务与数据集的关联关系。

任务详情页

平台为每个标注任务提供了详细的详情页面,方便查看和管理任务的各个方面:

页面结构:

  • 面包屑导航 - 快速返回任务列表或项目页面
  • 标签页切换 - 多个功能标签页,组织不同内容
  • 侧边栏 - 显示任务基本信息和操作按钮
  • 主内容区 - 根据标签页显示相应内容

功能标签页:

  1. 标注数据(dataset) - 默认标签页

    • 显示任务关联的所有数据集列表
    • 可以查看每个数据集的基本信息
    • 支持数据集与任务的关联管理
    • 可以添加或移除数据集
  2. 批量标注(repeats) - 批量标注工作区

    • 批量标注模式,提高标注效率
    • 样本选择器,快速切换数据
    • 标注进度条,显示完成情况
    • 同步元数据提醒
  3. 问题标注(invalids) - 问题标注管理

    • 显示所有标记为无效的标注
    • 可以查看无效原因
    • 支持重新标注或删除无效标注
  4. 标注统计(analysis) - 标注数据分析

    • 显示任务中所有标注的统计信息
    • 标注描述列表和详情
    • 支持标注数据导出

侧边栏信息:

  • 任务基本信息(名称、状态、创建时间等)
  • 任务相关人员(标注员、审核员)
  • 任务统计(数据集数量、标注数量等)
  • 任务操作(编辑、删除等)

进度跟踪与监控

实时进度

系统实时显示任务完成百分比、估算剩余完成时间、标注质量统计,以及标注效率趋势分析。这些信息帮助您及时了解任务进展情况,做出相应调整。

任务详情页进度:

  • 在任务详情页可以查看详细的进度信息
  • 显示各数据集的标注完成情况
  • 显示标注员的工作进度
  • 实时更新,页面可见性变化时自动刷新

进度报告

提供个人进度(标注员个人工作进度)、团队进度(团队整体工作进度)、项目进度(项目级别进度统计)、质量报告(标注质量分析报告)等多种报告,满足不同层次的管理需求。

质量控制体系

审核机制

系统提供多种审核机制:基于规则的自动质量检查、审核员人工质量检查、随机抽样质量检查、对所有标注进行全量审核。这些机制确保标注质量符合要求。

质量指标

通过通过率(一次通过审核的比例)、准确率(标注准确性的统计)、一致性(不同标注员间的一致性)、完整性(标注完整性的检查)等指标,全面评估标注质量。

团队协作功能

任务分配

支持智能分配(根据标注员能力和工作负载智能分配)、手动分配(管理员手动分配任务)、重新分配(任务重新分配给其他标注员)、任务转移(任务在不同标注员间转移)等多种分配方式,确保任务能够合理分配。

沟通协作

提供任务评论(在任务中添加评论和反馈)、问题报告(标注员报告遇到的问题)、解决方案(审核员提供解决方案)、经验分享(团队成员分享标注经验)等协作功能,促进团队沟通和知识共享。

数据导出与集成

标注结果导出

支持导出为LeRobot、HDF5等标准格式,根据需求自定义导出格式,批量导出多个任务的标注结果,以及只导出新增或修改的标注。这些功能满足不同场景的数据导出需求。

训练数据准备

提供数据清洗(自动清洗和预处理标注数据)、格式转换(转换为模型训练所需格式)、质量验证(验证导出数据的质量)、版本管理(管理不同版本的训练数据)等功能,确保导出的数据能够直接用于模型训练。

任务队列管理

平台提供了完善的后台任务队列管理系统,用于管理数据导出、处理等后台任务:

队列功能(管理员权限):

队列控制:

  • 暂停队列 - 临时暂停队列处理,停止执行新的任务
  • 恢复队列 - 恢复队列处理,继续执行等待中的任务
  • 队列状态 - 实时显示队列的暂停/运行状态

队列清理:

  • 清空等待队列 - 清空所有等待和延迟中的任务(不影响正在执行、已完成、失败的任务)
  • 清理历史任务 - 清理24小时之前已完成或失败的任务,释放存储空间
  • 批量重试 - 批量重试所有失败的任务(一次最多处理1000条)

队列监控:

  • 查看队列中的任务数量(等待、进行中、已完成、失败)
  • 查看任务执行日志和错误信息
  • 监控队列处理速度和性能
信息

任务队列说明:

  • 任务队列主要用于后台任务处理,如数据导出、格式转换等
  • 暂停队列不会影响正在执行的任务,只会阻止新任务开始
  • 清理操作会永久删除历史任务记录,请谨慎操作
  • 批量重试可以帮助恢复因临时错误失败的任务

适用角色

管理员

作为平台管理员,您可以查看所有任务的整体状况,管理标注员和审核员资源,监控整体标注质量,并配置任务流程和规则。这些功能确保平台的任务管理服务稳定高效。

项目经理

项目经理可以为项目创建标注任务,跟踪项目标注进度,监控标注质量状况,并协调标注员和审核员工作。通过任务管理模块,项目经理能够有效掌控项目的标注工作。

标注员

标注员可以接收分配给自己的任务,执行具体的标注工作,更新任务完成进度,并反馈标注过程中的问题。这些功能支持标注员高效完成标注任务。

审核员

审核员可以审核标注员完成的任务,评估标注质量,向标注员反馈问题,并制定和更新标注标准。这个角色在保证标注质量方面发挥着重要作用。