标注任务
功能概述
集中管理所有标注任务,支持按状态分组(待开始、工作中、待检查、检查合格、提交数据),并提供筛选与批量操作。创建任务需在“数据”页面先勾选数据,再点击底部“标注”进行指派。
适用角色和场景
- 管理员:总览与治理任务,必要时批量删除或调整。
- 项目经理:按项目创建并指派任务,跟踪进度与质量。
- 标注员:进入任务页完成标注并提交。
- 审核员:进入任务页执行审核,通过或打回并给出说明。
主要功能
任务状态管理
状态分组
系统将任务分为五个主要状态:待开始(已创建但尚未开始的任务)、工作中(正在进行标注的任务)、待检查(已完成标注等待审核的任务)、检查合格(通过审核的标注任务)、提交数据(已提交用于训练的数据)。这种状态分组让您能够清晰地了解每个任务的当前状态。
状态流转
任务在生命周期中会经历以下状态流转:任务创建后进入待开始状态,开始标注后变为工作中,完成标注后进入待检查,审核通过后变为检查合格,审核不通过则回到工作中重新标注,最终数据提交后变为提交数据。这个流程确保了标注工作的有序进行。
任务创建与分配
任务创建
创建任务时,您需要在数据页面选择要标注的数据,设置任务名称、描述、优先级,指定标注员和审核员,选择任务所属项目,并设置任务完成时间。这些配置确保任务能够按照预期执行。
批量操作
系统支持批量创建多个标注任务,批量分配任务给标注员,批量修改任务属性,以及批量删除不需要的任务。这些批量操作大大提高了任务管理效率,特别是在处理大量任务时。
进度跟踪与监控
实时进度
系统实时显示任务完成百分比、估算剩余完成时间、标注质量统计,以及标注效率趋势分析。这些信息帮助您及时了解任务进展情况,做出相应调整。
进度报告
提供个人进度(标注员个人工作进度)、团队进度(团队整体工作进度)、项目进度(项目级别进度统计)、质量报告(标注质量分析报告)等多种报告,满足不同层次的管理需求。
质量控制体系
审核机制
系统提供多种审核机制:基于规则的自动质量检查、审核员人工 质量检查、随机抽样质量检查、对所有标注进行全量审核。这些机制确保标注质量符合要求。
质量指标
通过通过率(一次通过审核的比例)、准确率(标注准确性的统计)、一致性(不同标注员间的一致性)、完整性(标注完整性的检查)等指标,全面评估标注质量。
团队协作功能
任务分配
支持智能分配(根据标注员能力和工作负载智能分配)、手动分配(管理员手动分配任务)、重新分配(任务重新分配给其他标注员)、任务转移(任务在不同标注员间转移)等多种分配方式,确保任务能够合理分配。
沟通协作
提供任务评论(在任务中添加评论和反馈)、问题报告(标注员报告遇到的问题)、解决方案(审核员提供解决方案)、经验分享(团队成员分享标注经验)等协作功能,促进团队沟通和知识共享。
数据导出与集成
标注结果导出
支持导出为LeRobot、HDF5等标准格式,根据需求自定义导出格式,批量导出多个任务的标注结果,以及只导出新增或修改的标注。这些功能满足不同场景的数据导出需求。
训练数据准备
提供数据清洗(自动清洗和预处理标注数据)、格式转换(转换为模型训练所需格式)、质量验证(验证导出数据的质量)、版本管理(管理不同版本的训练数据)等功能,确保导出的数据能够直接用于模型训练。
适用角色
管理员
作为平台管理员,您可以查看所有任务的整体状况,管理标注员和审核员资源,监控整体标注质量,并配置任务流程和规则。这些功能确保平台的任务管理服务稳定高效。
项目经理
项目经理可以为项目创建标注任务,跟踪项目 标注进度,监控标注质量状况,并协调标注员和审核员工作。通过任务管理模块,项目经理能够有效掌控项目的标注工作。
标注员
标注员可以接收分配给自己的任务,执行具体的标注工作,更新任务完成进度,并反馈标注过程中的问题。这些功能支持标注员高效完成标注任务。
审核员
审核员可以审核标注员完成的任务,评估标注质量,向标注员反馈问题,并制定和更新标注标准。这个角色在保证标注质量方面发挥着重要作用。