跳到主要内容

审核员操作指南

审核员在标注任务进入「待检查」后审核标注结果,判定「检查合格」或「检查不合格」。任务的字段定义、状态机与列表操作见 标注任务;本页只描述审核的操作过程。

适用角色与前提

适用角色

角色能否审核说明
审核员需「审核标注」 模块权限,且为任务的审核员
管理员不受模块权限限制
项目经理「审核标注」 默认授予,可变更任意任务状态
标注员只能将任务置为「待开始」「工作中」「待检查」
采集员标注任务的状态变更需「执行标注」 或 「审核标注」,采集员默认均未授予

前置条件

要求
权限「审核标注」、「查看标注任务」
任务关系当前账号是任务的审核员,或任务创建者;否则接口返回 403
任务状态任务处于「待检查」时开始审核;「检查合格」可复核改判
项目类型公开项目仅管理员可变更任务状态
浏览器最新版 Chrome 或 Edge,用于播放标注数据

任务状态与流转

标注任务共 6 个状态。各状态允许的下一状态与可设置该状态的角色见 标注任务 的「任务状态」与「状态变更权限」。

同一状态机同时用于标注任务与采集任务,采集任务的角色能力见 采集员操作指南

审核员可执行的状态流转

当前状态审核操作流转结果
待检查检查合格检查合格
待检查检查不合格,并填写不通过原因检查不合格
检查合格复核改判为检查不合格检查不合格
检查不合格复核改判为检查合格检查合格

接口只接受审核员将标注任务置为「检查合格」或「检查不合格」,其他状态返回 403。「提交数据」仅管理员与项目经理可设置。

操作流程

操作步骤

  1. 访问平台地址,使用管理员分配的账号登录。
  2. 在侧栏选择「标注」,按「待检查」状态筛选出待审核任务。
  3. 打开任务详情,确认任务下的数据集。
  4. 打开数据集,逐条核对自然语言语义与标注轨迹的起始帧节点。
  5. 对存在问题的标注,选择对应的异常标签,将其标记为无效;异常标签取自字典的「无效」类型。
  6. 在任务详情的「问题标注」标签页复核本任务的全部无效标注。
  7. 判定任务结果:无问题时在侧边栏选择「下一步 检查合格」;需要返工时选择「下一步 检查不合格」,在对话框填写不通过原因后提交。

审核任务列表

任务详情

任务审核视图

逐条审核标注

无效标注判定

审核结果判定

问题标注

标记为无效的标注集中显示在任务详情的「问题标注」标签页。每行对应一条无效标注:

含义
数据标注所属数据集,点击名称在浏览器中打开
标注自然语言标注内容
标注员提交该标注的账号
标注时间标注创建时间
问题该标注的异常标签
审核员判定该标注无效的账号
检查时间判定无效的时间
修正时间标注员修正的时间;未修正时显示「未修正」

无无效标注时显示「没有发现问题标注」。

打回与原因

选择「检查不合格」时弹出「填写任务不通过原因」对话框。不通过原因最长 1000 个字符,可留空;填写后项目成员可在任务详情中查看,并显示为侧边栏的「审核不通过原因」。

审核通过后的后续环节

环节执行角色说明
提交数据管理员、项目经理将任务状态置为「提交数据」,任务下数据集进入提交锁定,标注不可再修改
数据导出管理员、项目经理数据导出 页导出标注结果用于训练

结果校验

校验项预期结果
任务状态审核通过后为「检查合格」;打回后为「检查不合格」
不通过原因打回时填写的原因显示在任务详情侧边栏的「审核不通过原因」
问题标注「问题标注」标签页列出本任务的全部无效标注
后续锁定任务置为「提交数据」后,任务下数据集不可修改标注

异常处置

现象可能原因处置责任方
侧栏缺少「标注」入口未授予 「查看标注任务」由管理员授予「查看标注任务」管理员
状态变更返回 403,提示只有任务相关人员可以修改当前账号不是任务的审核员或创建者由项目经理将当前账号指派为任务审核员项目经理
状态变更返回 403,提示审核员只能设置检查合格或检查不合格尝试将任务置为其他状态只使用「检查合格」或「检查不合格」审核员
访问任务返回 403不在任务所属项目,且项目不是公开项目由管理员将账号加入项目管理员
公开项目下无法变更任务状态公开项目仅管理员可修改任务状态由管理员执行状态变更管理员
标注不可修改任务已置为「提交数据」,数据集进入提交锁定由管理员调整任务状态后再修改管理员
数据无法播放浏览器不支持播放能力使用最新版 Chrome 或 Edge 打开审核员

相关页面

页面用途
标注任务任务字段、状态机与列表操作
采集任务采集任务的字段与状态
标注员操作指南标注执行流程
数据导出导出标注结果
权限说明角色与模块权限