レビュアー操作ガイド

アノテーションタスクが「未チェック」になると、レビュアーはアノテーション結果をレビューし、「合格」または「不合格」を判定します。タスクのフィールド定義、ステータスマシン、一覧操作については アノテーションタスク を参照してください。本ページではレビューの操作手順のみを扱います。

対象ロールと前提条件

対象ロール

ロール	レビュー可否	説明
レビュアー	可	「アノテーションをレビュー」のモジュール権限が必要で、かつタスクのレビュアーであること
管理者	可	モジュール権限の制限を受けません
プロジェクトマネージャー	可	「アノテーションをレビュー」は既定で付与され、任意のタスクのステータスを変更できます
アノテーター	不可	タスクを「開始待ち」「作業中」「未チェック」にのみ変更できます
収集者	不可	アノテーションタスクのステータス変更には「アノテーションを実行」または「アノテーションをレビュー」が必要で、収集者には既定でいずれも付与されません

前提条件

項目	要件
権限	「アノテーションをレビュー」「アノテーションタスクを表示」
タスクとの関係	現在のアカウントがタスクのレビュアーまたは作成者であること。そうでない場合、APIは403を返します
タスクステータス	タスクが「未チェック」のときにレビューを開始します。「合格」は再レビューして変更できます
プロジェクト種別	公開プロジェクトでは管理者のみタスクステータスを変更できます
ブラウザ	最新版のChromeまたはEdge（アノテーションデータの再生用）

タスクステータスと遷移

アノテーションタスクには6つのステータスがあります。各ステータスから遷移できる次のステータスと、そのステータスを設定できるロールについては、アノテーションタスク の「タスクステータス」と「ステータス変更権限」を参照してください。

同じステータスマシンはアノテーションタスクと収集タスクで共通です。収集タスクでのロール別の権限については、収集者操作ガイド を参照してください。

レビュアーが実行できるステータス遷移

現在のステータス	レビュー操作	遷移結果
未チェック	合格	合格
未チェック	不合格（却下理由を入力）	不合格
合格	再レビューして不合格に変更	不合格
不合格	再レビューして合格に変更	合格

APIはレビュアーによるアノテーションタスクの「合格」または「不合格」への変更のみを受け付け、それ以外のステータスは403を返します。「データ提出」は管理者とプロジェクトマネージャーのみ設定できます。

手順

ステップ

1. プラットフォームのURLにアクセスし、管理者から割り当てられたアカウントでサインインします。
2. サイドバーで「アノテーション」を選択し、「未チェック」で絞り込んでレビュー待ちのタスクを表示します。
3. タスク詳細を開き、タスク配下のデータセットを確認します。
4. データセットを開き、各アノテーションの自然言語の意味と注釈軌跡の開始フレームノードを1件ずつ照合します。
5. 問題のあるアノテーションには該当する異常ラベルを選択して「無効」に設定します。異常ラベルは辞書の「無効」タイプから取得します。
6. タスク詳細の「問題アノテーション」タブで、このタスクの無効アノテーションをすべて確認します。
7. タスクの結果を判定します。問題がなければサイドバーで「次へ 合格」を選択します。差し戻しが必要な場合は「次へ 不合格」を選択し、ダイアログで却下理由を入力して送信します。

問題アノテーション

無効としてマークしたアノテーションは、タスク詳細の「問題アノテーション」タブにまとめて表示されます。各行が1件の無効アノテーションに対応します。

列	意味
データ	アノテーションが属するデータセット。名前を選択するとブラウザで開きます
アノテーション	自然言語のアノテーション内容
アノテーター	アノテーションを提出したアカウント
アノテーション時間	アノテーションの作成日時
問題	アノテーションの異常ラベル
レビュアー	アノテーションを無効と判定したアカウント
チェック時間	無効と判定した日時
修正時間	アノテーターが修正した日時。未修正の場合は「未修正」と表示されます

無効なアノテーションがない場合は「問題アノテーションなし」と表示されます。

差し戻しと理由

「不合格」を選択すると「タスク却下理由を入力」ダイアログが開きます。却下理由は最大1000文字で、空欄でもかまいません。入力するとプロジェクトメンバーがタスク詳細で確認でき、サイドバーに「却下理由」として表示されます。

承認後の後続ステップ

ステップ	実行ロール	説明
データ提出	管理者、プロジェクトマネージャー	タスクステータスを「データ提出」に設定します。タスク配下のデータセットは提出ロック状態となり、アノテーションは変更できなくなります
データエクスポート	管理者、プロジェクトマネージャー	データエクスポートページでトレーニング用にアノテーション結果をエクスポートします

結果の確認

確認項目	期待される結果
タスクステータス	承認後は「合格」、差し戻し後は「不合格」になります
却下理由	差し戻し時に入力した理由が、タスク詳細サイドバーの「却下理由」に表示されます
問題アノテーション	「問題アノテーション」タブに本タスクの無効アノテーションがすべて表示されます
提出ロック	タスクを「データ提出」に設定すると、タスク配下のデータセットのアノテーションは変更できなくなります

エラー時の対処

現象	考えられる原因	対処	担当
サイドバーに「アノテーション」がない	「アノテーションタスクを表示」が付与されていない	管理者が「アノテーションタスクを表示」を付与する	管理者
ステータス変更で403が返り、関係者のみ変更可能と表示される	現在のアカウントがタスクのレビュアーでも作成者でもない	プロジェクトマネージャーが現在のアカウントをタスクのレビュアーに割り当てる	プロジェクトマネージャー
ステータス変更で403が返り、レビュアーは合格か不合格のみ設定可能と表示される	タスクをほかのステータスに変更しようとした	「合格」または「不合格」のみを使用する	レビュアー
タスクへのアクセスで403が返る	タスクのプロジェクトに所属しておらず、プロジェクトが公開でもない	管理者がアカウントをプロジェクトに追加する	管理者
公開プロジェクトでタスクステータスを変更できない	公開プロジェクトでは管理者のみタスクステータスを変更できる	管理者がステータスを変更する	管理者
アノテーションを変更できない	タスクが「データ提出」に設定され、データセットが提出ロック状態にある	管理者がタスクステータスを変更してから編集する	管理者
データを再生できない	ブラウザが再生機能に対応していない	最新版のChromeまたはEdgeで開く	レビュアー

関連ページ

ページ	用途
アノテーションタスク	タスクのフィールド、ステータスマシン、一覧操作
収集タスク	収集タスクのフィールドとステータス
アノテーター操作ガイド	アノテーションの実行手順
データエクスポート	アノテーション結果のエクスポート
権限	ロールとモジュール権限