メインコンテンツまでスキップ

アノテーションタスク

アノテーションタスクは、データからアノテーション、レビュー、提出までの一連の流れを担い、プラットフォームにおけるアノテーションとレビュー作業の基本単位です。このページではタスクのフィールド、状態、操作を定義します。タスクの作成と割り当ての操作は アノテーションタスク作成 を参照してください。

アノテーションタスク一覧(状態別にグループ化、テスト環境)

前提条件​

項目内容
メニュー入口データ → アノテーション
ルートタスク一覧 /tasks、新規作成 /tasks/new、タスク詳細 /tasks/{id}
必須権限「アノテーションタスクを表示」
関連権限「アノテーションを実行」、「アノテーションをレビュー」、「アノテーションタスクを管理」
参照可能なロール管理者、プロジェクトマネージャー、レビュアー、アノテーター。収集者のロールはメニューの許可リストに含まれません
適用ルール管理者はモジュール権限の制限を受けず、すべて読み書きです。その他のロールにはロール既定テンプレートが適用され、ユーザー単位の上書きがロール既定より優先されます。未設定のモジュールは禁止です

モジュール権限の設定方法は モジュール権限 を参照してください。ロールごとのモジュール既定レベルは次のとおりです。

ロール「アノテーションタスクを表示」「アノテーションを実行」「アノテーションをレビュー」「アノテーションタスクを管理」
プロジェクトマネージャー読み書き読み書き読み書き読み書き
レビュアー読み取り専用禁止読み書き禁止
アノテーター読み取り専用読み書き禁止禁止
収集者読み取り専用禁止禁止禁止

タスク定義​

タスクのフィールド​

タスクのフィールドは tasks テーブルで定義します。

フィールド意味制約
タスク名タスク名プラットフォーム全体で一意
所属プロジェクトタスクが所属するプロジェクト作成フォームで選択
アノテーターアノテーションを実行するアカウント必須、1 名
レビュアーアノテーションをレビューするアカウント空欄可。空欄の場合、タスクにレビュー担当はいません
作成者タスクを作成したアカウントタスク状態の変更時に関連ユーザーとして記録
ステータスタスクの現在の状態6 つの値のいずれか。「タスクの状態」を参照
理由レビューで差し戻すときに入力する理由ステータスが「不合格」のときに保存され、最大 1000 文字です
作成日時タスクの作成日時一覧の並べ替えと日付による絞り込みに使用

タスクの状態​

タスクの状態は 6 つあり、画面に表示される名前と 1 対 1 で対応します。

ステータス許可される次の状態
開始待ち作業中
作業中未チェック
未チェック合格、不合格、作業中
不合格未チェック、合格
合格不合格、データ提出
データ提出なし。終端状態です

「許可される次の状態」は、タスク詳細のサイドバーにある「現在のワークフロー」に表示される操作項目を決めます。現在の状態とそのロールが設定できる状態の積集合をとり、戻し用の「前へ」の入口を加えたものです。

ステータス変更権限​

ステータスの変更はロールと身分の 2 段階で制限されます。ロール層は、誰がタスクをある状態に設定できるかを決めます。

ステータスこの状態を設定できるロール
開始待ち管理者、プロジェクトマネージャー、レビュアー、アノテーター、収集者
作業中管理者、プロジェクトマネージャー、レビュアー、アノテーター、収集者
未チェック管理者、プロジェクトマネージャー、レビュアー、アノテーター、収集者
不合格管理者、プロジェクトマネージャー、レビュアー
合格管理者、プロジェクトマネージャー、レビュアー
データ提出管理者、プロジェクトマネージャー

身分層はロール層とは別に適用されます。管理者とプロジェクトマネージャーは身分の制限を受けません。その他のロールはタスクの関係者である必要があります。

操作者設定できる状態説明
タスクのアノテーター開始待ち、作業中、未チェック合格およびそれ以降の状態は設定できません
タスクのレビュアー合格、不合格その他の状態は設定できません
タスクの作成者所属ロールで許可される状態と同じ作成者がタスクを代行管理するために使用
その他のアカウントなしAPI は 403 を返します

タスクが合格のとき、アノテーターは状態を変更できません。これによりレビューの結論が書き換えられないようにします。

データセットとチェック結果​

タスクは dataset_tasks を通じてデータセットを関連付け、各関連レコードは 1 件のチェック結果を持ちます。

フィールド意味制約
データセットタスクが関連付けるデータセット1 つのデータセットは同時に 1 つのタスクにのみ属します
チェック結果合格(VALID)または不合格(INVALID)未判定のときは空です
データ不合格理由チェックが不合格のときに入力する理由最大 1000 文字
警告

アノテーターがデータのチェック結果を合格としてマークしても、サーバーはその結果を記録しません(空値を書き戻します)。データの合格と不合格は、タスクのレビュアー、管理者、またはプロジェクトマネージャーがマークします。

タスク操作​

一覧と絞り込み​

項目説明
状態のグループ化上部タブで状態ごとにまとめ、各状態のタスク数を表示します。「全タスク」には合計を表示します
ビュー全タスクビューには横向きビュー(状態ごとの列)と縦向きビュー(統合一覧)があります
タスク名名前のあいまい一致
所属プロジェクトプロジェクトで絞り込み
アノテーターアノテーターアカウントで絞り込み
レビュアーレビュアーアカウントで絞り込み
作成日作成日で絞り込み。形式は YYYY-MM-DD です
ページネーション下部にページごとの件数と総件数を表示します

絞り込み条件は URL クエリパラメータに書き込まれるため、条件付きのリンクをそのまま共有できます。

タスク詳細​

タスク詳細ページはサイドバーと 4 つのタブで構成されます。

タブルート内容
アノテーションデータ/tasks/{id}/datasetタスクに関連付けたデータセット一覧、チェック結果、1 件ごとの操作
一括アノテーション/tasks/{id}/repeats一括アノテーションのワークスペース
問題アノテーション/tasks/{id}/invalids無効としてマークされたアノテーション項目
アノテーション統計/tasks/{id}/analysisタスク内のアノテーション記述と統計

サイドバーには、タスクのカバー、タスク名、プロジェクト、アノテーター、レビュアー、進捗を表示し、次の操作を提供します。

操作作用制約
タスク編集タスク名、所属プロジェクト、アノテーター、レビュアーを変更「アノテーションタスクを管理」が必要
タスク削除タスクを論理削除「アノテーションタスクを管理」が必要。削除後はゴミ箱から復元できます
現在のワークフロー現在の状態と実行可能な次・前のステップを表示ロールと身分で絞り込み

一括操作​

タスク一覧でタスクを選択すると、下部の操作バーに一括削除が表示されます。削除は 1 件ずつ実行する論理削除で、データセット自体には影響しません。削除したタスクは ゴミ箱 に入り、復元できます。

タスク一覧右上の「アノテーションタスク作成」ボタンは、アカウントに「アノテーションタスクを管理」の書き込み権限がある場合に表示され、アノテーションタスク作成 のフォームを開きます。

アノテーションタスク作成:左でデータを選択し、右でタスク情報を入力

一括アノテーション​

一括アノテーションのワークスペースには 3 つのモードがあります。3 つのモードはいずれも同じタスクのデータセット範囲で有効です。

モード作用
クイック注釈タスク内のすべてのデータセットに同じアノテーション記述を追加します
アノテーション一括コピーサンプルのアノテーションを時間軸の比率に合わせて他のデータセットへコピーします
ラベル一括置換記述、対象、ターゲットなどの文言をルールに従って一括置換します

ワークスペースには、サンプルセレクター、アノテーション進捗バー、アノテーションモードの選択が含まれます。

制約と制限​

項目値説明
タスク名プラットフォーム全体で一意作成時に同名がある場合、システムが連番を付けます(例:「タスク (2)」)。既存の名前へ編集すると API は 400 を返します
データセットの所属1 つのデータセットは同時に 1 つのタスクにのみ属しますデータセットをタスクに追加すると、他のタスクから自動で外れます
理由の長さ最大 1000 文字超過分は切り捨てられます
チェック結果のマーク合格はタスクのレビュアー、管理者、またはプロジェクトマネージャーのみがマークしますアノテーターが合格をマークするとサーバーは空値を書き戻します
ステータス変更タスクのアノテーター、レビュアー、作成者、または管理者、プロジェクトマネージャーのみその他のアカウントは 403 を返します
合格済みのタスクアノテーターは状態を変更できませんレビュアーまたは管理者、プロジェクトマネージャーが操作します
一括操作一括削除のみその他の一括操作はありません

トラブルシューティング​

現象考えられる原因対処担当
「タスク名が既に存在します」と表示編集時に名前が他のタスクと重複タスク名を変更しますプロジェクトマネージャー、管理者
「タスクが存在しません」と表示タスクが削除済み、またはタスク ID が無効一覧に戻り、タスクの有無を確認しますアノテーター、レビュアー、プロジェクトマネージャー
タスクへのアクセス権限がないと表示アカウントがタスクの所属プロジェクトにいない、タスクの関係者でない、またはタスクの所属プロジェクトが公開でないプロジェクトメンバーまたは管理者がアカウントをプロジェクトに追加し、割り当てますプロジェクトマネージャー、管理者
「タスクは合格済みのため変更できません」と表示アノテーターが合格済みタスクを変更しようとしたレビュアーまたは管理者、プロジェクトマネージャーが変更しますレビュアー、管理者
「アノテーターは「作業中」か「確認待ち」にのみ変更可能です」と表示アノテーターが権限外の状態を選択した許可された状態を選択しますアノテーター
「レビュアーは「合格」または「不合格」にのみ変更可能です」と表示レビュアーが権限外の状態を選択した許可された状態を選択しますレビュアー
「この状態に設定する権限がありません」と表示アカウントのロールがその状態の許可リストにない権限のあるロールが操作しますプロジェクトマネージャー、管理者
「状態パラメータは必須です」または「無効なタスク状態です」と表示リクエストに状態がない、または状態値が不正タスク詳細のサイドバーで状態を選択しますアノテーター、レビュアー
「権限がありません」と表示公開プロジェクトでタスクを作成したが、アカウントがプロジェクトメンバーでないプロジェクトメンバーが作成するか、管理者にプロジェクトへの追加を依頼しますプロジェクトマネージャー、管理者
「管理者のみ公開タスクの所属プロジェクトを変更できます。」と表示プロジェクトマネージャーが公開プロジェクトのタスクの所属プロジェクトを変更した管理者が操作します管理者
タスクをそのプロジェクトに移動する権限がないと表示移動先プロジェクトがアカウントの管理範囲外権限のあるプロジェクトを選択しますプロジェクトマネージャー
「メンバー以外は結果を変更できません。」と表示プロジェクトメンバー以外がデータのチェック結果を変更したプロジェクトメンバーまたは管理者が操作しますプロジェクトマネージャー、管理者
一覧が空絞り込み条件が狭すぎる、プロジェクト範囲の選択ミス、またはアカウントにタスクの参照権限がない絞り込みをリセットする、プロジェクト範囲を切り替える、またはプロジェクトメンバーであることを確認しますアノテーター、レビュアー、プロジェクトマネージャー

関連ページ​

ページ用途
アノテーションタスク作成タスクの作成、アノテーターとレビュアーの割り当て
データ管理アノテーション対象データセットの絞り込みと選択
データ品質検査ROS 録画の自動品質検査ルール
データエクスポートトレーニング用にアノテーション結果をエクスポート
ゴミ箱削除したタスクとデータの復元
モジュール権限モジュール権限の設定方法
アノテーターガイドアノテーターの実行フロー
レビュアーガイドレビューと差し戻しのフロー