メインコンテンツまでスキップ

アノテーターガイド

対象ロールと前提条件​

対象ロール​

ロール説明
アノテーターアノテーションの実行、チェック提出、不合格への対応
管理者、プロジェクトマネージャー同じステータス操作を実行でき、さらにタスクの編集と削除が可能
レビュアー、収集者アノテーションは実行しません

前提条件​

項目要件
アカウント管理者が作成してアノテーターのロールを割り当て、タスクが属するプロジェクトに追加済みであること
タスクの割り当て対象タスクのアノテーターとして割り当て済みであること
権限「アノテーションタスクを表示」「アノテーションを実行」
タスク状態ステータスが「開始待ち」「作業中」「未チェック」「不合格」のいずれか
辞書スキル、対象、ターゲットなどのアノテーション辞書を管理者が整備済みであること

ログインページ

タスク状態と実行可能な操作​

タスクのステートマシンには6つのステータスがあります。次の表は、各ステータスの意味とアノテーターが実行できるステータス操作を示します。

ステータス意味アノテーターが設定可能かアノテーターが移行できる次ステータス
開始待ちタスクを作成済みで、まだ開始していない可作業中
作業中アノテーションを実行中可未チェック
未チェックアノテーションが完了し、チェック待ち可作業中
不合格チェックに通らず、手戻りが必要不可未チェック
合格チェックに通過不可なし
データ提出データを提出済みで、フローは終了不可なし

「不合格」はレビュアーが判定し、アノテーターはタスクをこのステータスにできません。タスクが「不合格」の場合、アノテーターはタスクを再び「未チェック」に設定できます。タスクが「合格」の場合、アノテーターはタスクのステータスを変更できません。

操作フロー​

アノテーション画面を開く​

  1. 左側の「データ」グループで「アノテーション」を選択し、アノテーションタスク一覧を開きます。
  2. 本人に割り当てられたタスクを開き、タスク詳細ページに移動します。
  3. 「アノテーションデータ」タブで対象データセットを選択またはクリックします。
  4. 「アノテーション開始」を選択します。データセットに既にアノテーションがある場合、ボタンは「アノテーション続行」と表示されます。
  5. アノテーション画面はブラウザーの新しいタブで開きます。

タスク詳細ページには4つのタブがあります。

タブ用途
アノテーションデータタスクに関連するデータセット一覧で、アノテーションを開始する入口
一括アノテーションクイック注釈、アノテーション一括コピー、ラベル一括置換
問題アノテーション無効としてマークされたアノテーションの一覧
アノテーション統計アノテーションの説明と統計情報

アノテーション画面

アノテーションと保存​

  1. アノテーションフォームでスキル、対象、ターゲット、副詞句を選択します。一致する項目がない場合は、辞書項目をカスタムで追加できます。
  2. Q キーで動作の開始時間を、R キーで終了時間を設定します。
  3. Enter キーでアノテーションを追加します。
  4. Ctrl+S でアノテーションを保存します。
  5. 以上の手順を繰り返し、このデータセットの残りの動作を完了します。

アノテーション画面のショートカットは次のとおりです。

ショートカット操作
Q開始時間を設定
R停止時間を設定
Enterアノテーションを追加
Ctrl+Sアノテーションを保存
スペース再生または一時停止
← / →後退または前進

提出前にフォームは次の内容を検証します。

メッセージ意味
開始時刻が設定されていませんQ キーで開始時間を設定していない
終了時刻が設定されていませんR キーで停止時間を設定していない
開始時刻は終了時刻以上にすることはできません時間範囲の向きが逆
スキルが設定されていませんスキルを選択していない
対象が設定されていません対象を選択していない

アノテーション画面

一括アノテーション​

タスク詳細ページの「一括アノテーション」タブには3つのモードがあります。

モード動作
クイック注釈タスク内のすべてのデータセットに同じアノテーション説明を追加
アノテーション一括コピーサンプルのアノテーションをタイムラインの比率に合わせて他のデータセットにコピー
ラベル一括置換規則に従って説明、対象、ターゲットなどの文言を一括置換

問題アノテーションの処理と修正​

収集動作、基礎データ、姿勢の異常を検出した場合は、対応するアノテーションを無効としてマークします。

  1. アノテーション画面のアノテーションツリーで、アノテーションノードを1つ選択します。
  2. ポップアップメニューで問題の種類を選択します。
  3. マークされたノードは赤い取り消し線で表示されます。同じ問題の種類をもう一度選択するとマークを解除できます。
  4. アノテーションを保存します。

選択できる問題の種類は次のとおりです。

問題の種類選択可能な場面
無効な収集データアノテーションとチェック
基礎データの誤りアノテーションとチェック
EE 結果の異常アノテーションとチェック
姿勢異常データアノテーションとチェック
意味記述の誤りチェックモード
アノテーションノードと動作の不一致チェックモード

マーク結果はタスク詳細ページの「問題アノテーション」タブに集約されます。

問題アノテーションを修正する手順は次のとおりです。

  1. タスク詳細ページの「問題アノテーション」タブを開き、問題の種類と修正時間を確認します。
  2. その行のデータセット名をクリックし、チェックモードでデータセットを開きます。
  3. アノテーションの内容を修正するか、そのアノテーションの問題マークを解除します。
  4. 保存すると、その行の「修正時間」が更新されます。

「修正時間」が「未修正」と表示される場合、その問題アノテーションはまだ処理されていません。

チェック提出とその後​

  1. タスク内のすべてのデータセットのアノテーションを完了したら、タスク詳細ページのサイドバーの「現在のワークフロー」に移動します。
  2. 「次へ:未チェック」を選択すると、タスクのステータスが「未チェック」になり、レビュアーのチェックに渡されます。
  3. レビュアーが「合格」と判定すると、アノテーターはタスクのステータスを変更できなくなります。
  4. レビュアーが「不合格」と判定すると、タスクは「不合格」になり、サイドバーにレビュー時に入力された「却下理由」が表示されます。
  5. アノテーターは理由に従ってアノテーションを修正した後、「次へ:未チェック」を選択して再提出します。

結果の確認​

確認項目期待される結果
アノテーションの保存データセットの「アノテーション数」が増え、アノテーションツリーに新しいノードが表示される
一括アノテーション対象タスクのデータセットに対応するアノテーションが表示され、「アノテーション統計」で確認できる
問題アノテーション無効なアノテーションが「問題アノテーション」タブに表示され、未処理の場合は「修正時間」が「未修正」になる
ステータスの遷移提出後、タスクのステータスが「未チェック」になる
手戻りタスクが「不合格」の場合、サイドバーに「却下理由」が表示される

エラー時の対処​

現象考えられる原因対処責任者
タスクをレビュー関連のステータスにできないアノテーターは「合格」「不合格」を設定できない「作業中」「未チェック」などアノテーターが設定できるステータスに変更担当ロール
タスクが合格済みで変更できないと表示タスクのステータスが「合格」変更を中止する。手戻りが必要な場合はレビュアーが「不合格」にするレビュアー
タスクの関係者ではないと表示タスクが本人に割り当てられていないプロジェクトマネージャーに連絡して再割り当てを依頼プロジェクトマネージャー
保存が中断し、接続が切断されたと表示ネットワークが一時的に利用できないアノテーションの下書きはローカルに保存されるため、ネットワーク復旧後に再保存担当ロール / 運用
左側メニューに「アノテーション」がないロールまたはモジュール権限が不足している管理者に連絡してロールと「アノテーションタスクを表示」権限を確認管理者

関連ページ​

関連画面の参考​

アノテーションタスクを作成

データセット一覧

データセット一覧の詳細フィルター

データセット一覧の詳細フィルター

データセット一覧の詳細フィルター

データセット一覧の詳細フィルター

データセット一覧の詳細フィルター

データセット一覧の詳細フィルター

関連リンク​

ページ用途
アノテーションタスクタスクのステートマシン、タスク詳細、一括操作
辞書管理スキル、対象、ラベルなどのアノテーション基準
レビュアーガイドレビューと差し戻しのフロー
はじめにログインとナビゲーションの共通手順
データ品質検査品質検査のルールと結果の基準
権限ロールと権限階層