メインコンテンツまでスキップ

審査員操作ガイド

1. プラットフォームへのログイン

未ログインの場合、システムは自動的にログインページへリダイレクトします。アカウントとパスワードを入力してログインしてください。

2. アノテーションリストの確認

左側のナビゲーションバーで「アノテーションリスト」をクリックし、割り当てられた審査タスクとデータの状態を確認します。

3. アノテーションデータの審査

アノテーターが完了したデータを総合的に審査します。特に自然言語の意味やアノテーション軌跡の開始フレームのノード(全件確認が必要、非常に重要)を重点的にチェックしてください。

タスクに入ると、システムは自動的に審査モードを開始します。再生速度や拡大率を調整して、より細かく審査できます。

各データを項目ごとに審査してください。問題があれば、該当する異常ラベルを選択してください。

4. 品質評価

審査完了後、データに品質ラベルを付与してください:

  • 高品質:すべてのデータが正常で、異常なアノテーションがない場合。
  • 低品質:いずれかのデータが収集者によって異常とマークされ、審査でも問題が確認された場合。

5. タスク審査の完了

アノテーターによる再アノテーションや修正が必要な場合は「不合格」を選択し、タスクはアノテーターリストに戻ります。修正が不要な場合は「合格」を選択して審査を完了してください。