審査員操作ガイド
1. プラットフォームへのログイン
未ログインの場合、システムは自動的にログインページへリダイレクトします。アカウントとパスワードを入力してログインしてください。
2. アノテーションリストの確認
左側のナビゲーションバーで「アノテーションリスト」をクリックし、割り当てられた審査タスクとデータの状態を確認します。
3. アノテーションデータの審査
アノテーターが完了したデータを総合的に審査します。特に自然言語の意味やアノテーション軌跡の開始フレームのノード(全件確認が必要、非常に重要)を重点的にチェックしてください。
タスクに入ると、システムは自動的に審査モードを開始します。再生速度や拡大率を調整して、より細かく審査できます。
各データを項目ごとに審査してください。問題があれば、該当する異常ラベルを選択してください。
4. 品質評価
審査完了後、データに品質ラベルを付与してください:
- 高品質:すべてのデータが正常で、異常なアノテーションがない場合。
- 低品質:いずれかのデータが収集者によって異常とマークされ、審査でも問題が確認された場合。
5. タスク審査の完了
アノテーターによる再アノテーションや修正が必要な場合は「不合格」を選択し、タスクはアノテーターリストに戻ります。修正が不要な場合は「合格」を選択して審査を完了してください。