データアノテーション

アノテーションは、1 件のロボットデータを自然言語の説明に対応付け、学習のための教師信号を提供します。アノテーションの結果は、「テーブルを片付ける」といった指示を具体的な動作や物品にモデルが対応付けられるかを左右します。

定義

用語	説明
アノテーションタスク	複数のデータセットに対するアノテーション作業を担うタスク単位で、ステータスの遷移を持ちます
アノテーション記録	1 件のデータにおける 1 つの時間帯、または 1 つの画像領域です
スキル	動作テンプレートです（例：pick {A} from {B}）
対象	動作の作用を受ける対象で、テンプレートの {A} に入ります
ターゲット	動作の目標位置または収容器で、テンプレートの {B} に入ります
副詞句	補足的な記述で、動作の前後関係などを表します
パネル	データの描画単位で、1 路のカメラまたはセンサー Topic に対応します

アノテーションの種類とフィールド

アノテーションの種類

プラットフォームは 3 種類のアノテーション方法を提供します。入口と対象は次のとおりです。

アノテーションの種類	対象	アノテーション内容	入口
意味セグメンテーションアノテーション	MCAP などの時系列データ	時間帯と、スキル、対象、ターゲット、副詞句。中国語と英語の説明を生成します	データ一覧から Studio に入ります
画像物体アノテーション	カメラ視点の画像	画像領域と物品名	画像アノテーションページ
一括アノテーション	同質なデータセット	1 件のサンプルアノテーションを再利用します	アノテーションタスクの一括アノテーションページ

意味セグメンテーションアノテーションは 1 件のデータを範囲とし、1 つ以上のアノテーション時間帯を含めることができます。各時間帯は 1 つの原子的な動作に対応し、複数の時間帯が sequence_id によって完全なタスクシーケンスを構成します。

アノテーション内容のフィールド

フィールド	値の取得元	説明
スキル	辞書	動作テンプレートで、説明の文型を決めます
対象	辞書	テンプレートの {A}
ターゲット	辞書	テンプレートの {B}
位置	位置の選択肢	対象の相対位置
左右の手	左手、右手、両手	動作を実行する手を記録します
副詞句	辞書	補足的な表現で、前置または後置できます
品質スコア	0–1。-1 は未評価を表します	フォームでは 0.5–5 の星、刻み 0.5 で入力し、保存時は星の値を 5 で割った値になります
カスタム説明	手動入力	テンプレートから生成される説明を上書きします

アノテーション結果の保存形式

アノテーション内容	保存レコード	主なフィールド
意味セグメンテーションアノテーション	時間帯ごとに 1 件のレコード	開始と終了のタイムスタンプ、開始と終了のフレーム番号、スキル、対象、ターゲット、英語の説明、中国語の説明、オプション、品質スコア、無効理由
画像物体アノテーション	領域ごとに 1 件のレコード	物品名、領域の座標、画像の幅と高さ、困難サンプルのフラグ、アノテーションの種類

アノテーション記録は所属するデータセットとタスクで関連付けられ、データのエクスポートとともに学習フローへ渡すことができます。データのエクスポートを参照してください。

根拠

項目	値	根拠
意味アノテーションの内容フィールド	スキル、対象、ターゲット、位置、左右の手、副詞句	アノテーションフォームが提供する選択肢です。「アノテーション内容のフィールド」を参照してください
品質スコアの範囲	0–1。-1 は未評価を表します	フォームでは 0.5–5 の星で入力し、保存時は星の値を 5 で割った値になります
画像アノテーションの種類	5 種類の列挙値	物体検出で記録するアノテーションの種類の列挙値：BBOX、POINT、POLYGON、LINE、CIRCLE

アノテーション画面と操作

アノテーション画面

データ詳細に入ると、データはパネルとして描画され、各パネルが 1 路のカメラまたはセンサー Topic に対応します。

パネルの調整

操作	方法
描画内容の変更	パネル左上の設定ボタンをクリックし、メニューからパネルの種類を選びます
データソースの変更	設定メニューから切り替える Topic メッセージソースを選びます

タイムライン

アノテーションのタイムラインは、完了したアノテーション時間帯をスキル別にまとめて表示し、スキル行の展開と折りたたみに対応します。パネルの再生コントロールは再生、一時停止、前進、後退を提供し、動作の開始と終了の時刻を特定するために使用します。

ショートカット

ショートカット	動作
Q	動作の開始時刻をマークします
R	動作の終了時刻をマークします
Enter	アノテーションを追加します
Ctrl+S	アノテーションを保存します
Space	再生または一時停止します
←	後退します
→	前進します
1、2、3	予測された N 番目の説明を適用します

詳細アノテーション

詳細アノテーションは、1 つのデータストリームの中に 1 つ以上の動作時間帯をマークするもので、1 件のデータが複数の動作を含む場面に適しています。アノテーションタスクの流れはアノテーションタスクの作成とアノテーター操作ガイドを参照してください。

手順

1. データ一覧でデータ名をクリックし、Studio に入ります。
2. データを再生し、進捗を動作の開始時刻に合わせます。
3. 「開始」をクリックするか Q を押して、開始タイムスタンプを記録します。
4. 動作の終了時刻まで再生し、「停止」をクリックするか R を押して、終了タイムスタンプを記録します。
5. フォームでスキル、対象、ターゲット、位置、左右の手を選択するか、カスタム説明を入力します。
6. 「マーカーを追加」をクリックするか Enter を押して、その時間帯をアノテーション一覧に追加します。
7. すべての動作を網羅するまで、手順 2 から 6 を繰り返します。
8. 右上の保存ボタンをクリックするか Ctrl+S を押して、アノテーションをサーバーにアップロードします。

警告

保存していないアノテーションは現在のブラウザにのみ存在します。ページを離れる前に保存しないと、変更内容は失われます。

一括アノテーション

一括アノテーションは同質なデータセットに使用します。プラットフォームは 3 つのモードを提供するため、次の表に従って選択します。

モード	動作	適用場面
クイック注釈	選択したすべてのデータセットに同じ説明を書き込みます	データセットの動作が同じ場合
アノテーション一括コピー	サンプルのアノテーションをタイムラインの比率で対象データセットにコピーします	動作の区間がサンプルと一致する場合
ラベル一括置換	説明、対象、ターゲットをルールに従って一括置換します	文案を統一して修正する場合

クイック注釈の手順

1. アノテーションタスクの一括アノテーションページで「クイック注釈」を選択します。
2. 英語の説明と中国語の説明を入力します。
3. 提出すると、システムが選択したすべてのデータセットにその説明を書き込みます。

アノテーション一括コピーの手順

1. アノテーションが完了した 1 件のデータをサンプルとして選択します。
2. アノテーションをコピーする対象データセットを選択します。
3. コピーを提出すると、システムがタイムラインの比率で対象のアノテーションを生成します。
4. コピー結果と失敗した項目を確認します。

ラベル一括置換の手順

1. 一括置換ページで、説明、対象、ターゲットを対象とする置換ルールを設定します。
2. 置換を提出すると、システムが選択したデータセットのアノテーション文案をルールに従って書き換えます。

画像物体アノテーション

画像アノテーションは、カメラ視点の画像に物品名を付けます。入口は画像アノテーションページで、アノテーションのエクスポートページから移動して入ります。

手順

1. アノテーションするデータセットを選択すると、ページ上部に対応する画像が読み込まれます。
2. 画像上でドラッグして矩形領域を描くか、クリックして点をマークします。
3. 各領域に物品名を入力します。名前は辞書の対象一覧から取得します。
4. 手順 2 と 3 を繰り返して、すべての領域を追加します。
5. 提出して、すべての物品アノテーションを保存します。

アノテーションの対象一覧は辞書から取得します。保守方法は辞書管理を参照してください。

使用上の制限

アノテーションは次の既存の境界に制約されます。

項目	制限	説明
時間の特定	開始と終了のタイムスタンプが必須	タイムスタンプが欠けたアノテーションは保存できません。フレーム番号のフィールドは任意で、欠ける場合は空としてエクスポートされます
品質スコア	0–1。-1 は未評価を表します	フォームでは 0.5–5 の星、刻み 0.5 で入力し、保存時は星の値を 5 で割った値になります
画像アノテーションの種類	BBOX、POINT、POLYGON、LINE、CIRCLE の 5 種類	各レコードは 1 種類のみで、既定は BBOX です
画像アノテーションの領域	矩形領域または 1 点	ドラッグで矩形を描くか、クリックして 1 点をマークします
スキルと対象の値	辞書から取得	辞書にない文案はスキル、対象、ターゲットとして使用できません
未保存のアノテーション	現在のブラウザにのみ存在	ページを離れる前に保存しないと、変更内容は失われます
一括アノテーションの対象データ	同質なデータセット	クイック注釈、アノテーション一括コピー、ラベル一括置換は同じ動作または同じ区間に適用します

関連ページ

ページ	用途
データ管理	データセットの検索、プレビュー、一括操作
データのエクスポート	学習に使うアノテーション結果のエクスポート
データ形式	MCAP の構造とアノテーションデータのフィールド
辞書管理	スキル、対象、ターゲット、副詞句の辞書の保守
データ品質検査	ROS 録画の自動品質検査ルール