メインコンテンツまでスキップ

データ管理

データ管理ページでは、プラットフォーム内のすべてのデータセットを一元管理し、検索、絞り込み、プレビュー、一括操作を提供します。データセットはアノテーションタスクの入力です。アノテーション、品質検査、エクスポートはそれぞれ「アノテーションタスク」「データ品質検査」「データエクスポート」ページで行います。

データ管理画面(管理者、テスト環境)

前提条件​

項目内容
メニュー入口データ → データ
ルート/dataset
必須権限「データセット一覧」
関連権限「データアノテーション」(アノテーションの開始)、「データ計算/前処理」(メタ情報の更新などの計算系操作)、「データエクスポート」(エクスポートページへの移動)
適用ルール管理者はモジュール権限の制限を受けず、すべて読み書きです。その他のロールにはロール既定テンプレートが適用され、ユーザー単位の上書きがロール既定より優先されます。未設定のモジュールは禁止です

モジュール権限の設定方法は モジュール権限 を参照してください。

データ閲覧​

データ範囲​

ページ上部のプロジェクトセレクターが一覧のデータ範囲を決めます。3 つの選択肢の違いは次のとおりです。

範囲参照可能なデータセット対象ロール
全プロジェクト現在のアカウントがアクセスできるすべてのプロジェクトのデータセット管理者。プロジェクトマネージャーは所属プロジェクトと公開プロジェクトを参照します
プロジェクト指定選択したプロジェクトのデータセットのみ全ロール
個人スペース現在のアカウントがアップロードしたプライベートデータセット全ロール

データ量が多い場合は、先にプロジェクトを選択すると 1 回のクエリで返るデータ量を抑えられます。

検索と絞り込み​

絞り込み条件は URL クエリパラメータに書き込まれるため、条件付きのリンクをそのまま共有できます。有効なロボット、ラベル、アップロード者の 3 項目は一覧の上部にチップとして表示され、項目ごとに解除できます。

絞り込み項目説明
データ名名前で照合し、あいまい一致に対応
ロボットデータを収集したロボットで絞り込み
ラベルデータタグで絞り込み
アップロード者アップロードしたアカウントで絞り込み
所属プロジェクトプロジェクトで絞り込み。複数選択に対応
収集者収集者で絞り込み。複数選択に対応
収集タスク元の収集タスクで絞り込み
時間範囲データの時間帯で絞り込み。単位は秒
マーカーテキストアノテーションのテキスト内容で検索

詳細検索の展開状態

一覧のフィールド​

フィールド説明
サムネイルデータセットのプレビュー画像
名前データセット名。クリックすると詳細を開きます
サイズファイルの使用容量
時間データの長さ
アップロード時間取り込み日時。並べ替えに対応
ステータスアノテーションタスクの割り当て状況とアノテーション完了状況
ラベルデータ分類タグ

一覧下部のページネーションには、ページごとの件数と総件数が表示されます。行を 1 つも選択していない場合、下部に現在の絞り込み結果のストレージ合計が表示されます。

データプレビュー​

データセット名またはサムネイルをクリックすると詳細が開き、基本情報、ロボット情報、アノテーション統計、関連タスクを確認し、ブラウザ内でオンラインコンテンツを再生できます。

データタイプ対応形式再生機能
ビデオMP4、AVI、MOV再生、一時停止、速度変更
音声MP3、WAV再生、波形表示
MCAPMCAP3D シーン描画、マーカー確認

Studio データ再生

データ保守​

一括操作​

操作の前に、一覧で対象のデータセットを選択します。下部の操作バーで利用できる操作は次のとおりです。

操作作用制約
名前変更データセット名を一括変更1 件ずつ確認
統計選択したデータのアノテーション統計を表示読み取り専用
アノテーション選択したデータでアノテーションタスクを作成「データアノテーション」が必要
ラベルデータタグを一括で追加・削除「データアノテーション」が必要
更新メタ情報の再抽出または前処理の再実行「データ計算/前処理」が必要
削除選択したデータを論理削除削除後はゴミ箱に入り、復元できます
インポート選択したデータをプロジェクトにインポートプロジェクトメンバーであることが必要
ロボットロボットの関連付けまたは解除データの来歴管理に使用
警告

選択した行にオープン共有データセットが含まれる場合、一括操作は拒否され、「選択データにオープン共有データが含まれます。閲覧/エクスポートのみ可能で、二次編集はできません」と表示されます。この種のデータセットは閲覧とエクスポートのみ可能です。

データの一括操作

統計情報​

下部の「統計」をクリックすると、選択したデータセットの集計指標を確認できます。指標の基準は次のとおりです。

指標意味
データ総数選択したデータセット件数
データ総時間選択したデータセットの時間合計
アノテーション総数アノテーション件数の合計
合格アノテーション総数レビューを通過し、無効とマークされていないアノテーション件数
データ 1 件あたりの平均アノテーション量アノテーション総数 ÷ データ総数
アノテーション総時間アノテーションが対象とする時間の合計
データ 1 件あたりの平均アノテーション時間アノテーション総時間 ÷ データ総数
無効データ総数無効とマークされたデータセット件数
チェック済み合格率チェック済み合格数 ÷ チェック済み総数
無効収集収集工程の問題により無効と判定されたアノテーション数
意味エラー 未修正 / 修正済み意味エラーのあるアノテーションのうち、未修正と修正済みの件数

アノテーション統計

メタ情報の更新​

ファイルの時間やサイズが正しく表示されない場合、アップロード後にメタ情報の抽出に失敗した場合、外部ツールでファイルが変更された場合は、メタ情報を再抽出します。

操作手順:データセットを選択 → 下部の「更新」→ メタ情報の更新を選択 → 確認。ダイアログには処理状況が 1 件ずつ表示されます。

ステータス意味次の操作
待機中キューに投入済みで処理待ち操作は不要
処理中ファイルを読み込み、メタ情報を抽出中完了を待つ
完了メタ情報の更新に成功なし
失敗ファイルの破損または形式エラー恒久的なエラーは自動再試行されません。ファイルを修正して再送信します

誤削除からの復元​

削除は論理削除で、データはゴミ箱に入り復元できます。復元すると、元のアノテーション、関連するアノテーションタスク、データタグとメタデータ、操作ログとアクセスログが保持されます。

削除済みデータセットと同じ名前のファイルを再アップロードすると、システムが同名レコードを検出し、2 つの選択肢を提示します。

選択肢結果用途
既存のデータセットを復元アノテーションとタスク関連を含むすべての履歴情報を保持元のデータを誤って削除した場合
新しいデータセットを作成履歴データを無視し、新しいレコードを作成元のデータを破棄したい場合

トラブルシューティング​

現象考えられる原因対処
目的のデータを検索できないプロジェクト範囲の選択ミス、そのデータへのアクセス権限がない、キーワードが狭すぎる、データが削除済みプロジェクト範囲を切り替える。ゴミ箱で削除済みか確認する。キーワードを緩めるか詳細検索を使用する
一覧の読み込みが遅い範囲が全プロジェクト、絞り込み条件が広すぎる、1 ページの件数が多い、ネットワークが不安定具体的なプロジェクトを選択する。絞り込み条件を追加する。ページごとの件数を減らす
一括操作が一部失敗する一部のファイルが破損、データセットにアノテーションデータがない、オープン共有データが含まれる操作ダイアログで 1 件ずつのエラー内容を確認し、失敗した項目を個別に再試行する
メタ情報の更新に失敗するファイルの破損または未対応の形式ファイルを修正して再送信する。恒久的なエラーは自動再試行されない

関連ページ​

ページ用途
アノテーションタスクタスク状態、タスク詳細、一括アノテーション
データアップロード新しいデータのアップロード、動画と音声の MCAP 変換
データエクスポートトレーニング用にアノテーション結果をエクスポート
データ品質検査ROS 録画の自動品質検査ルール
ゴミ箱削除したデータの復元