メインコンテンツまでスキップ

データ品質検査

大規模な ROS 録音データ を、訓練やエクスポートの前に、フレームレート・センサ Topic・時刻同期などの基準で 自動かつ一貫して 判定するには?

よくあるニーズ

  • 訓練前に、フレームレート低下、必須 Topic 欠落、タイムスタンプ異常などを一括で落としたい。
  • プロジェクトごとに閾値を変えつつ、全プラットフォーム共通の 硬い底線(グローバルルール) も持ちたい。
  • ルール変更後、履歴データへ 自動で再検査 し、常に最新ルールと整合させたい。
  • ルールは正しいがサンプルだけ例外のとき、手動上書き と監査用の記録が欲しい。

データ品質検査QC ルール+バックグラウンドジョブ で実現します。プラットフォームが各 ROS 録音の構造化レポートを読み、画面で設定したアサーションで合格/不合格を付け、データセット上に集約表示します。

「動画品質検査」との違い
  • データ品質検査(本ページ)ROS 軌跡/ROS 録音データ(MCAP、bag、db3 等)向けの ルールベース 検査(数値閾値、Topic 必須/禁止など)。前処理・エクスポート・訓練と連携。
  • 動画品質検査:複数動画の Doctor 診断(ドロップフレーム、花屏、BRISQUE 等)。詳細は 動画品質検査

コア概念

QC ルール

各ルールは 1 種類の QC アルゴリズム(ROS 録音向け巡検。現状は MCAP レポートが中心、他コンテナ/形式は順次拡充)、作用域複数のアサーションに紐づきます。

概念説明
作用域プロジェクトルール:指定プロジェクトのデータセットのみ。グローバルルール:全プラットフォームの ROS 録音データ(未所属を含む)。プロジェクト配下のデータはグローバルと当該プロジェクトの両方にマッチし、それぞれ独立した実行記録が付きます。
データ名マッチdataset.name に glob(例:*arm*)。空欄はその作用域内の 全データ名
優先度数値が 小さいほど先(表示・実行順)。複数マッチでも判定は独立です。
有効無効化すると照合・自動キューから外れます。有効化で履歴への補完実行が走る場合があります。

アサーションの種類

ルール内の「判定条件」です。

  • 数値閾値:レポート指標に比較子と閾値(例:frame_rate >= 20)。「全ファイル」「某 Topic 群」などに範囲を限定可能(選択肢は画面に準拠)。
  • 必須 Topic:レポートにその Topic が無ければ不合格。
  • 禁止 Topic:その Topic があれば不合格。

重大度error(画面では 不合格 相当)を満たさないとその実行は不合格;warning は通知用で 単独では不合格にしません(観察用に便利)。

権限

操作管理者プロジェクトマネージャその他の主なロール
QC 結果・ログの閲覧可(データ権限の範囲内)収集ロール等は関連データのみ可のことが多い
プロジェクト QC ルールの保守可(プロジェクト内または公開プロジェクト)通常は不可
グローバル QC ルールの保守不可不可

グローバル ルールの作成・編集・削除・複製などの書き込みは管理者のみ。非管理者は一覧で見える場合でも変更できません。

フロー概要

自動実行のタイミング

  • 前処理成功後ROS 録音データの前処理完了時、有効ルールにマッチしたデータセットへ QC ジョブが自動投入されます(全件手クリック不要)。現状 自動キューは MCAP が中心 です。bag / db3 についてはレポート・ルールとの整合を順次拡張中です。リリースノートを参照してください。
  • ルールの新規/変更:保存・有効化後、履歴のマッチデータへ 非同期の再実行 が入ることがあります(データ量によりキュー待ちあり)。
  • 手動:データセット上の QC 系入口から実行可能(ボタン名は画面に準拠)。

未対応形式 または 前処理未完了 のデータは自動 QC キューに入らないことがあります。

結果の読み方

  • サマリ:一覧/詳細で、マッチしたルール本数と合格/不合格/実行中などを確認(表示は画面に準拠)。
  • 単発実行:ルールごとに独立した実行記録があり、指標や不合格アサーションの明細を確認できます。
  • システムタグ:不合格時に qc:failed 等が付与され、運用で絞り込み可能。エクスポートへの影響はプラットフォーム方針次第です。

手動上書き

ルール自体は妥当だがサンプルだけ例外(例:現場都合で一時的に FPS 低下、事後補正済み)のとき、その実行結果 を手動で上書き(合格/不合格と理由)できます。上書きは 有効判定 に反映され、タグやエクスポートロジックと連携します。

画面キャプチャ

QC ルール一覧

QC ルール一覧

ルールの新規/編集

QC ルールの新規または編集

データセット詳細の QC 結果

データセット詳細の QC 結果

関連リンク