ワークフロー管理は、データセットのマッチング条件と処理ステップを組み合わせてパイプラインにします。データセットの登録時やステータス変更時に自動で実行され、形式変換、プロジェクトへのインポート、品質検査、アノテーション、エクスポートなどの操作を行います。パイプラインは 3 種類の再利用可能な定義で構成されます。マッチングルール、処理ルール、ワークフローです。ワークフローは前者 2 つを参照し、実行可能な有向グラフを構成します。
前提条件
| 項目 | 内容 |
|---|
| メニュー入口 | 管理 → ワークフロー |
| ルート | /workflows（既定では /workflows/overview へリダイレクト） |
| ページ権限 | ワークフローを表示。編集ページにはワークフローを管理が必要 |
| API 権限 | ワークフローを表示（読み取り）、ワークフローを管理（新規作成・編集・削除・テスト） |
| 書き込み可能範囲 | グローバル定義は管理者のみ書き込み可能。プロジェクト定義にはプロジェクトマネージャーで、対象プロジェクトへの書き込み権限が必要 |
| 依存関係 | 少なくとも 1 つのマッチングルールと 1 つの処理ルール。実行にはバックグラウンドタスクサービスと実行ノードが利用可能であること |
マッチングルールページと処理ルールページは「ワークフローを表示」権限を持つユーザーに公開されます。パイプライン概要、プロジェクト設定、実行センター、プリセットテンプレート、ワークフロー管理、品質基準、アノテーション設定、エクスポート設定は管理者とプロジェクトマネージャーのみがアクセスでき、その他のロールがアクセスすると「アノテーション」へ遷移します。
パイプラインの設定と実行
タブとパイプラインの段階
| タブ | ルート | 用途 |
|---|
| パイプライン概要 | /workflows/overview | パイプライン段階の入口とブループリントのプレビュー |
| プロジェクト設定 | /workflows/project | プロジェクト単位のパイプラインスイッチとパラメータ |
| 実行センター | /workflows/runs | パイプラインの実行記録、状態、所要時間、詳細 |
| プリセットテンプレート | /workflows/templates | プラットフォーム標準テンプレートのプレビュー、試行実行、プロジェクトへのコピー |
| ワークフロー管理 | /workflows/manage | ワークフロー一覧、新規作成、編集、削除 |
| マッチングルール | /workflows/match-rules | データセットのマッチング条件の定義とテスト |
| 処理ルール | /workflows/action-rules | 処理ステップの編成とパラメータ設定 |
| 品質基準 | /workflows/qc-rubrics | 品質検査の評価基準（厳格度と指標しきい値） |
| アノテーション設定 | /workflows/label-configs | 自動アノテーションのモデルとレビュー戦略 |
| エクスポート設定 | /workflows/export-profiles | エクスポート形式、フィルター条件、ディレクトリ構造 |
| 段階 | 対応する機能 |
|---|
| 収集と登録 | マッチングルール、クラウドストレージルール |
| データ正規化 | 形式変換と座標系の処理 |
| ポストプロセスアルゴリズム | カスタムアルゴリズムテンプレートの実行 |
| 品質評価 | 品質検査ルールと評価基準 |
| アノテーションとレビュー | 自動アノテーションと人手レビュー |
| 納品とレポート | エクスポートルールと品質保証レポート |
マッチングルール
| フィールド | タイプ | 必須 | 既定値 | 説明 |
|---|
| 名前 | テキスト | はい | なし | 最大 200 文字 |
| 説明 | テキスト | いいえ | 空 | 最大 500 文字 |
| 範囲 | 列挙 | はい | グローバル | グローバルまたはプロジェクト |
| 優先度 | 整数 | いいえ | 100 | 数値が小さいほど先に評価 |
| 有効化 | スイッチ | いいえ | オン | 無効化するとマッチングの対象外 |
| 組み合わせロジック | 列挙 | はい | かつ | かつ（すべて満たす）または または（いずれかを満たす） |
| 条件 | リスト | はい | 空 | 各条件はフィールド、演算子、値で構成 |
マッチング条件が対応するフィールド、演算子、値は次のとおりです。
| 項目 | 値 | 説明 |
|---|
| 選択可能なフィールド | name、extension_name、robot_type、sizemb、source_url、remote_url、local_url | データセットの対応する属性を取得 |
| 演算子 | eq、contains、regex、gt、lt、gte、lte、is_null、is_not_null | 空値判定には値の入力が不要 |
| 正規表現フラグ | i、m、s、u、y、d | g は無視される |
| サイズ比較 | gt、lt、gte、lte | sizemb などの数値フィールドに使用 |
マッチングテストはデータセットのサンプルに対して同じマッチャーを実行し、一致件数、スキャン済み件数、一致サンプルを返します。
処理ルール
処理ルールは順序付きのステップで構成されます。編集ページでは、グラフィカルなステップと JSON の上級モー ドという 2 通りの入力方法を提供します。
| アクション | 識別子 | 説明 |
|---|
| 自動名前変更 | autoRename | 正規表現パターンと対象形式でデータセット名を書き換え。テストダイアログあり |
| 自動プロジェクトインポート | autoImportProject | データセットを指定したプロジェクトにインポート |
| HDF5 → MCAP | io_hdf5agilex2mcap、io_hdf5realman2mcap、io_hdf5dobot2mcap、io_hdf5limx2mcap、io_hdf5unix2mcap | 収集元に応じて Agilex、Realman、Dobot、Limx、Unix の HDF5 データを変換 |
| LeRobot → MCAP | io_lerobot2mcap | LeRobot データセットを MCAP に変換 |
| AgiBot → MCAP | io_agibot2mcap | AgiBot データを MCAP に変換 |
| Meituan → MCAP | io_meituan2mcap | Meituan のデータを MCAP に変換 |
| Lumos FastUMI → MCAP | io_lumos2mcap | Lumos FastUMI のデータを MCAP に変換 |
| zc0touch → MCAP | io_zc0touch2mcap | zc0touch のデータを MCAP に変換 |
| SenseXperience → MCAP | io_sensexperience2mcap | SenseXperience のデータを MCAP に変換 |
| BVH → MCAP | io_bvh2mcap | BVH の動作データを MCAP に変換 |
| 3D アニメーションを生成 | io_generateTransforms | データから 3D アニメーション成果物を生成 |
| Galbot Proto データを ROS2 へ | io_galbotproto2mcap | Galbot Proto データを ROS2 データに変換 |
| カスタムアルゴリズムを実行 | runAlgorithm | アルゴリズム管理に登録したアルゴリズムテンプレートを呼び出し |
ワークフローと設定オブジェクト
| フィールド | タイプ | 必須 | 既定値 | 説明 |
|---|
| 名前 | テキスト | はい | なし | 最大 200 文字 |
| 説明 | テキスト | いいえ | 空 | 最大 500 文字 |
| 範囲 | 列挙 | はい | グローバル | グローバルまたはプロジェクト |
| 優先度 | 整数 | いいえ | 100 | 数値が小さいほど先に実行 |
| 有効化 | スイッチ | いいえ | オン | 無効化すると実行の対象外 |
| グラフ | 有向グラフ | はい | 空 | マッチングルールノードと処理ルールノードで構成 |
品質基準、アノテーション設定、エクスポート設定は、パイプライン実行時に使用する評価、アノテーション、エクスポートのパラメータに対応します。
| タブ | 主なフィールド | 値 |
|---|
| 品質基準 | 厳格度 | LOW、MEDIUM、HIGH |
| 品質基準 | 指標ルール | 指標、条件、しきい値、重大度（WARNING、CRITICAL） |
| アノテーション設定 | モデル | モデル識別子、信頼度しきい値、サービスエンドポイント |
| アノテーション設定 | レビュー戦略 | random、all、low_confidence、サンプリング比率 0〜100%、最少レビュー人数 |
| エクスポート設定 | 形式 | mcap、hdf5_lerobot、hdf5_robomimic、mp4、rosbag2 |
| エクスポート設定 | フィルターと構造 | 品質検査ステータス、最小長さ。パステンプレートと圧縮方式（gzip、none） |
実行センター
実行センターはパイプラインの実行記録を新しい順に一覧表示します。
| フィールド | 説明 |
|---|
| ID | 実行番号 |
| データセット | 実行をトリガーしたデータセット |
| 段階 | データ処理の段階 |
| ステータス | 実行状態。実行中は進捗のパーセントを表示 |
| 開始時間 | 実行の開始時間 |
| 所要時間 | 開始から完了までの時間 |
| 操作 | 実行詳細を表示 |
| ステータス | 意味 |
|---|
| 待機中 | キューに入り、実行を待っている |
| 実行中 | 実行中で、進捗のパーセントを伴う |
| 完了 | すべてのステップが完了 |
| 失敗 | ステップでエラーが発生。詳細にエラーメッセージを含む |
制約と制限
| 項目 | 値 | 説明 |
|---|
| 名前の長さ | 200 文字以下 | 超過時は保存を拒否 |
| 説明の長さ | 500 文字以下 | 超過時は保存を拒否 |
| 優先度 | 整数、既定 100 | 数値が小さいほど優先 |
| グローバル定義 | 管理者のみ書き込み可能 | プロジェクト定義にはプロジェクトマネージャーで、プロジェクトへの書き込み権限が必要 |
| マッチングテスト | 管理者以外はプロジェクトの指定が必須 | 1 回につき最大 20000 件のデータセットをスキャンし、最大 50 件のサンプルを返す |
| 削除 | 論理削除 | 削除後は実行の対象外となり、過去の実行記録は保持される |
| タブへのアクセス | パイプライン概要、プロジェクト設定、実行センター、プリセットテンプレート、ワークフロー管理、品質基準、アノテーション設定、エクスポート設定 | 管理者とプロジェクトマネージャーのみアクセス可能 |
トラブルシューティング
| 現象 | 考えられる原因 | 対処 | 担当 |
|---|
| ワークフローが実行されない | ワークフローが有効化されていない、マッチングルールを満たしていない、優先度が他のワークフローより低い | 有効状態を確認し、「テスト」でマッチングの一致を検証し、優先度を調整する | プロジェクトマネージャー、管理者 |
| マッチングテストで一致がない | プロジェクト範囲の誤り、条件が厳しすぎる、フィールドまたは演算子の不一致 | 条件を緩めるか、対象プロジェクト内でテストする | プロジェクトマネージャー |
| 実行が待機中のままになる | バックグラウンドタスクの渋滞、または実行ノードが利用できない | 運用監視でキューとノードの状態を確認する | プラットフォーム運用 |
| 処理ステップの実行に失敗する | ソース形式が非対応、アクションパラメータの欠落、アルゴリズム実行の失敗 | 実行詳細で失敗したステップとログを確認し、修正して再実行する | プロジェクトマネージャー、管理者 |
| 自動名前変更が一致しない | 正規表現パターンが一致しない、または不一致時の処理がスキップに設定されている | 名前変更テストダイアログで結果を確認し、パターンまたは処理を調整する | プロジェクトマネージャー |
| タブへのアクセスが遷移される | 現在のロールがそのタブのアクセス条件を満たしていない | 管理者に権限を割り当ててもらうか、マッチングルール・処理ルールページを使用する | 管理者 |
関連ページ