具身AIデータ管理プラットフォーム
Embodiflow は、具身AI の研究開発に向けたエンタープライズ向けデータ管理プラットフォームです。データ収集、アップロード、アノテーション、品質検査、エクスポート、モデルトレーニング、推論デプロイまでの一連の流れをカバーし、複数のロボットとセンサーから収集した異種データを、そのままトレーニングに使用できる標準データセットに整えます。
解決する課題
具身AI チームの研究開発のボトルネックは、モデルではなくデータ工程で発生することがほとんどです。特に次の3つが代表的です。
- データリンクの断絶：収集、アノテーション、レビュー、形式変換をそれぞれ別のツールが担うため、データがシステム間を行き来します。品質の基準を統一できず、問題が発生してもどの工程に起因するかを追跡できません。
- 形式と機種の断片化：ベンダーの異なるロボットや収集方法ごとに独自形式が生まれるため、新しい機種を接続するたびにデータ処理コードを書き直す必要があります。
- 複数人での共同作業における工程管理の欠如：アノテーションとレビューを複数人が並行して進めるため、タスクの状態、進捗、品質を測る共通の指標がなく、納品品質が個人の経験に依存します。
Embodiflow はこれらの工程を1つのプラットフォームにまとめます。ROS データモデルを基準に形式を統一し、役割とモジュール権限で操作範囲を制限し、タスクの状態遷移でアノテーションとレビューの工程を管理します。
利用シーン
| ユーザー種別 | 主な役割 | 主な要件 | 対応する機能 |
|---|---|---|---|
| ロボット本体メーカー | アルゴリズムエンジニア、組み込みエンジニア | デバイス接続、操作データの収集、モデルトレーニングと実機デプロイ | デバイス管理、収集タスク 、モデルトレーニング、モデル推論 |
| データサービス企業 | アノテーションプロジェクトマネージャー、アノテーター、レビュアー | アノテーションタスクの管理、複数役割の共同作業、品質管理と納品 | アノテーションタスク、辞書管理、データ品質検査、データエクスポート |
| 大学・研究機関 | 大学院生、研究者 | データセットの構築、複数モデルのトレーニング、実験の再現 | データアップロード、形式変換、LeRobot Studio、モデルトレーニング |
| 製造業・インテグレーター | ITエンジニア、運用エンジニア | プライベートデプロイ、データの社内保持、権限と監査 | プライベートデプロイ、モジュール権限、アクセス監査、運用監視 |
主要機能
| 機能 | 説明 |
|---|---|
| データ標準化 | ROS を基準とし、AgiBot、AgileX、Realman などの収集システムのデータを MCAP 標準形式に変換して一元管理します |
| 機種対応 | 23機種のロボットの可視化モデルを内蔵し、双腕、ヒューマノイド、協働アーム、移動プラットフォームをカバーします |
| データ品質検査 | フレームレート、Topic の連続性、時刻同期、フレーム落ちなどのルールで自動検出し、可視化された診断レポートを出力します |
| アノテーションとレビュー | 自然言語による意味アノテーションとカメラ視点の物体アノテーショ ンに対応し、タスクの状態遷移、人手による二次レビュー、差し戻し後の再作業を備えます |
| 形式エクスポート | LeRobot、HDF5、RLDS、MCAP、JSON、CSV など12種類の対象形式にエクスポートできます |
| モデルトレーニング | 11個のポリシーモデルを内蔵し、PyTorch と JAX の2種類のフレームワーク、単機とマルチ GPU のトレーニングに対応します |
| モデル推論 | トレーニング済みのチェックポイントを推論サービスとしてデプロイでき、シミュレーション推論、MCAP データテスト、エッジでのオフラインデプロイに対応します |
| 権限と監査 | 6種類の役割と50個のモジュール権限キーを組み合わせ、IPホワイトリストと操作監査に対応します |
| プライベートデプロイ | データは顧客自身のオブジェクトストレージまたはローカルストレージに保存され、プラットフォームは完全にオフラインで動作し、データを外部に送信しません |
機能一覧
サイドバーは4つのグループで機能を整理しています。本ドキュメントは25個の入口を収録しています。
| グループ | 入口 | 主な機能 |
|---|---|---|
| 概要 | 概要 | データ量、アノテーション量、品質分布、プロジェクト進捗、最近のアクティビティ |
| データ | データ | データセットの検索、フィルター、プレビュー、一括操作 |
| データ | アップロー ド | ローカルアップロード、動画と音声の MCAP 変換、LeRobot データセットのインポート |
| データ | 収集 | 収集タスクの作成、割り当て、進捗の追跡 |
| データ | アノテーション | アノテーションタスク、タスク状態の遷移、一括アノテーション、問題アノテーション |
| データ | 品質検査 | ROS 録画の品質検査ルール、実行、レポート |
| データ | 辞書 | スキル、対象、ターゲット、副詞句、アノテーションラベル、データタグの基準を一元管理 |
| データ | チャート | 動作計画、動作関係、時間分布、依存関係、アノテーションカレンダー |
| データ | スキル | ロボットスキルライブラリとバージョン管理 |
| データ | エクスポート | 12種類の対象形式へのエクスポート、エクスポート履歴、割り当て管理 |
| データ | LeRobot | LeRobot データセットのブラウザ内プレビューと再生 |
| モデル | トレーニング | トレーニングタスクの作成、パラメータ設定、指標の監視、チェックポイント管理 |
| モデル | 推論 | 推論サービスのデプロイ、シミュレーションテスト、MCAP テスト、エッジでのオフラインデプロイ |
| モデル | 動作 | 動作リターゲティングと運動データの管理 |
| 管理 | プロジェクト | プロジェクトの作成、可視範囲、メンバー、ライフサイクル |
| 管理 | ユーザー | アカウント管理、役割の割り当て、モジュール権限、CSV 一括インポート |
| 管理 | ロボット | 機種の登録、パラメータ、保守記録 |
| 管理 | デバイス | デバイス登録、Agent のインストール、リソース監視、映像ストリームの接続、リモート操作 |
| 管理 | クラウド | 8種類のオブジェクトストレージの接続と認証情報の管理 |
| 管理 | ワークフロー | マッチングルール、動作ルール、ワークフローの編成 |
| 管理 | プラグイン | プラグインのインストール、有効化、無効化、開発 |
| 管理 | ゴミ箱 | 各モジュールで論理削除されたデータの一覧表示と復元 |
| 管理 | 割り当て | エクスポート、トレーニング、推論リソースの割り当てと使用量 |
| 管理 | システム | システムパラメータ、タスクキュー、テーマとレイアウト、ライセンス |
| 管理 | 運用 | システムログ、タスクキュー、WebRTC の状態、権限監査 |
前提条件
| 項目 | 要件 |
|---|---|
| ブラウザ | 最新版の Chrome または Edge。動画と音声の MCAP 変換は MediaStreamTrackProcessor に依存し、対応するのはこの2つのブラウザのみです |
| アカウント | 管理者が作成し、役割を割り当てます。セルフサービス登録 は提供していません |
| 権限 | 役割が表示されるメニューを決め、モジュール権限が具体的な操作を決めます。未設定のモジュールは禁止です |
| ネットワーク | クラウドインスタンスの場合はプラットフォームのアドレスに到達できる必要があります。プライベートデプロイの場合は現場のネットワークポリシーに応じてポートを開放します |
| オブジェクトストレージ | アップロードとエクスポートには、管理者が設定した利用可能なクラウドストレージ接続が1つ以上必要です |
プラットフォーム構成
プラットフォームは Web アプリケーションとバックグラウンドサービスで構成され、責務の境界は次のとおりです。
| レイヤー | 構成 | 責務 |
|---|---|---|
| クライアント | ブラウザ、ロボット側 Agent | Web 側で管理、アノテーション、プレビューを行います。Agent はローカルでパッケージ化、圧縮、品質検査を行ってから一括で取り込みます |
| アプリケーション | Web アプリケーション、RESTful API | アカウントと権限、データとタスクの編成、画面操作を担います。サーバー側の機能はすべて RESTful API として公開します |
| タスク | タスクキューとバックグラウンド Worker | データ取り込みの解析、動画トランスコード、形式変換、品質検査、エクスポ ートなどの長時間タスクを非同期で実行し、進捗を報告します |
| コンピューティング | トレーニングサービス、推論サービス | トレーニングタスクのスケジューリング、実行、チェックポイント管理、推論サービスのデプロイと呼び出しを担います |
| ストレージ | データベース、オブジェクトストレージまたはローカルストレージ | メタデータをデータベースに保存し、元データと成果物を顧客自身のオブジェクトストレージまたはローカルディスクに保存します |
| リアルタイム | WebRTCゲートウェイ | デバイスの映像ストリームの接続とリモート操作を担います |
プラットフォームはストレージとプログラムを分離してデプロイします。データは顧客自身のオブジェクトストレージに保存でき、アクセス権限は顧客側で管理します。
役割
| 役割 | 責務範囲 | 既定で表示されるメニュー |
|---|---|---|
| 管理者 | プロジェクト、アカウントと権限、クラウドストレージ、システム設定、監査 | すべて |
| プロジェクトマネージャー | プロジェクトの作成、データの選定とタスク作成、割り当てとフォロー、エクスポート | データ、モデル、管理（クラウド、ゴミ箱、割り当て、システム、運用を除く） |
| 収集者 | 収集タスクの受領と実行、データのアップロード、デバイスの確認 | 概要、データ、アップロー ド、収集、品質検査、デバイス |
| レビュアー | アノテーション結果のレビュー、合格または差し戻しの判定 | 概要、収集、アノテーション、辞書、チャート |
| アノテーター | アノテーションの実行、レビューへの提出 | 概要、収集、アノテーション、辞書、チャート |
| ゲスト | 読み取り専用アクセス | 概要 |
役割が表示されるメニューの範囲を決め、モジュール権限がその範囲を機能単位でさらに絞り込みます。両者の関係と設定方法は権限とモジュール権限を参照してください。
プラットフォームはロボットデバイスの集中監視とリモート操作に対応します。
デプロイ形態
プラットフォームは2つのデプロイ形態に対応します。操作方法は同じで、違いはデータの保存場所とアップグレード方法です。
| デプロイ形態 | データの場所 | アップグレード方法 |
|---|---|---|
| クラウドインスタンス | プラットフォームが提供する専用のクラウド環境 | プラットフォーム側で一括アップグレード |
| プライベートデプロイ | 顧客のプライベートクラウドまたは自社データセンター。顧客自身のオブジェクトストレージに接続できます | デリバリーエンジニアの支援によりアップグレード |
プライベートデプロイにはワークステーション版とクラスタ版があります。2つの版は機能が同じで、違いは演算能力と容量です。ワークステーション版は1台のタワーサーバーで、クラスタ版は Kubernetes を基盤とするため、いずれかのノードが完全に故障しても業務とデータは停止しません。選定は利用人数ではなく、同時に収集するロボットの台数で決めます。ハードウェアと環境の条件は、契約時に納品される『デプロイ要件チェックリスト』を参照してください。
読む順序
役割別の読む順序
役割の順に読むと、ページ間の移動を減らせます。
| 役割 | 読む順序 |
|---|---|
| 管理者 | 権限 → モジュール権限 → プロジェクトとユーザー → クラウド → 運用監視 → バックアップとアップグレード |
| プロジェクトマネージャー | データ管理 → アノテーションタスク作成 → アノテーションタスク → データエクスポート → 分析チャート |
| アノテーター | クイックスタート → アノテーションタスクの状態 → アノテーター操作ガイド → 辞書管理 |
| レビュアー | レビュアー操作ガイド → 権限 → データ品質検査 |
| 収集者 | 収集者操作ガイド → デバイス管理 → データアップロード |
| アルゴリズムエンジニア | データ形式 → データエクスポート → モデルトレーニング → モデル推論 → LeRobot データセットとトレーニング |
役割別の入口
各役割の入口ページは次のとおりです。
| 役割 | 入口 |
|---|---|
| すべての役割 | クイックスタート |
| 管理者 | 権限、モジュール権限 |
| プロジェクトマネージャー | アノテーションタスク作成、データ管理 |
| アノテーター | アノテーター操作ガイド |
| レビュアー | レビュアー操作ガイド |
| 収集者 | 収集者操作ガイド |
| アルゴリズムエンジニア | データ形式、モデルトレーニング |
次のステップ
プラットフォーム全体の構成と前提条件を把握したら、クイックスタートから最初の操作フローを始めます。
| ページ | 用途 |
|---|---|
| クイックスタート | ログイン、画面構成、最小の一連の操作 |