SenseXperienceで取得できるモダリティは？

ベースラインではエゴセントリック映像、手首視点、グリッパー操作、音声、IMUなどを取得。モーションキャプチャや触覚などへの拡張も可能です。

取得データはどうやって学習用フォーマットになりますか？

EmbodiFlowと連携し、タイムスタンプ整合・姿勢推定・ジェスチャ認識・レビュー・エクスポートまでを実施。LeRobot、HDF5、MCAPなどの形式に対応します。

エンボディドAI向け実世界データ

ロボット基盤モデルとワールドモデル向けに、実世界の人体データをスケーラブルかつカスタマイズ可能に取得。

概要

SenseXperienceは、高品質な実世界のエゴセントリック・UMIスタイルの人体データを取得するためのIO自社統合ハード・ソフト群です。軽量ベースラインから触覚センサーを含むマルチモーダル構成まで、スケーラブルな人体データ取得を設計しています。

EmbodiFlow データパイプラインと連携し、画像・音声・IMU・センサーなどの生データを、IO-Agent-Labの学習済み後処理アルゴリズムでロボット学習向けの訓練データへスムーズに変換します。

デモを見る

最新の製品デモをご覧ください。

SenseXperience：ロボット・エンボディドAI向けの実世界データ

主な機能

エゴ・リスト・グリッパー・コンピュートの各ユニットで構成。コンパクトで現場導入しやすく、実環境での大規模人体データ取得に適しています。

モジュラー設計で要件に応じて柔軟に構成。カメラ、グリッパー、センサー、データ処理パイプラインまでカスタマイズ可能です。

モーションキャプチャや触覚グローブなど、より豊かなマルチモーダル取得に対応。ロボット・エンボディドAI向けの高精度データセットを実現します。

EmbodiFlowとネイティブ連携。タイムスタンプ整合、姿勢推定、ジェスチャ認識などをIO-Agent-Labで一気通貫し、生データから学習データまでの工数を削減します。

はじめる

SenseXperienceで取得できるモダリティは？: ベースラインではエゴセントリック映像、手首視点、グリッパー操作、音声、IMUなどを取得。モーションキャプチャや触覚などへの拡張も可能です。
取得データはどうやって学習用フォーマットになりますか？: EmbodiFlowと連携し、タイムスタンプ整合・姿勢推定・ジェスチャ認識・レビュー・エクスポートまでを実施。LeRobot、HDF5、MCAPなどの形式に対応します。