LeRobot データセットとトレーニング
LeRobot は Hugging Face がメンテナンスする、ロボット学習データとポリシートレーニングのフレームワークです。プラットフォームは注釈済みの録画データを LeRobot データセットとしてエクスポートし、プラットフォームのトレーニングサービスまたは外部の LeRobot トレーニングスタックで利用します。
対応モデルとデータセットバージョン
適用シーン
| 読者 | 関心事 | 入口 |
|---|---|---|
| アルゴリズムエンジニア | データセットのフィールド、バージョン互換性、モデルとトレーニングの入口 | データエクスポート、モデルトレーニング |
| トレーニング運用 | トレーニングイメージ、GPU とマウント、ログとチェックポイント | モデルトレーニング |
| プロジェクトマネージャー | 納品するデータ形式、選択できるモデルの範囲 | データエクスポート |
主な機能
| 機能 | 説明 | 入口 |
|---|---|---|
| データセットのエクスポート | LeRobot v3.0 または v2.1 をエクスポートします。画像形式、サンプリング周波数、サブタスクを設定できます | データ → エクスポート |
| オンラインプレビュー | 取り込み済みの LeRobot データをブラウザ内で再生します | データ → LeRobot |
| 形式の検証 | LeRobotDataset で読み込むか、LeRobot Studio でディレクトリとメタデータを確認します | 「データセットの検証」を参照 |
| プラットフォーム内トレーニング | モデルとフレームワークを選択してトレーニングを開始し、ログとチェックポイントを確認します | モデル → トレーニング |
データ → LeRobot のプレビュー入口は LeRobot Studio を参照してください。
モデルとフレームワーク
プラットフォームのトレーニングサービスには 11 個のポリシーモデルが登録されています。モデル ID、トレーニングフレームワーク、データセットバージョンは次のとおりです。
| モデル ID | トレーニングフレームワーク | データセットバージョン | 専用ページ |
|---|---|---|---|
act | act、lerobot | v2、v3 | ACT モデルトレーニング |
diffusion | lerobot | v2、v3 | Diffusion Policy モデルトレーニング |
groot | lerobot | v2、v3 | — |
pi0 | lerobot、jax | v2、v3 | π0 と π0.5 のファインチューニング |
pi05 | lerobot、jax | v2、v3 | π0 と π0.5 のファインチューニング |
reward_classifier | lerobot | v2、v3 | — |
sac | lerobot | v2、v3 | — |
smolvla | lerobot | v2、v3 | SmolVLA のファインチューニング |
spirit-v1.5 | spirit | robochallenge、v2、v3 | Spirit-v1.5 のファインチューニング |
tdmpc | lerobot | v2、v3 | — |
vqbet | lerobot | v2、v3 | — |
「—」は専用ページがないことを示します。パラメータと制限は LeRobot の公式ドキュメントに準拠します。
データセットバージョン
LeRobot データセットのバージョンはエクスポートオプションで決まり、Python パッケージのバージョンとは関係ありません。
| エクスポートオプション | データ形式バージョン | 説明 |
|---|---|---|
| v3.0（既定） | v3.0 | サブタスクモードに対応。一部のモデルはまだ対応していません |
| v2.1 | v2.1 | 互換性が最も高い。サブタスクモードには対応しません |
画面のオプション v3.0 はエクスポートパラメータ version=latest に対応し、v2.1 は version=v2.1 に対応します。トレーニングサービスは v2、v3 の 2 つのデータセットバージョン識別子を使用します。バージョンの違いは LeRobot v2 と v3 の形式の違いを参照してください。
トレーニングの準備
トレーニングイメージ
プラットフォームのトレーニングサービスは、データセットバージョンに応じて LeRobot トレーニングイメージを選択します。既定値は次のとおりで、デプロイ環境から上書きできます。
| データセットバージョン | 既定のイメージ | トレーニング入口 |
|---|---|---|
| v2 | lerobot:v0.3.3 | /lerobot/.venv/bin/lerobot-train |
| v3 | lerobot:v0.4.4 | /lerobot/.venv/bin/lerobot-train |
| 未指定 | lerobot:latest | /lerobot/.venv/bin/lerobot-train |
トレーニングタスクが v2 のデータを v3 に変換するときは、v3 の既定イメージを使用します。複数 GPU の場合は accelerate launch で同じ入口に入ります。次のモデルは専用イメージを使用します。
| モデル | 既定のイメージ |
|---|---|
pi0 | ioaitech/train_openpi:pi0 |
pi05 | ioaitech/train_openpi:pi05 |
act | ioaitech/train_act:cuda |
spirit-v1.5 | ioaitech/train_spirit:1.5 |
トレーニングの流れ
データセットの検証
エクスポート後に一度検証してから、トレーニングに接続します。アーカイブまたは解凍したディレクトリを LeRobot Studio で開く方法を優先します。スクリプトで検証する場合は、データセットを直接読み込めます。
from lerobot.datasets import LeRobotDataset
dataset = LeRobotDataset("local/my_dataset", root="/path/to/lerobot_dataset")
print(dataset.num_frames, dataset.num_episodes)
読み込めることはトレーニングに適することを意味しませんが、ディレクトリ階層の誤り、メタデータの欠落 、ファイル番号の抜けを先に排除できます。
データセットエクスポートの要点
エクスポート設定
データの選択とパラメータのパネルは次のとおりです。
| パラメータ | 値 | 説明 |
|---|---|---|
| データのサンプリング周波数 | 1–60 Hz、既定 30 | 低いほどデータセットが小さくなります。10–30 を推奨します |
| 画像形式 | MP4、JPG | 既定は MP4。MP4 は JPG に比べて約 80% のストレージを削減できます |
| モデル入出力の厳密一致 | 許可 / 禁止 | 有効にすると、クロップによって観測と指令が 1 対 1 に対応し、ノイズを減らします |
| 顔の自動ぼかし | 許可 / 禁止 | 有効にすると、データコンプライアンスのために映像内の顔をぼか します |
| サブタスクの有効化 | 許可 / 禁止 | 有効にすると、各注釈が episode 内のサブタスクになります。v3.0 のみ |
| 適応マッピング | 許可 / 禁止 | 設定すると、マッピングに従ってフィールドを生成し、strict_match は無視されます |
| LeRobot バージョン | v3.0、v2.1 | バージョンの違いは前の節を参照してください |
完全な形式とクォータの説明は データエクスポートを参照してください。
フィールドマッピング
プラットフォームは ROS トピック名の接尾辞から状態とアクションのフィールドを推測します。トピックの命名が異なる場合は、録画段階で名前を統一します。既存データの名前を変更できない場合は、適応マッピングで補います。
| データセットフィールド | トピック名の接尾辞 | 根拠 |
|---|---|---|
observation.state | /joint_state、/joint_states、/arm_joint_state | tools/mcap2lerobot/mcap2lerobot.py |
action | /joint_command | tools/mcap2lerobot/mcap2lerobot.py |
エクスポート結果
エクスポートの完了後、アーカイブをダウンロードし、独立したディレクトリに解凍します。--dataset.root は meta/info.json を含むディレクトリを指します。
your_dataset/
├── meta/
│ └── info.json
├── data/
└── videos/
使用上の制限
エクスポートとトレーニングは、次の既存の境界に従います。
| 項目 | 制限 | 説明 |
|---|---|---|
| エクスポート形式のバージョン | v3.0、v2.1 | 画面のオプション v3.0 はパラメータ version=latest に、v2.1 は version=v2.1 に対応します |
| サブタスクモード | v3.0 のみ | サブタスクを有効にすると v3.0 のみ選択できます。タスク作成時に v2.1 を選択しても拒否されます |
| データのサンプリング周波数 | 1–60 Hz、既定 30 | 10–30 を推奨します。低いほどデータセットが小さくなります |
| 画像形式 | MP4、JPG | 既定は MP4 |
| 厳密一致 | 適応マッピングを設定すると無視 | 2 つの設定は排他で、適応マッピングを優先します |
| 適応マッピングのサイズ | 256 KiB 以内 | 上限を超えるとエクスポートタスクの作成が拒否されます |
| モデルの画像入力 | vqbet、tdmpc は画像を 1 枚のみ保持 | トレーニング時に余分な画像は無視され、ログに記録されます |
| 品質検査ゲート | 既定で有効 | 品質検査に合格していないデータセットはエクスポートできません |
| 顔のぼかし | SCRFD モデルに依存し、CPU のみ使用 | ぼかしに失敗すると今回のエクスポートを中止します |
| トレーニングデータセットバージョン | v2、v3 | spirit-v1.5 は robochallenge にも対応。「対応モデルとデータセットバージョン」を参照 |
読む順序
- データセットのエクスポート：データエクスポート
- データの検証：LeRobot Studio
- 環境のインストール：LeRobot のインストール
- モデルの選択：ACT、Diffusion Policy、π0 と π0.5、SmolVLA、Spirit-v1.5
- トレーニングの開始：モデルトレーニング