Diffusion Policy モデルのトレーニング
Diffusion Policy は動作シーケンスを条件付きのノイズ除去プロセスとしてモデル化し、連続的で滑らか、かつ複数の実行可能な軌道が存在する制御タスクに適しています。LeRobot が PyTorch 実装を提供しており、プラットフォームはモデル識別子 diffusion でこのポリシーを登録し、トレーニングフレームワークは LeRobot、入力は LeRobot v2 または v3 のデータセットです。
対象ロールと前提条件
対象ロール
| 役割 | 利用シーン | 依存 |
|---|---|---|
| アルゴリズムエンジニア | 連続軌道タスク向けに拡散ポリシーをファインチューニング | トレーニングとデータセットのモジュール権限 |
| プロジェクトマネージャー | 拡散ポリシーのトレーニングタスクの進捗と成果物を追跡 | トレーニングタスクの閲覧権限 |
| データ提供者 | フィールドとフレームレートが一致したデータセットを提供 | データエクスポートのモジュール権限 |
前提条件
| 項目 | 要件 |
|---|---|
| データセットバージョン | LeRobot v2 または v3 |
| トレーニングフレームワーク | LeRobot |
| データセットフィールド | meta/info.json の画像・状態・動作フィールドが完全で、フィールド名が トレーニング設定と一致 |
| 時系列の整合 | fps が実際の記録と一致し、教師信号のずれを防ぐ |
| 計算リソース | GPU。VRAM 要件は batch_size、画像解像度、観測ステップ数で変化 |
トレーニングタスクの作成とパラメータ
手順
- トレーニングページで新しいトレーニングタスクを作成し、モデルに
diffusionを選択します。 - データソースとデータセットバージョン
v2またはv3を選択します。 - トレーニングフレームワークに LeRobot を選択します。
- 共通パラメータとポリシーパラメータを設定します。
- 計算リソースを選択し、タスクを送信します。
トレーニングパラメータ
共通パラメータ：
| パラメータ | 説明 | 既定値 | 取り得る範囲 |
|---|---|---|---|
batch_size | バッチサイズ | 1 | ≥ 1 |
steps | トレーニングステップ数 | 10000 | ≥ 1 |
seed | 乱数シード | 1000 | 整数 |
num_workers | DataLoader の worker 数 | 4 | ≥ 1 |
eval_freq | 評価頻度（ステップ単位） | 1000 | ≥ 1 |
log_freq | ログ頻度（ステップ単位） | 100 | ≥ 1 |
save_checkpoint | チェックポイントを保存するか | true | ブール |
save_freq | チェックポイントの保存頻度（ステップ単位） | 5000 | ≥ 1 |
ポリシーパラメータ（policy. を接頭辞とする）：
| パラメータ | 説明 | 既定値 | 取り得る範囲 |
|---|---|---|---|
policy.n_obs_steps | ポリシーに入力する観測ステップ数 | 2 | 正整数 |
policy.horizon | 動作予測の長さ | 16 | 正整数 |
policy.n_action_steps | 1 回の呼び出しで実行する動作ステップ数 | 8 | 正整数 |
policy.vision_backbone | 視覚バックボーン | resnet18 | resnet18、resnet34、resnet50、resnet101、resnet152 |
policy.pretrained_backbone_weights | バックボーンの事前学習済み重み | 空 | パスまたは空 |
policy.crop_shape | バックボーン前の画像切り抜きサイズ | [84, 84] | 2 要素の組 |
policy.crop_is_random | トレーニング時にランダムに切り抜くか | true | ブール |
policy.use_group_norm | バックボーンの BatchNorm を GroupNorm に置き換え | true | ブール |
policy.spatial_softmax_num_keypoints | SpatialSoftmax のキーポイント数 | 32 | 正整数 |
policy.use_separate_rgb_encoder_per_camera | カメラごとに独立した RGB エンコーダーを使うか | false | ブール |
policy.down_dims | Unet の各ダウンサンプリング段の特徴次元 | [512, 1024, 2048] | 3 要素の組 |
policy.kernel_size | Unet の畳み込みカーネルサイズ | 5 | 正整数 |
policy.n_groups | Unet の畳み込みブロックの GroupNorm グループ数 | 8 | 正整数 |
policy.diffusion_step_embed_dim | 拡散タイムステップ埋め込みの次元 | 128 | 正整数 |
policy.use_film_scale_modulation | Unet の条件変調に FiLM を使用 | true | ブール |
policy.noise_scheduler_type | ノイズスケジューラの種別 | DDPM | DDPM、DDIM |
policy.num_train_timesteps | 順方向拡散のステップ数 | 100 | 正整数 |
policy.beta_schedule | beta スケジュールの方式 | squaredcos_cap_v2 | 文字列 |
policy.beta_start | 最初の順方向拡散ステップの beta | 0.0001 | 浮動小数点数 |
policy.beta_end | 最後の順方向拡散ステップの beta | 0.02 | 浮動小数点数 |
policy.prediction_type | Unet の予測対象 | epsilon | epsilon、sample |
policy.clip_sample | 予測サンプルをクリップするか | true | ブール |
policy.clip_sample_range | クリップ範囲の大きさ | 1.0 | 浮動小数点数 |
policy.num_inference_steps | 推論段階の逆方向拡散ステップ数 | 空 | 正整数または空 |
policy.do_mask_loss_for_padding | ゼロ埋めした動作に対する損失をマスク | false | ブール |
policy.drop_n_last_frames | 末尾で破棄するフレーム数 | 7 | 整数 |
policy.optimizer_lr | オプティマイザの学習率 | 1e-4 | 浮動小数点数 |
policy.optimizer_betas | Adam オプティマイザの beta | [0.95, 0.999] | 2 要素の組 |
policy.optimizer_eps | Adam オプティマイザの epsilon | 1e-8 | 浮動小数点数 |
policy.optimizer_weight_decay | 重み減衰 | 1e-6 | 浮動小数点数 |
policy.scheduler_name | 学習率スケジューラ | cosine | 文字列 |
policy.scheduler_warmup_steps | スケジューラのウ ォームアップステップ数 | 500 | 非負整数 |
データ経路を初めて検証する場合は、batch_size と steps を小さな値に設定し、フィールドの読み取りと損失の低下を確認してから、完全なトレーニングに拡大します。
結果の確認
トレーニングの監視
プラットフォームは LeRobot のトレーニングログから次の指標を解析します：
| 指標 | 意味 |
|---|---|
loss | トレーニング損失 |
step | トレーニングステップ |
sample | 使用済みサンプル数 |
episode | 使用済み episode 数 |
epoch | トレーニングエポック |
gradient_norm | 勾配ノルム |
learning_rate | 学習率 |
update_time | 1 ステップの更新時間 |
data_time | 1 ステップのデータ読み込み時間 |
確認チェックリスト
| 確認項目 | 合格基準 |
|---|---|
| チェックポイント一覧 | トレーニング詳細ページに save_freq に従ってチェックポイントが表示される |
| 損失カーブ | loss がトレーニングに伴って低下 |
| ログ | トレーニングログに継続的なエラーがない |
| 実機またはシミュレーション評価 | 同じ初期条件で複数回の rollout を行った結果が安定 |
エラー時の対処
| 現象 | 考えられる原因 | 対処 | 責任者 |
|---|---|---|---|
| フィールドキーの不一致 | meta/info.json の画像・状態・動作フィールド名がトレーニング設定と一致しない | フィールド名と fps を確認して統一 | データ提供者 |
| VRAM 不足 | batch_size が大きすぎる、または画像解像度と観測ステップ数が高すぎる | batch_size を下げ、まず steps を短くして検証 | トレーニング設定担当 |
| 損失が低下しない | 学習率またはデータウィンドウの設定が不適切 | policy.optimizer_lr、policy.horizon、policy.n_obs_steps を確認 | アルゴリズムエンジニア |
| 元論文の結果と一致しない | LeRobot の実装、データ読み取り、前処理に違いがある | LeRobot の実装を基準にする か、元の実装に切り替え | アルゴリズムエンジニア |
関連ページ
| ページ | 用途 |
|---|---|
| モデルトレーニング | トレーニングタスクの作成、監視、割り当て |
| LeRobot データセットとトレーニング | データエクスポートとトレーニングの概要 |
| LeRobot v2 と v3 の形式差異 | 2 つのデータ形式の違いと移行 |
| データエクスポート | LeRobot トレーニングパッケージの生成 |