モデルトレーニング
トレーニングページでは、ブラウザ上でポリシーモデルのトレーニングタスクの作成、パラメータ設定、進行状況の監視、チェックポイントの管理を行います。トレーニングタスクの実行はトレーニングサービスがスケジュールし、推論サービスとしてデプロイできるチェックポイントを生成します。
対象ロールと前提条件
ロールと権限
| ロール | 実行できる操作 | 必要な権限 |
|---|---|---|
| 管理者 | トレーニングタスクの作成、表示、停止、削除。トレーニング割り当ての管理 | 「トレーニングを表示」「トレーニングタスクを作成」 |
| プロジェクトマネージャー | トレーニングタスクの作成、表示、停止、削除 | 「トレーニングを表示」「トレーニングタスクを作成」 |
メニュー入口はモデル → トレーニングです。モジュール権限の設定方法はモジュール権限を参照してください。
前提条件
| 項目 | 要件 |
|---|---|
| トレーニングサービス | トレーニングサービスがデプロイされ、アクセス可能であること |
| トレーニングデータ | エクスポート済みの LeRobot エクスポート履歴、アップロード済みの LeRobot データセット、アクセス可能なダウンロードリンク、または HuggingFace データセットのいずれか |
| データセットバージョン | LeRobot v2 または v3。spirit-v1.5 は robochallenge にも対応 |
| トレーニング場所 | 管理者がローカ ル GPU サーバーまたはリモートトレーニングノードを設定済みであること |
| GPU リソース | ローカルトレーニングには使用可能な GPU が必要。groot は Nvidia Ampere 以降のモデルのみ対応 |
| トレーニング割り当て | 回数と時間の割り当てが残っていること。割り当ては管理者がクォータ管理で付与します |
| 権限 | 「トレーニングタスクを作成」 |
手順
対応モデルとフレームワーク
プラットフォームには 11 個のトレーニング可能なポリシーモデルが登録されています。各モデルが対応するフレームワークとデータセットバージョンは次のとおりです。
| モデル ID | 対応フレームワーク | 既定のフレームワーク | 対応データセットバージョン |
|---|---|---|---|
act | act、lerobot | act | v2、v3 |
diffusion | lerobot | lerobot | v2、v3 |
groot | lerobot | lerobot | v2、v3 |
pi0 | lerobot、jax | lerobot | v2、v3 |
pi05 | lerobot、jax | lerobot | v2、v3 |
reward_classifier | lerobot | lerobot | v2、v3 |
sac | lerobot | lerobot | v2、v3 |
smolvla | lerobot | lerobot | v2、v3 |
spirit-v1.5 | spirit | spirit | robochallenge、v2、v3 |
tdmpc | lerobot | lerobot | v2、v3 |
vqbet | lerobot | lerobot | v2、v3 |
フレームワークの説明は次のとおりです。管理者が名前またはフレームワークで無効化したモデルは、トレーニングページに表示されません。
| フレームワーク ID | 説明 | 対象モデル |
|---|---|---|
lerobot | PyTorch ベースの HuggingFace ロボット学習フレームワーク | 下記の専用フレームワーク以外のすべてのモデル |
jax | JAX 計算フレームワーク | pi0、pi05 |
act | ACT 専用のトレーニングスタック | act |
spirit | Spirit 公式のトレーニングスタック | spirit-v1.5 |
トレーニングタスクの作成
- モデル → トレーニングに移動し、「トレーニングを作成」をクリックします。
- トレーニング場所を選択します。ローカル GPU サーバーを選ぶ場合は、トレーニン グに使用する GPU を選択します。
- モデルを選択し、そのモデルが対応するフレームワークの中からトレーニングフレームワークを選択します。
- トレーニングパラメータを入力します。初回のトレーニングでは既定値を使用できます。
- トレーニングデータセットを選択します。取得元は次のとおりです。
- 任意：「既存の学習から再開」でソースのトレーニングタスクとチェックポイントの重みを選択します。
- 「プロジェクト所属」を選択します。選択しない場合、タスクは非公開となり作成者のみが閲覧できます。
- 「トレーニングタスクを作成」をクリックします。
トレーニングデータセットの取得元は 4 つです。
| 取得元 | データの場所 | 説明 |
|---|---|---|
| エクスポート LeRobot | プラットフォームのエクスポート履歴 | エクスポート履歴から 1 件選択します |
| アップロード済み LeRobot | プラットフォームのデータセット | アップロード済みの LeRobot データセットを選択します |
| ダウンロードリンク | 外部アドレス | .tar.gz または .zip 形式の LeRobot データセットに対応 |
| HuggingFace | HuggingFace Hub | データセット名を入力します（例：io-intelligence/piper_uncap_pen） |
トレーニングパラメータ
共通パラメータ
| パラメータ | 型 | 既定値 | 説明 |
|---|---|---|---|
batch_size | int | 1 | 1 回のトレーニングで使用するサンプル数。メモリに合わせて調整します |
steps | int | 10000 | トレーニングの総ステップ数 |
seed | int | 1000 | 結果を再現するための乱数シード |
num_workers | int | 4 | データローダーのワーカープロセス数 |
eval_freq | int | 1000 | 何ステップごとに評価するか |
log_freq | int | 100 | 何ステップごとにログを出力するか |
save_checkpoint | bool | はい | チェックポイントを保存するかどうか |
save_freq | int | 5000 | 何ステップごとにチェックポイントを保存するか |
モデル固有のパラメータ
トレーニングページには、選択したモデルに対応するパラメータが表示されます。よく使うモデルの既定値は次のとおりです。
| モデル | パラメータ | 既定値 | 説明 |
|---|---|---|---|
act | chunk_size | 100 | 一度に予測するアクション系列の長さ |
act | n_action_steps | 100 | 1 回の呼び出しで実行するアクションのステップ数 |
act | vision_backbone | resnet18 | 視覚バックボーン。resnet18/34/50/101/152 から選択 |
act | kl_weight | 10.0 | KL ダイバージェンス損失の重み |
diffusion | horizon | 16 | アクション予測の時間幅 |
diffusion | n_action_steps | 8 | 1 回の呼び出しで実行するアクションのステップ数 |
diffusion | num_inference_steps | 空 | 逆拡散サンプリングのステップ数 |
groot | image_size | 224×224 | ビジョンタワー入力の画像解像度 |
groot | max_state_dim | 64 | 状態ベクトルの最大次元。不足分はゼロで埋めます |
groot | max_action_dim | 32 | アクションベクトルの最大次元。不足分はゼロで埋めます |
pi0、pi05 | chunk_size | 50 | 一度に予測するアクション系列の長さ |
pi0、pi05 | num_inference_steps | 10 | ノイズ除去サンプリングのステップ数 |
pi0、pi05 | max_state_dim | 32 | 状態ベクトルの最大次元 |
smolvla | chunk_size | 50 | 一度に予測するアクション系列の長さ |
smolvla | num_steps | 10 | デコードのステップ数 |
smolvla | max_state_dim | 32 | 状態ベクトルの最大次元 |
sac | discount | 0.99 | 割引率 |
sac | actor_lr | 3e-4 | ポリシーネットワークの学習率 |
tdmpc | horizon | 5 | 予測の時間幅 |
tdmpc | discount | 0.9 | 割引率 |
結果の確認
トレーニング進行状況の監視
トレーニング詳細ページには 4 つのタブがあります。
| タブ | 内容 |
|---|---|
| トレーニング指標 | 損失曲線、検証指標、学習率、トレーニングの進行状況 |
| チェックポイント | チェックポイントの一覧と成果物ファイル |
| リアルタイムログ | トレーニングログのストリーミング出力 |
| トレーニングパラメータ | このタスクで使用したパラメータ |
状態と進行状況は、トレーニングサービスが報告するフィールドから取得します。進行状況のパーセンテージ、現在のステップ数、総ステップ数、損失値、学習率、GPU メモリ使用量です。
トレーニングタスクの状態は次のとおりです。
| 状態 | 意味 | 実行できる操作 |
|---|---|---|
| 待機中 | 作成済みで、スケジュール待ち | 削除 |
| 実行中 | トレーニング中 | 停止、削除 |
| 成功 | トレーニング完了 | 推論のデプロイ、削除 |
| 失敗 | トレーニングが異常終了 | チェックポイントから再開、削除 |
| ユーザーにより停止 | ユーザーが手動で停止 | チェックポイントから再開、削除 |
| 一時停止中 | トレーニングを一時停止 | 停止、削除 |
チェックポイントと成果物
チェックポイントはトレーニングのステップ数ごとに保存され、最終チェックポイントとステップチェックポイントの 2 種類があります。
| 操作 | 効果 | 制約 |
|---|---|---|
| ダウンロード | チェックポイントファイルまたは一括アーカイブをダウンロードします | 大きなチェックポイントは先にオブジェクトストレージへ同期してからダウンロードできます |
| 削除 | チェックポイントを削除します | 復元できません |
| 推論 | チェックポイントから推論サービスをデプロイします | モデル推論を参照 |
| オフラインデプロイ | オフラインデプロイパッケージを生成します | モデル推論を参照 |
「既存の学習から再開」はファインチューニングやトレーニングの継続に使用します。ソースのトレーニングタスクとチェックポイントの重みを選択してから、新しいタスクを作成します。
| 制約 | 説明 |
|---|---|
| トレーニング場所の一致 | ソースのトレーニングタスクは、ターゲットのトレーニング場所と同じトレーニングノードにある必要があります |
| チェックポイントの存在 | ソースタスクに実際に存在するチェックポイントのみ選択できます |
「トレーニングパラメータ」タブには「パラメータを編集して再トレーニング」があります。パラメータを変更すると、システムは現在のタスクを基に新しいトレーニングタスクを作成し、元のタスクは変更されません。
エラー時の対処
| 現象 | 考えられる原因 | 対処 |
|---|---|---|
| トレーニングタスクを作成できない | トレーニング割り当ての枯渇、データセット未選択、チェックポイント未選択 | 割り当てを申請する。データセットとチェックポイントの選択を完了する |
| トレーニングタスクが失敗 | GPU メモリ不足、データ形式の誤り、パラメータ設定の誤り | batch_size を下げる。データ形式を修正する。パラメータを調整して再トレーニングする |
| ローカル GPU が利用できない | 使用可能な GPU がない | システムが CPU トレーニングへフォールバックした旨を表示します。GPU 設定を確認する |
groot で GPU を選択できない | GPU が Nvidia Ampere 以降のモデルでない | A100 や RTX 4090 などのモデルに変更する |
| トレーニングが中断 | トレーニングノードの障害 | 保存済みのチェックポイント からトレーニングを再開する |
| トレーニングが想定より長くかかる | データ量が多い、モデルパラメータが多い、GPU 性能が不足 | トレーニングのステップ数やデータ量を減らす。より高性能な GPU に変更する |
関連ページ
| ページ | 用途 |
|---|---|
| モデル推論 | チェックポイントを推論サービスとしてデプロイします |
| データエクスポート | LeRobot 形式のトレーニングデータをエクスポートします |
| データ品質検査 | ROS 録画に対する自動品質検査のルール |
| クォータ管理 | トレーニングの回数と時間の割り当ての付与と確認 |
| LeRobot データセットとトレーニング | LeRobot データセットのインポート、可視化、トレーニング |