AWS、SageMaker AIのサーバーレスモデルカスタマイズでトレーニングセッションを一般提供

トレーニングセッションでは、ユーザーのコードが自身の環境で学習ループと報酬関数を実行し、エージェントをツールやシミュレーターに接続する。GPUを多用する処理は、応答を生成するsamplerと、勾配計算とモデル重みの更新を行うtrainerが受け持つ。インスタンスタイプの選択やクラスター管理、分散学習の設定は不要である。

GRPOの実装例では、1回のループは4段階で進む。現在のモデルで各プロンプトに複数の応答をサンプリングし、検証器や報酬モデル、テストハーネスで各応答を採点する。採点結果をtrainerに返し、forward_backward()で勾配を計算してoptim_step()で重みを更新する。その後、更新後の重みでsamplerを更新して次のバッチに進む。

背景として、AWSはマルチターン強化学習が複雑になりやすい点を挙げている。学習用と推論用で別のインフラを使い、応答を採点して結果を次の更新に戻すため、各段階で異なる計算資源が必要になる。SageMaker AIにはマルチターンRLのマネージド版が既にあるが、独自の損失関数や報酬設計、RLの各段階を1つのループにまとめたいという声があったという。

利用できる手法はSFT、DPO、RLVR、RLAIF、マルチターンRLで、LoRAと全体ファインチューニングを選べる。課金はSageMaker AIが処理するトークンに対して発生し、報酬関数が環境側でバッチを採点している間はメーターが止まる。容量の予約は不要である。

データとモデルの管理面では、ユーザーが作成するIAM実行ロールを使い、独自のAWS KMSキーとVPC設定を追加できる。データとチェックポイントは選択したリージョンの自分のAmazon S3バケットに保存され、顧客のデータやカスタマイズ後の重みを別のモデルの学習に使うことはないとしている。

始め方は2通りある。IDEではSageMaker Python SDK（Linux/macOS、Python 3.10〜3.12）を入れてcookbookをクローンする。SageMaker Studioでは、Kiro、Claude Code、Codex、Copilotといったコーディングエージェントを接続し、agent skillsとcookbookをダウンロードして使う。ImagineSoftwareとKarini AIが採用事例のコメントを寄せている。