SageMaker AIがtraining sessionsを一般提供開始、訓練ループを自作可能に

AWSは2026年10月23日、Amazon SageMaker AIのサーバーレスモデルカスタマイズでトレーニングセッション（training session APIs）の一般提供を始めた。ユーザーのコードが自分の環境で学習ループと報酬関数を実行し、エージェントをツールやシミュレーターに接続できる。GPUを多用する処理は、応答を生成するsamplerと、勾配計算と重み更新を行うtrainerが担う。インスタンスタイプの選択、クラスター管理、分散学習の設定は不要である。 仕組みの特徴は、アルゴリズムではなく計算資源を抽象化する点にある。モデルはライブでステートフルなセッションのGPU上に載ったままで、ユーザーが必要な回数だけ呼び出しを重ねる。ベースモデルとLoRAアダプターの読み込み、分散実行、勾配同期、障害復旧、テナント分離はサービス側が処理する。クライアントはServiceClient、TrainingClient、SamplingClientの3種類で、アクティブなセッションはOpenAI互換のチャット補完エンドポイントも提供する。位置付けは、設定のみのServerless Model Customizationより制御度が高く、SageMaker Training JobsやHyperPodより運用負担が小さいとされる。AWSは背景として、マルチターン強化学習では学習用と推論用で別のインフラが必要になり複雑化しやすいこと、マネージド版では独自の損失関数や報酬設計に対する要望があったことを挙げている。 GRPOの1回のループは4段階で進む。現在のモデルで各プロンプトに複数応答をサンプリングし、検証器や報酬モデル、テストハーネスで採点し、結果をtrainerに返してforward_backward()で勾配を計算、optim_step()で重みを更新し、その重みでsamplerを更新する。各GPU呼び出しはfutureを返すため並列に処理できる。利用できる手法はSFT、DPO、RLVR、RLAIF、マルチターンRLで、LoRAと全体ファインチューニングを選べる。課金はトークン処理量に基づき、報酬計算やデータ読み込み、デバッグが手元で行われている間はメーターが止まる。容量の予約は不要である。 公開された例では、GSM8KでGPT-OSS 20BのLoRAアダプターをGRPOで訓練し、10ステップ、40問でホールドアウト精度が56%から75%に上がった。実運用に近い例としてcookbookのcode_rlレシピがあり、DeepCoderの競技プログラミング問題をSandboxFusionで単体テストにかけて採点する。GPT-OSS 20Bを50ステップ訓練し、訓練報酬は0.46から0.60、200問のテスト精度は40%から50.5%になった。cookbookにはTulu 3やUltraChatでのSFT、KTOによる選好アラインメントなどもある。 データ管理では、ユーザーが作成するIAM実行ロールを使い、独自のAWS KMSキーとVPC設定を追加できる。データとチェックポイントは選択したリージョンの自分のAmazon S3バケットに保存され、顧客のデータやカスタマイズ後の重みを別のモデルの学習に使わないとAWSは説明している。始め方は、IDEでSageMaker Python SDK（Linux/macOS、Python 3.10〜3.12）を入れてcookbookをクローンする方法と、SageMaker StudioでKiro、Claude Code、Codex、Copilotなどのコーディングエージェントを接続する方法がある。ImagineSoftwareとKarini AIが採用事例のコメントを寄せている。

報道をもとにAIが作成しました・57 分前更新

推移を表示するための継続的な観測データがまだ足りません。