LLMエージェントにおけるマルチターン強化学習の効果の検証

マルチターンのエージェント型強化学習は、対話ターンの上限が厳しくなると性能向上が大きく縮小し、十分なターン予算に依存することが示された。単一ステップの判断品質を一様に高めるわけではなく、その効果はエラーからの回復と長期タスクでの頑健性に集中する。提案手法のBudgetMix RLは学習中に対話予算を変動させ、多様な実行設定で頑健な性能を示したとされる。