Apple、iOSアプリでUI操作エージェントをオンラインRL訓練

Planning agentとUI Grounding modelに分けた8BのUIナビゲーションエージェントを、実機のiOSアプリ上でオンライン強化学習により直接学習させる手法が提案された。報酬にはLLM-as-a-Judgeによる段階ごとの評価と最終タスクの完了報酬を組み合わせ、PPOとGiGPPOで最適化する。Android環境への汎化ではSFTベースラインに対しほぼ7倍の改善を示し、実機iOSアプリではGemini-3.5-Flashを上回り、Gemini-3.1-Proと同等だった。

Apple Machine Learning Researchより

推移を表示するための継続的な観測データがまだ足りません。