ライブiOSアプリのUIナビゲーションを学習する、オンライン強化学習によるエージェント

Planning agentとUI Grounding modelに分けた8BのUIナビゲーションエージェントを、実機のiOSアプリ上でオンライン強化学習により直接学習させる手法が提案された。報酬にはLLM-as-a-Judgeによる段階ごとの評価と最終タスクの完了報酬を組み合わせ、PPOとGiGPPOで最適化する。Android環境への汎化ではSFTベースラインに対しほぼ7倍の改善を示し、実機iOSアプリではGemini-3.5-Flashを上回り、Gemini-3.1-Proと同等だった。