OpenMobile-2、110以上のアプリで学習したオープンなスマートフォンエージェントを公開

実アプリでの学習は、ログインや実際の購入が絡み、状態をリセットできないため、コストが高く再現も難しい。そこで研究チームは、Taobao、JD、DiDi、Meituanなど主に中国で普及する35のアプリと、SlackやGoogle Driveといった世界的なサービスを再構築した。既存のシミュレーションやAndroidエミュレータ上のアプリと合わせ、練習環境は110以上のアプリに及ぶ。各シミュレーションは自動で初期状態に戻り、エージェントはスクリーンショットだけを見て操作する。この環境から約11,600件のワークフロー例と、自動で成否を判定できる2,000件超のタスクを生成した。教師モデルにはGemini 3.1 Proを使っており、閉じたモデルから学ぶ形になっている。

ベンチマークでは、27B版がAndroidWorldで67.1から79.9ポイント、9B版が54.3から74ポイントに向上した。前世代のOpenMobile-1は64.7だった。複数アプリにまたがる長いタスクのMobileWorldでは、27B版が35.9から50.4ポイントになった。実機のSPA-Benchでは27B版が31.9から59.6ポイントに上がり、研究者はオープンモデルで最高の値だとしている。

データ量を一定にしてアプリ数だけを増やすと、未知のアプリでの成功率は60.7%から67.5%に上がった。同じデータ予算なら、少数のアプリの例を増やすよりアプリの多様性が効くという結果である。強化学習の上積みは限定的で、主に学習環境に近い条件で効いた。AndroidWorldでは27B版が80.8から79.9ポイントへわずかに下がった。

実験的な要素として、50以上のシミュレーションアプリが「カートに追加」のような直接コマンドを備え、エージェントは画面操作とこれらを使い分ける。訓練なしではショートカットがほとんど使われないが、学習後は最大10.3ポイント多くのタスクを解き、ステップ数も約5減った。学習時に見ていないツールにもこの能力が移るという。ただしこうしたインターフェースはシミュレーションアプリにしかなく、研究者自身も手法を実験的と位置づけている。独自の215タスクのベンチマークは、実行前後のアプリ内データをプログラムで比較して成否を判定する。