ACT3D、強化学習で視覚言語モデルが3D空間を能動的に探索することを学習

ACT3Dは、単一の一人称視点画像から3D環境を能動的に探索するよう強化学習で訓練された視覚言語モデル（VLM）であり、6つの3Dベンチマークの平均精度53.2%を達成して、ベースのQwenモデルを22.0%上回り、プロプライエタリモデルのGemini 3.6 Flashも超えた。既存のオープンソース3D手法より入力フレームを50〜70%少なくしながら上回り、未知のドメインでも教師ありの初期化モデルより平均5.9%改善した。ベースモデルに対する改善幅は、初期視点で答えられる質問の0.6%から、広範な探索を要する質問では16.3%に拡大した。