Google、Gemini LiveにAndroid向け「Guided Vision」を追加

Guided Visionは、Gemini Liveでカメラを共有すると会話形式で視覚情報を読み解く機能である。カメラが高すぎる、近すぎる、横にずれているといった場合には、ゆっくり右へ向ける、下に傾ける、少し下がるなどの声かけで構図の調整を促す。用途として、食品の小さな栄養表示や家電のダイヤルの読み取り、暗いレストランでの印刷メニューの読み取り、床に落ちたイヤホンや調味料棚の黒胡椒の探索、色や柄の確認、見慣れない部屋の概観の説明が挙げられている。

開発はアクセシビリティコミュニティとの協力で進められた。Aira と提携して視覚解釈データを合計で数万時間分用意し、Airaの Trusted Tester ネットワークの1,000人超が日常場面でモデルの検証と改善に参加した。Airaの専門家は安全面のガードレールの策定と評価にも関わった。インド、ブラジル、シンガポール、インドネシア、日本などの視覚障害者コミュニティからのテストとフィードバックも反映され、複数言語での会話に対応する。高齢者や読み書きが苦手な人、暗い場所で細かい文字を読みたい人にも役立つとしている。

起動方法は三つある。Geminiアプリではプロフィール設定で「Use Guided Vision in Live」をオンにし、Gemini Liveでカメラ共有を開始する。Androidの設定のアクセシビリティ内にある視覚補助からGuided Visionのショートカットを設定すれば、フローティングボタン、2本指スワイプ、音量キー同時押しで起動できる。TalkBackでは3本指タップでメニューを開いて選ぶ。

Guided Visionは生成AIであり誤りを含む可能性があるとされる。医療機器や移動補助具、白杖の代わりではなく、ナビゲーションや安全な移動の案内、障害物検知には使えない。利用にはAndroid 9以上が必要で、GeminiアプリとAndroidのシステムソフトを最新にしておく必要がある。