Google DeepMind、Geminiにエージェント型動画理解を導入、トークン消費を最大88%削減

従来の静的処理では、動画を固定のフレームレート（デフォルト1 FPS、APIで調整可能）で取り込む。エージェント型動画理解では、モデルが目的に応じて、どの区間をどの速度で、フレーム・音声・文字起こしのどれで見るかを自ら決める。内部ツールを呼び出して動画の該当部分だけを読み込むエージェントループで動作し、開発者が手動で行っていた処理を代替する。

効果は10分のハウツー動画から90分の講義、数時間の録画といった長尺動画で特に大きいとされる。Gemini 3.7 Flashはテストしたモデルの中で精度とコストのパレートフロンティアに位置し、品質全体でも最良だという。

主な用途として、1 FPSでは見逃しやすい瞬間的な状態変化やカット境界を捉えるサブ秒単位のモーメント検索、数時間の動画から数百万トークンを使わずに答える長尺検索、注目区間を高いFPSで再サンプリングする異常検知、繰り返し動作や物体のカウントが挙げられている。

利用はAPI設定でprocessingを"agentic"にするだけでよく、料金は通常のGemini APIのトークン料金で機能追加料金はない。Geminiアプリでは、FlashとFlash-Liteモデル向けに近く全ユーザーへ展開予定である。今後数か月のうちに、YouTubeの視聴ページにあるAsk YouTube機能にも採用される予定だ。