Hugging Face Daily Papers·· 2 日前AIスコア32
VibeVideoBench、コードで動画を生成するマルチモーダルエージェントを評価するベンチマーク
VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation
AIによる概要
コードで動画を生成するマルチモーダルエージェントを評価するベンチマークVibeVideoBenchが発表され、上位システムは多くのタスクで核心要件を満たす一方、時間管理の失敗で頻繁につまずくことが示された。英語と中国語の239タスク(12カテゴリ)で9つの最先端エージェントを評価した結果、GPT-6 AstraとClaude Opus 5.5が1位と2位になり、最上位システムは76.3%のタスクで核心要件をすべて満たした。失われた動画の約4分の3は、最終レンダリングの開始が遅れる、処理が遅すぎる、または開始されないことによるものだった。
出典: Hugging Face Daily Papers · huggingface.co