CodeCap-Bench、動画キャプションとしてのコードの有効性を評価

実行可能なコードを動画キャプションとして用いると、自然言語より質問応答の推論精度と映像再構成の忠実度が高くなることが示された。これを検証するため、構造化された2Dコンテンツの動画323本を5カテゴリに分け、詳細な注釈と多段階評価フレームワークを備えたCodeCap-Benchを提案した。主要な商用MLLMは有望なコードキャプション能力を示す一方、複雑な時間的変化の捉え方には課題が残り、オープンソースモデルは大きく遅れている。