Hugging Face Daily Papers·· 23 時間前AIスコア31
Reviso:ビデオキャプショニングでは全ての視覚的証拠に同じ注意を払う必要はない
Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning
AIによる概要
Reviso は、階層的な計画と能動的知覚によって重要な視覚的証拠を優先するエージェント型ビデオキャプショニングフレームワークである。4つのビデオキャプショニングベンチマークで、評価対象のオープンソースベースラインを上回り、生成されたキャプションはダウンストリームのビデオ質問応答をより良く支える。学習にはGRPOを用い、キーファクト報酬、計画整合報酬(PAR)、非生産的ツール呼び出しペナルティ(UTCP)を組み合わせている。
出典: Hugging Face Daily Papers · huggingface.co