TurnWise、ターン単位の報酬割り当てでストリーミング動画理解の強化学習を改善

TurnWiseは、ストリーミング動画理解向けの強化学習で、応答と待機の各判断にターン単位で学習信号を割り当てるGRPOフレームワークである。ターン内とターン間で平均するトークン損失の算出により、応答と待機の判断を出力長に依らず等しく重み付けする。学習済みcriticや追加のロールアウトを用いず、実験では既存のRL手法を上回ったと示されている。