MRTPO、多報酬RLで各報酬の優位性を関連トークンにだけ割り当てる手法を提案

MRTPOは、多報酬強化学習において各報酬のadvantageをその検証器が確認するトークンにだけ割り当てる手法である。各報酬について方策が自身の応答を検証器情報あり・なしで再生成し、次トークン分布のJensen-Shannon距離から各トークンの関連度を測る。補助モデルやトークン単位のアノテーションは不要で、text-to-SQL、複数制約の指示追従、ツール呼び出しで比較手法より速く収束し、高い性能を示した。