長期的なエージェント型強化学習のためのTreeOPSD

TreeOPSDは、Criticを用いず木構造を考慮した事後自己蒸留により、長期的な対話タスクにおける言語モデルエージェントの強化学習を可能にする手法である。各対話ターンを木のノードとして扱い、終端報酬を遡ってターン単位のクレジットを推定したうえで、凍結した行動方策に対する尤度比で定まる有界な教師分布に変換する。Qwen3-30B-A3B-Thinking-2507では、Deep Research設定においてGRPOに比べ平均精度が4.97ポイント向上した。