本文へスキップ
原文
Hugging Face Daily Papers·· 5 日前AIスコア24

Waypoint-OPD、RL由来の方策変化を早期と後期の一致でゲートして蒸留

Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

AIによる概要

Waypoint-OPDは、同一のRL実行における早期と後期の教師方策の変化の向きが一致するかでエンドポイントの方策変化をゲートし、逆向きの場合は抑制する蒸留手法である。追加コストは凍結した教師による採点パス1回のみで、Qwen3-4B教師からQwen3-8B、Qwen3-14B、Qwen3-30B-A3Bの生徒へ数学とコード推論を転移した6つの設定すべてで、比較した蒸留手法の中で領域平均スコアが最も高かった。Qwen3-8B生徒のアブレーションでは、ゲートを除去またはシャッフルすると数学推論性能が低下した。

出典: Hugging Face Daily Papers · huggingface.co