On-policyのはずがOff-policyになる：LLM強化学習のrollout mismatchと対策（rollout correction）

GRPOなどのLLM強化学習では、Rolloutを行う推論backendと学習backendの差によってPolicyがずれる。ABEJAはQwen3-4Bを使い、vLLMとtransformersの確率を比較して実測した。約3900tokenのうち81.1%は確率差0.001未満で一致した一方、差0.10以上も0.3%あり、最大は0.215だった。補正策としてtoken-level IS、truncated IS、幾何平均、rejection samplingが挙げられている。