知識蒸留のコストを下げる、オフラインTop-K logitsと融合チャンク化KL損失

教師モデルのTop-K logitsを事前にオフラインで計算してキャッシュし、語彙全体×系列長の行列を作らない融合チャンク化KL損失と組み合わせることで、知識蒸留の学習コストを削減する手法が示された。gpt-oss-120b（語彙201,088）、系列長32K、バッチサイズ4の場合、従来のDense KLは1回の学習イテレーションでピーク約250GBのVRAMを要するのに対し、融合チャンク化KLは約128GBに抑えられる。これにより、単一GPUでの長文コンテキストの回復（healing）が可能になる。