Multiverse Computing、4bit圧縮モデルの回復手法QAHを提案、bfloat16版を9中7ベンチマークで上回る

QAHは、構造圧縮（層、ヘッド、ニューロンの削減）と量子化の後に行う回復工程の手法である。従来のQATはタスク損失で再学習するためコストが高く、学習を続けすぎると不安定になりうる。QADは凍結した全精度の教師を使うが、構造圧縮後は独立に学習された全精度の小型モデルが存在せず、回復済みbfloat16チェックポイントを教師にすると精度がその上限に縛られる。

QAHは回復済みモデルではなく圧縮前の元モデルを教師にし、出力ロジットへのKLダイバージェンスで蒸留する。教師はフルサイズ、生徒は半分のサイズでMXFP4という構成だが、出力分布はアーキテクチャに依存しないため転移できる。量子化段階は、bfloat16チェックポイントが受けていなかった教師の監督を得る2回目の蒸留と位置づけられる。32kトークンまでの長文コーパスには、別論文のチャンク化KLダイバージェンス損失を流用している。

結果では、60B MXFP4のQAHモデルがAA-LCRで42.7（bfloat16版は35.3）、AIME 2025で76.3（同70.7）など7項目で上回った。MMLU-Proは73.8（同74.0）、SciCodeは34.2（同35.6）でわずかに下回った。LiveCodeBenchでは66.5となり、120B教師の66.0も上回り、GPQA Diamondは67.4で教師の69.0に1.6ポイント差まで迫った。

GPT-OSS 9BをMXFP4にした比較では、ピークはQAHが54.9、QATが54.6でほぼ同等だった。QAHは約100ステップでピークに達し、QATの700ステップの約7倍速い。QATはステップ1,200までに約19ポイント低下したが、QAHはピークから約2ポイント以内にとどまった。著者らは、重みメモリがbfloat16の生徒の約4分の1になり、120B教師に比べトークン当たりの計算量も約半分になると述べている。