Differential Transformer V2の発表と、V1論文からの差分の整理

Hugging FaceでDifferential Transformer V2が発表された。V2はV1の推論速度低下（約6〜12%減）と学習の不安定性を解消する改良とされ、Query側のヘッド数を2倍にしてKey/Valueは増やさず、FlashAttentionを1回呼び出した出力を偶数・奇数ヘッドで分けて差分を取る構成になっている。