学習率減衰なしの事前学習LLMにより、下流タスクで高い性能（ICLR 2026）

学習率を減衰させず最大学習率を保つWarmup-Stable-Only（WSO）スケジューラで事前学習したLLMは、SFT後の下流タスク平均スコアでWSD、Cosine、Linearを上回った。Llama 3アーキテクチャの1Bおよび8Bモデルの両方で一貫して最高性能を示し、中間学習を挟む3段階の設定でも同様の傾向が確認された。減衰型スケジューラのモデルは事前学習中のSharpnessがWSOの2〜3倍で、論文はこの平坦さがSFTへの適応性を支えると考察している。