Import AI 457：fast16マルウェア、Muonオプティマイザのニューロン死、Aurora

Tilde Researchは、Muonオプティマイザの更新則によりMLP層の一部ニューロンが永続的に死ぬ問題を指摘し、代替として「Aurora」を公開した。原文によれば、Muonでは学習率のウォームアップ中に多くのニューロンが死に、500ステップ時点で4分の1超が実質的に死んでいた。1.1Bパラメータのトランスフォーマーを約100Bトークンで学習した小規模実験では、Auroraの最終損失は2.26で、Muon（2.31）やNorMuon（2.33）より低かった。