torchtitanでQwen3をAWS Trainium上で学習する方法

単一のtrn2.48xlarge上で、torchtitanを使ってQwen3を学習する3つの構成が示されている。Transformers v5をモデリングバックエンドとして使う方法、torchtitanネイティブのQwen3に切り替える方法、NKIのMoEカーネルとoverride registryを組み合わせる方法の3通りである。Qwen3-4B-Instruct-2507では、公開重みから開始した場合の1ステップ目の損失が6.54、ランダム初期化では12.43と報告されている。