注目のストーリー進行中
AWS TrainiumでQwen3を学習する手順
1件の報道1件のソース5 時間前更新
これまでの経緯
報道より
単一のtrn2.48xlarge上で、torchtitanを使ってQwen3を学習する3つの構成が示されている。Transformers v5をモデリングバックエンドとして使う方法、torchtitanネイティブのQwen3に切り替える方法、NKIのMoEカーネルとoverride registryを組み合わせる方法の3通りである。Qwen3-4B-Instruct-2507では、公開重みから開始した場合の1ステップ目の損失が6.54、ランダム初期化では12.43と報告されている。
AWS Machine Learning Blogより
報道タイムライン
報道を追って、ストーリーのさまざまな側面を確認しましょう。
10月22日
- AWS Machine Learning BlogtorchtitanでQwen3をAWS Trainium上で学習する方法
単一のtrn2.48xlarge上で、torchtitanを使ってQwen3を学習する3つの構成が示されている。Transformers v5をモデリングバックエンドとして使う方法、torchtitanネイティブのQwen3に切り替える方法、NKIのMoEカーネルとoverride registryを組み合わせる方法の3通りである。Qwen3-4B-Instruct-2507では、公開重みから開始した場合の1ステップ目の損失が6.54、ランダム初期化では12.43と報告されている。
このニュースの注目度の推移
現在の注目度 9·比較可能なピーク 10（10月22日 06:00）·24時間の比較可能な増減 –
推移は、継続的かつ完全に観測できたアカウントのみを比較しているため、現在の注目度の数値より範囲が狭くなる場合があります。ポインターを動かすかグラフをタップすると、1時間ごとの注目度を確認できます。キーボードでは左右の矢印キーを使います。