Metaは、オハイオ州New Albanyのギガワット級スーパークラスタ「Prometheus」で、Muse Wonderを含むMuse基盤モデルを学習したことを明らかにした。Muse Wonderの学習では、事前学習のgoodputが85%以上、強化学習が90%以上で、平均中断間隔は約47K GPU時間である。数十万基規模のGPUでは一部ホストの性能低下が学習全体を遅らせるため、大規模での耐障害性を重視して設計したという。
We trained our Muse foundational models, including Muse Wonder, at Prometheus, our gigawatt-scale supercluster in New Albany, Ohio.
Across a supercluster with hundreds of thousands of GPUs, even one underperforming host can slow an entire training run. We engineered Prometheus for resilience at scale, achieving 85%+ goodput on pretraining, 90%+ on reinforcement learning and ~47K GPU hours mean time between interruptions during Muse Wonder training.
Take a look at the tech powering Prometheus: https://go.meta.me/4yXXApZ
出典: AI at Meta · x.com