Tokyo 30を支えたAWS上のフルマネージドGPUクラスターの構築・運用の実態

チューリングのMLOpsチームは、Amazon SageMaker HyperPod＋Slurm＋Lustreで構築したGPUクラスターを、us-east-1からus-west-2へ移行した。移行の背景には、データセットのあるS3がオレゴンにあり転送料が発生していた問題がある。移行後はGPUノード数が同じでもコストが想定の約2倍になり、割引対象インスタンスなしでクラスターを作成したため割引が無効化されていたことが分かった。