AWS、EKS上の分散学習向けRay Train DLCを公開

Ray Train DLCは、PyTorch、CUDA、NCCL、EFAネットワークスタック、Rayを一体で検証済みのコンテナイメージで、ビルドなしで複数ノードの分散学習に使える。本サンプルでは、この公開イメージをそのまま用い、2台のg6.12xlargeインスタンス上の8基のNVIDIA L4 GPUでQwen2.5-1.5BをPyTorch FSDPによりファインチューニングする。クラスター構成はRayClusterマニフェストと変数ファイルのみで定義され、EFAはPodがリクエストすればノード間通信に利用される。

AWS Machine Learning Blogより

推移を表示するための継続的な観測データがまだ足りません。