Ray Train DLCとEFAでEKS上の分散学習を行う方法

Ray Train DLCは、PyTorch、CUDA、NCCL、EFAネットワークスタック、Rayを一体で検証済みのコンテナイメージで、ビルドなしで複数ノードの分散学習に使える。本サンプルでは、この公開イメージをそのまま用い、2台のg6.12xlargeインスタンス上の8基のNVIDIA L4 GPUでQwen2.5-1.5BをPyTorch FSDPによりファインチューニングする。クラスター構成はRayClusterマニフェストと変数ファイルのみで定義され、EFAはPodがリクエストすればノード間通信に利用される。