Turing、S3直接読み出しと先読み設計でPB級データの大規模GPU学習を高速化

Turingのmlopsチームは、学習時にS3から動画データを直接読む構成へ移行し、学習データ量をクラスタのストレージ容量から切り離した。計測では20ノードで約483 GB/sの帯域が出た一方、S3のレイテンシ中央値は約140 msで、先のバッチをRange GETで先読みしてCPUメモリに貯め、この待ち時間を隠した。これによりステージングの待ち時間と容量の上限なしで、S3上のデータをそのまま学習に使えるようになった。