Turing 技術ブログ（Zenn）· Kazuki Odo·· 20 日前AIスコア33
FSx for LustreのI/O問題をAWSと切り分けた記録、Turingが通信経路とロックを調査
Full-Managed のその奥は？ FSx for Lustre の I/O 問題を AWS と一緒に切り分ける
AIによる概要
Turingのインフラチームは、AWS上のGPUクラスタでGPUが認識されているのにマルチノード学習が進まない問題を、Amazon FSx for LustreのI/O障害として調査した。通信経路の障害、メタデータのロック競合、特定の格納先でのI/O停止に切り分け、LNet-over-EFA経路が4回再発したため、FSxクライアントのEFA経路を無効化してTCPへ固定した。ただしその後もI/O失敗は残り、根本原因の調査は継続している。
出典: Turing 技術ブログ（Zenn） · zenn.dev