AWS Trainium上のTorchNeuronをプロファイリング（第1回）：システムレベルの解析

AWS Trainium上のPyTorchバックエンドTorchNeuronで、torch.profilerとNeuronConfigを使ったシステムレベルのプロファイリング手法を解説する。RMSNormを題材に、素のPyTorch演算、torch.rms_norm()、torch.compileの3実装を同一条件で計測し、key_averages()の表とNeuron Explorerでデバイス時間を比較する。