PyTorchのプロファイリング（第3回）、Attentionをプロファイルする

Hugging Faceのブログ連載「Profiling in PyTorch」第3回では、Attentionを素朴に実装したモジュールをプロファイラで解析する。out-of-placeのmasked_fillをin-placeのmasked_fill_に変えると、GPU上のMemcpyカーネルが消え、forward1回ごとに1つのカーネルが削減される。