TorchNeuron、AWS Trainium上でHFモデルを動かす作業がこれまでになく容易に

TorchNeuronは、AWS Trainium向けの新しいネイティブバックエンドを提供するPyTorchプラグインで、Transformers、Diffusers、Kernelsがこれをネイティブにサポートする。Transformersのテキスト生成では、使用頻度の高いテキスト生成モデルアーキテクチャ上位100件のうち89%がそのまま動作し、Optimum Neuron v0.4.5の46%から拡大した。