AWS、PyTorchアプリをTrainiumへ移行できる開発ツールTorchNeuronを公開

TorchNeuronはPyTorchをベースに作られており、PyTorchを知る開発者がそのまま使える。AWSによれば、PyTorchで書かれたAIアプリは設定1行の変更でTrainiumで動き、コードの書き直しは要らない。AWSはAIアプリの約85%がPyTorchで書かれているとしている。PyTorchはFacebookが開発し、2022年からLinux Foundationの下にある。

背景には、NVIDIAがCUDAを通じてPyTorchとの連携を長年整えてきた経緯がある。その結果、NVIDIAのハードウェアはこのツールキットに標準的に組み込まれた状態にある。AMDのGPUやAppleのチップへ設定変更で移せる例もあり、AWSが最初の試みではない。AWSはTrainiumへの移行に加え、AWSのクラウド全体を使える点を差別化として挙げる。

AWS Annapurna LabsのColin Brace氏は、同じチップで学習と推論の両方を担え、クラウド基盤と密に統合されているため、トークン単価が最安でなくても全体のコストは下がると述べた。事例としてAI音声アプリのDeepgramを挙げ、ネイティブのPyTorchでTrainiumへ移行し、同等の本番水準の精度で1ドルあたり70%多くの音声を処理していると説明した。また、CoreweaveやNebiusなどNVIDIAと結びつくneocloudよりスタートアップに適しているとの立場である。

AWSはPyTorch本体に、特定チップに結びつくコードを取り除く変更を提供し、フレームワークをよりハードウェア非依存にする目標を掲げる。記事は、これが開発者の選択肢と手頃な選択肢を増やすのか、設定の手間を増やすだけなのかは今後を見る必要があると述べている。