AWS Machine Learning Blog· Kevin Shabahang·· 3 時間前AIスコア34
i14、線形アテンションモデルLaplace 3BをAWS Trainium2とネイティブPyTorchで学習・推論
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AIによる概要
i14は線形アテンションモデルLaplace 3BをAWS Trainium2上でネイティブPyTorchを用いて学習・提供した。再帰状態はコンテキスト長に関係なくシーケンスあたり29.5 MBに固定される。trn2.48xlargeインスタンス1台での学習スループットは約120,000トークン/秒、1,280の同時シーケンスでの推論出力は11,544トークン/秒だった。
出典: AWS Machine Learning Blog · aws.amazon.com