i14、Laplace 3BをTrainium2で学習・推論

i14は線形アテンションモデルLaplace 3BをAWS Trainium2上でネイティブPyTorchを用いて学習・提供した。再帰状態はコンテキスト長に関係なくシーケンスあたり29.5 MBに固定される。trn2.48xlargeインスタンス1台での学習スループットは約120,000トークン/秒、1,280の同時シーケンスでの推論出力は11,544トークン/秒だった。

AWS Machine Learning Blogより

推移を表示するための継続的な観測データがまだ足りません。