Sakana AI· @SakanaAILabs · X·· 4 時間前AIスコア31
AIによる概要
Sakana AIは、Namazu APIの提供に向けたModalとの推論最適化の取り組みを同社ブログで紹介した。日本語性能を保ったままNVFP4で量子化し、Namazuの出力で学習したドラフトモデルによる投機的デコーディングで、1ステップあたりの受理トークン数を43%向上させた。KV-aware routingにより、応答開始までの待ち時間の急増を解消した。
記事
Sakana NamazuのAPI提供に向けて@modalと進めてきた推論最適化の取り組みが、同社ブログで紹介されました。
https://modal.com/blog/sakana-case-study
・日本語性能を保ったままNVFP4で量子化
・Namazuの出力で学習したドラフトモデルによる投機的デコーディングで、1ステップあたりの受理トークン数が43%向上
・KV-aware routingにより、応答開始までの待ち時間の急増を解消
Modal社の皆さまに感謝するとともに、今後もより速く安定したモデル提供に向けた技術革新を進めていきます。
We worked with @SakanaAILabs to optimize their Sakana Namazu API down to the kernel level: → Selective NVFP4 quantization (23k+ experts) → DFlash draft model trained on raw token streams (+25% acceptance) → In-house prefix KV routing + serverless autoscaling引用元の投稿をXで見る
出典: Sakana AI · x.com