注目のストーリー進行中
Sakana Namazu API、Modalと推論最適化
1件の報道1件のソース3 時間前更新
これまでの経緯
報道より
Sakana AIは、Namazu APIの提供に向けたModalとの推論最適化の取り組みを同社ブログで紹介した。日本語性能を保ったままNVFP4で量子化し、Namazuの出力で学習したドラフトモデルによる投機的デコーディングで、1ステップあたりの受理トークン数を43%向上させた。KV-aware routingにより、応答開始までの待ち時間の急増を解消した。
SakanaAILabs (X)より
報道タイムライン
報道を追って、ストーリーのさまざまな側面を確認しましょう。
10月24日
- SakanaAILabs (X)Sakana Namazu、推論最適化の取り組みを紹介
Sakana AIは、Namazu APIの提供に向けたModalとの推論最適化の取り組みを同社ブログで紹介した。日本語性能を保ったままNVFP4で量子化し、Namazuの出力で学習したドラフトモデルによる投機的デコーディングで、1ステップあたりの受理トークン数を43%向上させた。KV-aware routingにより、応答開始までの待ち時間の急増を解消した。
このニュースの注目度の推移
推移を表示するための継続的な観測データがまだ足りません。