オープンモデル推論の市場規模を推計、Baseten・Fireworks・Together AIの公開データから見る

オープンモデル推論の公開トークン量は、Baseten、Fireworks、Together AIの開示データで、ほぼ指数関数的な成長を示している。Fireworksは、顧客のカスタマイズモデル向けに1日40Tトークン超を処理していると発表し、この領域は今夏から2倍超に伸びたとしている。Googleの決算資料に示されるトークン量と比べ、閉じたモデルとの規模差も検証する。