本文へスキップ
原文
SB Intuitions ブログ· yama_flush_winter·· 2026年8月7日AIスコア22

Sarashina3のトークナイザとトークン効率:日本語Wikipediaで比較

トークナイズとトークン効率

AIによる概要

SB Intuitionsは、商用APIとして提供開始したSarashina3 miniとSarashina3 nanoについて、トークナイザの効率の良さを紹介した。日本語Wikipedia(約19億文字)のトークナイズでは、GPT-5が約14億トークン、Gemini 3.5が約12億トークンに対し、Sarashina3は約9.5億トークンだった。API料金は入出力トークン数で決まるため、トークン効率は利用料金や消費電力にも関わるとしている。

出典: SB Intuitions ブログ · sbintuitions.co.jp