SB Intuitions ブログ· yama_flush_winter·· 2026年8月7日AIスコア22
Sarashina3のトークナイザとトークン効率:日本語Wikipediaで比較
トークナイズとトークン効率
AIによる概要
SB Intuitionsは、商用APIとして提供開始したSarashina3 miniとSarashina3 nanoについて、トークナイザの効率の良さを紹介した。日本語Wikipedia(約19億文字)のトークナイズでは、GPT-5が約14億トークン、Gemini 3.5が約12億トークンに対し、Sarashina3は約9.5億トークンだった。API料金は入出力トークン数で決まるため、トークン効率は利用料金や消費電力にも関わるとしている。
出典: SB Intuitions ブログ · sbintuitions.co.jp