ttok 1.0 リリース、デフォルトをGPT-5/GPT-6系のトークナイザーに変更

Simon Willisonが ttok 1.0 を公開し、デフォルトのトークナイザーをGPT-4からGPT-5/GPT-6系に切り替えた。OpenAIはGPT-6が GPT-5系と同じトークナイザーを使うかを未確認だが、William Liuの実験では、GPT-5.5、GPT-5.6、GPT-6の計7モデルが31件のフィクスチャ全てで44,794トークンと一致した。このコーパスでは、GPT-6による入力トークン数の変化は見られなかった。