Thinking Machines Lab、画像・音声・テキスト対応のオープンモデルInklingとInkling-Smallを公開

Inkling はデコーダのみのマルチモーダル Mixture-of-Experts モデルで、総パラメータ975B、アクティブ41B、エキスパート数は256である。45兆トークンのテキスト、画像、音声、動画で学習され、位置情報にはRoPEではなく相対アテンションを使う。スライディングウィンドウと全域アテンションを5:1で交互に配置し、SConv と呼ぶ短い1D畳み込みも備える。ルーティングは6エキスパートの選択に加え、常時有効な共有エキスパート2つで構成される。画像は階層型MLPのパッチ化、音声は100msごとに離散化したメルスペクトログラムで処理し、動画の性能は未評価としている。

重みはBF16とNVFP4で提供され、投機的デコード用のMTPドラフターも付属する。必要VRAMはBF16で2TB、NVFP4で600GBである。transformers、SGLang、vLLM、llama.cpp が初日から対応し、transformers 5.14.0 が同日にリリースされた。Unsloth は1ビットのGGUFを用意しており、VRAMを95%削減、約74.2%のtop-1%精度を維持しつつサイズは86%小さいとされる。Inference Providers でも利用でき、リリース後2時間は推論コストを負担する。音声対応は作業中である。

Inkling-Small は同じアーキテクチャで、MXFP8とNVFP4の重みに対応する。NVFP4版は180GBで、B300 1枚または H200 2枚で動かせる。Inference Endpoints では RTX PRO 6000を8基使う構成が検証済みで、稼働1時間あたり22ドル、未使用時はゼロにスケールする。単一ユーザーで140 TPS（記事冒頭では最大160 TPS）が得られる。

記事では画像と音声の推論を簡易評価している。画像では、まずOCRで文字を起こしてから各選択肢を評価する流れが見られ、推論エフォートはmediumが効率的だとしている。音声はBigBenchAudioやGlobeAudioの例で試され、画像よりトークン消費が少なかった。ポストトレーニングには Thinking Machines の tinker と OpenEnv を使い、蒸留には TRL の GOLD アルゴリズムの例が紹介されている。ベンチマーク表では HLE、SWEBench Verified、MCP Atlas、MMMU Pro などを、他の公開モデルと比較している。