NVIDIA GPU、OpenAIのGPT-6 Astra Ultrafastを高速化

GPT-6 Astra Ultrafastは、OpenAIのモデルによる推論最適化とNVIDIA Blackwellアーキテクチャの機能を組み合わせて高速化されている。トークン生成はAstra Standardモード比で最大8倍速い。開発者はAPI経由で今日から利用でき、アクセス方法、価格、実装の詳細はUltrafastガイドに記載されている。

高速化の狙いはコーディングエージェントの編集・テスト・デバッグの周期短縮、ツール呼び出しの合間の応答生成時間の削減、対話型アプリの応答性向上にある。エージェントがコードを書き、ツールを使い、結果を確認して次の行動を決めるという反復の中で、応答の速さが積み重なって効くと説明されている。

OpenAIのインファレンス責任者Philippe Tillet氏は、NVIDIAのツールとドキュメントへの投資により、モデルがBlackwellとRubin GPUのプログラミングに非常に長けるようになったと述べている。OpenAIは自社モデルで、NVIDIA GPU上で動く推論ソフトウェアの改良も進めており、導入後も応答の高速化やインフラの生産性向上が続き得るとされる。