NVIDIA、フルスタック・コデザインでAIのメモリ課題に対処する方法

NVIDIAは、GPU・CPU・ネットワーキング・ストレージ・ソフトウェアを一体で設計するフルスタック・コデザインにより、AIファクトリーのメモリ圧力に対処する。Blackwell UltraからVera Rubinへの移行でGPUあたりのHBM容量は約3%増にとどまる一方、SemiAnalysis AgentXにおけるエージェント型スループット対ドルは最大30倍に向上したとしている。NVFP4によるモデルウェイトとKVキャッシュの削減、NVIDIA Dynamoによる非アクティブなコンテキストのNVIDIA CMXへの退避を組み合わせる。