GPU管理：遊休GPUが新たな「地上待機の航空機」になる理由

企業向けAIの次の制約は、モデル性能よりもGPUの稼働率になりつつある。GPUは稼働の有無にかかわらず時間単位で費用が発生するため、有用に使われない時間が収益性を大きく左右する。APIの費用は利用量に比例して増えるのに対し、自社GPUの費用はほぼ固定のため、一定量を超えると自社保有が有利になる。ただし、インフラはピーク需要に合わせて設計されるため、常時稼働していてもクラスター全体の能力は無駄になりやすい。