Turing、eGPUで車載のエッジ推論能力を強化

Turingは自動運転の車載計算機NVIDIA Jetson AGX Orinに、OCuLink経由でRTX4090などのGPUを接続するeGPUシステムを運用している。FP32推論時間はOrinの95.9 msに対し、RTX4090は18.3 ms、RX 7900 XTXは32.9 msで、データ転送の2.3 msを加えても高速である。推論エンジンにはユーザー空間ドライバで動くOSSのtinygradを使い、NVIDIAとAMDのGPUを切り替えて使える。