AI推論が残すデータとストレージコストの課題

推論のたびに残るバックエンドデータのストレージコストは見落とされがちである。WDの内部測定では、8秒の720p動画（3.97MB）の生成で、バックエンドに500MB超のデータが残り、出力の130倍に達した。McKinseyは推論需要が2030年まで年平均35%で増え、学習の22%を上回ると予測している。

MIT Technology Review AIより

推移を表示するための継続的な観測データがまだ足りません。