TPUでビデオ拡散のSpatio-Temporal Attentionを高速化

Sparse VideoGen（SVG）の空間・時間マスクによる理論上のスパース性を、TPU上で実際のエンドツーエンドの高速化につなげる手法を解説する。81フレーム720p動画のシーケンス長は人気のオープンソース動画生成モデルで50Kから400Kに達し、720pから1440pへの解像度向上で単一層のAttentionの遅延に占める割合は55.5%から88.2%に増加する。スパース版は単一TPU v6e上のカーネル計測で、クエリ・キーの組の約38.87%を保持して計算する。