JEPAによるプラトン的表現仮説の証明と改善

JEPAは、正例ペアが同一シーンの二つの観測（良いビュー）であれば、別々に学習した複数モダリティのエンコーダが一つの回転を除き同じ表現に収束することを証明した。次トークン予測より42倍少ないサンプルで同じ整合性に達し、109Mのテキスト JEPA は最大72Bの言語モデルよりDINOv2・CLIPの画像エンコーダと整合した。

Hugging Face Daily Papersより

推移を表示するための継続的な観測データがまだ足りません。