Apple、三モーダルMasked Diffusion Modelsの設計空間を大規模に分析

Appleの研究者らが、テキスト、画像とテキストの組、音声とテキストの組で事前学習した初の三モーダルMasked Diffusion Models（MDM）を提示し、その設計空間を体系的に分析した。予備モデルは3B規模・6.4Tトークンで、テキスト生成、T2I、T2Sの各タスクで強い結果を得たとしている。また、物理的なバッチサイズと論理的なバッチサイズを分離するSDEベースの再パラメータ化により、最適バッチサイズの調整を不要にしたと報告している。