Apple研究、データ制約下の事前学習ではハイパーパラメータ調整よりバイリンガル混合が有効

研究では、データが限られる低リソース言語の事前学習において、高リソース言語のデータを混ぜる手法がハイパーパラメータ調整より大きく性能を改善すると示された。150Mから1.43Bパラメータの4規模で、アラビア語に英語データを混ぜた約1000回の事前学習を比較し、検証損失と下流タスク精度の両方で混合が優位となった。混合の効果は目的言語の固有データ2〜3倍分（検証損失）、2〜13倍分（下流タスク精度）に相当し、検証損失だけでは混合の価値が過小評価される。