日本語ModernBERTの開発: 分析編 (2/3)

日本語ModernBERTの「系列長拡張: Phase 2」におけるマスク率と訓練エポック数の影響を検証した。マスク率15%は30%より平均スコアが高く（88.70対88.54）、JCoLAは約1.2ポイント改善した。Phase 2を3エポックにすると130Mモデルの平均は88.95になり、JCoLAはさらに0.6ポイント上がった。