日本語ModernBERTの開発と評価（1/3）

SB Intuitionsは、日本語と英語合わせて約4.4T tokensを学習した日本語ModernBERTを構築し、HuggingFaceでMITライセンスのもと公開した。パラメータサイズは30m、70m、130m、310mの4種類で、公開時点では同規模の各モデルと比べて最も高い性能を達成したとしている。既存モデルを含む12のデータセットで評価を行った。