日本語特化拡散言語モデル「ELYZA-LLM-Diffusion」の公開

ELYZAは、日本語性能に特化した拡散言語モデル「ELYZA-Diffusion-Base-1.0-Dream-7B」と「ELYZA-Diffusion-Instruct-1.0-Dream-7B」の2種を公開した。両モデルは約70億パラメータで、Apache License 2.0のもとで提供される。初期モデルはDream-v0-Instruct-7Bで、約620億トークンの日本語コーパスによる継続学習と、約1.8億トークンによるInstruction Tuningを行っている。主に研究用途や検証用途での利用を想定している。