ELYZA、llm-jp-4ベースの推論モデルELYZA-Thinking-1.0-llm-jp-4を公開 学習方法と評価結果を解説

学習はMid-training、SFT、RLの3段階で構成される。Mid-trainingでは、数学、コーディング、STEM、エージェント能力の思考過程付きデータ約53B tokensと長文系列10B tokensの計約63B tokensを次トークン予測で学習した。問題を日本語へ翻訳し、gpt-oss-120bで思考過程と回答を生成している。Mid-trainingの有無だけを比べると、総合スコアは49.9から52.9に上がり、数学は平均+11.5ポイント、コーディングは+9.8ポイントだった。

SFTは数百万件規模のthinking付き対話データを日英ほぼ半々で使い、OpenAI Harmony互換形式に統一した。複数制約の指示追従データは、全制約をプログラムで検証できた回答のみを採用し、ふりがなや漢数字など日本語固有の制約には独自の検証器を実装した。数学やSTEMの日本語比率は4割前後まで引き上げている。llm-jp-4-thinking-sft-dataのみを用いた場合と比べ、総合スコアは46.9から52.9に上がった。

RLは約10万件の検証可能な問題にDAPOを適用した。報酬は数学がLLM-as-a-judge、コーディングが単体テスト、指示追従がルールチェッカー、エージェント能力がAST一致などである。SFTで教師モデルが安定して解けなかった問題をRLの難問として引き継ぐ設計をとった。結果として総合スコアは52.9から58.5に向上し、日本文化・知識、指示追従、エージェント能力で効果が大きかった。

評価は7つの能力群、計20ベンチマークで行った。33B版の総合スコアは61.7で、32B-A3B版を3.2ポイント上回り、LLM-jp-4系のPost-training済みモデルの中で高い水準にある。グローバルモデルとの比較では、今年公開されたモデルには劣るが、2025年公開の前世代モデルと同等以上の水準で、日本語ベンチマークで相対的に強い。一方、エージェント能力などには改善の余地が残り、Harmony Parserが並列ツール呼び出しに対応していない点も課題として挙げている。

今後はこのパイプラインを土台に、データ設計や学習・評価の判断といった工程を、人による監督と安全性の検証を組み込みながら段階的にAIへ委ねていく方針である。