ELYZA、日本語推論モデル「ELYZA-Thinking-1.0-Qwen-32B」を商用利用可能な形で公開

ELYZA-Thinking-1.0-Qwen-32Bは、Alibabaが公開する非推論モデルのQwen2.5-32B-Instructに、日本語の追加事前学習と長い思考過程を伴うデータによるSFTを施したモデルである。320億パラメータと比較的軽量だが、OpenAIのo1-miniに匹敵する性能を示したという。特に数学系のベンチマークで強く、日英両方でo1-miniを上回るスコアを記録したとされる。

特徴は、すでに高い推論能力を持つモデルに日本語を追加学習したのではなく、非推論モデルに新たにその能力を付与した点にある。AlphaGoでも使われたMCTS（モンテカルロ木探索）に着想を得たアルゴリズムで、思考過程を伴う学習データを探索的に生成し、模倣学習を行った。

併せて公開されたShortcutモデルは、推論モデルが深く考えて得た回答を反射的に答えられるよう暗記させたものである。学習用に探索した（問題、思考過程、回答）の組から思考過程を除いた（問題、解答）ペアでSFTを行って作られた。32Bと7Bの2種類があり、32BはGPT-4oに匹敵し、GPT-4に対してはJHumanEval以外の全ベンチマークで上回るとされる。7Bの性能や開発の詳細はZennの公式テックブログで解説されている。

各モデルはApache 2.0で公開され、研究目的と営利目的の両方で利用できる。ELYZAはELYZA-japanese-Llama-2-7b以来、オープンなモデルをベースにした日本語LLMを構築してきたと述べ、今回、推論モデルの開発にはじめて成功したとしている。今後もAIエージェントを含む研究開発を続け、成果を公開していく方針である。