IQuest-Q1、エージェント型コーディング向けMoEモデルを公開

IQuest-Q1は、総パラメータ320B（活性化15B）のスパース型MoEによるエージェント向け基盤モデルであり、事前学習、中間学習、事後学習の多段階学習によりエージェント型コーディングと汎用能力の強化を図る。事前学習ではStable SplitNorm、Muon、muPを組み合わせ、事後学習ではSFT、ドメイン特化RL、MOPDを複数のスキャフォールドで用いる。各段階のチェックポイントとエキスパートはモデルマージで統合され、オープンソースモデルとして公開された。

Hugging Face Daily Papersより

推移を表示するための継続的な観測データがまだ足りません。