Tencent、770BのMoEモデルHy4をApache 2.0で公開

Hy4 previewは78層で、1層が密結合のフィードフォワード、77層がMoEである。各MoE層は256のルーティング専門家と1つの共有専門家を持ち、トークンごとに8つのルーティング専門家と共有専門家が働く。重みはHugging Face、ModelScope、GitCode、CNBで公開され、BF16に加えFP8版もある。記事は、アクティブ比率が約6.4%になるという試算を自前の計算として示している。

視覚理解は画像処理、複雑なグラフの分析、視覚的な数学的推論の3点で説明されている。低コスト向けのHy4 Flashも、Hy4の視覚理解とエージェント能力を引き継ぐとされるが、仕様や価格は確認できていない。利用経路はTencent Cloud TokenHub、Yuanbao、ima、WeComのAIアシスタントDayuan、WorkBuddy、CodeBuddyで、外部ではOpenRouter、Hermes、OpenCodeが挙がる。WorkBuddyとCodeBuddyのpreviewは、ローンチ後2週間無料である。

ライセンスは商用利用、改変、再配布を認め、特許許諾も含むApache License 2.0である。一方、学習データの詳細は示されておらず、記事はオープンウェイトという表現のほうが正確だとする。自社ホスティングでは、アクティブ49Bでも全770B分のメモリが必要で、FP8でも重みだけで約770GBという試算が示される。長コンテキストではキャッシュも増える。

未確認事項も整理されている。ベンチマークのスコア、正確な順位、公式の価格表、一般リリース版のパラメータ数は、取得できた情報源にない。コンピュータ操作機能やエージェント評価の勝利を伝える第三者の投稿もあるが、公式情報では確認できず、記事は採用していない。サイバーセキュリティ関連の見出しも本文は未取得で、判断を避けている。