Nathan Lambert、Kimi K3の公開を受けオープンウェイトモデルの現状と政策課題を論じる

Kimi K3は7月16日に公開された2.8TパラメータのMoEモデルで、ウェイトは7月27日に公開される予定とされる。著者はこの約束が守られる前提で論じている。評価面ではVals AI indexで2位、Artificial Analysis Intelligence Indexで3位、Frontend Code Arenaで1位とされ、著者は最強のオープンモデルと見る。敵対的蒸留の寄与はあっても小さいとの見方も示す。

技術面では、Kimi Delta Attention（KDA）とAttention Residuals（AttnRes）を採用し、896のエキスパートのうち16を有効化するMoEのスパース化を進めた。公開資料によれば、Kimi K2と比べてスケーリング効率は約2.5倍になった。著者はこれを手がかりに、中国の研究所は米国より資本効率が高いと論じ、追いかける戦略は先頭を切るより安価だとも述べる。

政策面では、習近平がWAICの基調講演で中国のAIエコシステムをオープンソースと世界への普及に結びつけたことを挙げる。またAlibabaが2.4兆パラメータのQwen 3.8をオープンウェイトで出すと予告したことにも触れる。他方で米国では、Axiosが報じた中国AIラボの規制案があるとして、オープンウェイトの禁止はかえって安全性を下げると主張する。

結論として著者は、オープンモデルが3か月遅れでも9か月遅れでもリスクへの対処期間は短いと述べる。独立した評価能力の整備を重視し、フロンティア級のオープンウェイトモデルが現実になった転換点だと位置づけている。