LLMがニューラルネットの重みを読み書きする研究

中心となるのは、Alex Zhangが共著者に加わった論文である。賢いモデルに、より小さなモデルの重みを直接読ませて編集させるという発想で、PyTorchやJaxのコードを書いて損失曲線を見る従来の学習工程を経ない。筆者はこれをソースコードを見ずにコンパイル済みバイナリの0と1を読むことにたとえ、挙動の把握、失敗トレースからのワンショット修正、50ステップでの改善、重み全体の一括生成の3点を挙げている。一括生成では、独立に学習したモデルを上回る例があるとされる。 筆者は、これは機械的解釈可能性の一種であり、現時点では単純なゲームやRLポリシーより高度なタスクへの拡大は難しそうだと述べる。一方で、RSI（再帰的自己改善）に関わる能力としては0から1に進んだと位置づけ、効率の高さから今後すぐ試されるとみている。独立の再現例も既に出ていると紹介している。 Reddit側の要約では批判も多い。Qwen3.5-0.8BのMATH-500が7.9%から48.1%に上がった件は、重みの0.016%の編集で達成されたとされる。ただしコメントでは、ベースラインの出力の93%がトークン上限に達しており、ループ挙動を除去した効果が大きいという見方が出ている。Gemma 3 270Mでは同様の手法が効かなかったとの指摘もある。 同じ号には、DeepSeekが長寿命のルーターセッションと並列ワーカーからなるsuper-agent harnessの試作版を公開し、自社テストでp95完了時間が29.5分から15.7分に短縮したという話がある。SemiAnalysisのGDPxは206のエージェント型タスクで最高スコアが12%だった。Meta、Reflection、Mistralのオープンウェイトモデルの紹介もある。

Latent Spaceより