Simon Willison、ノートPC上のQwen 3.8 27Bでもモデルの重みを解釈できると報告

元になったのは、Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabによる論文「Sparks of Weight-Space Programming」である。論文は、GPT-6 Astraが生の重みを見るだけでネットワークの学習内容を把握し、重みを直接編集できると主張している。Willisonは論文を、ツールなしで重みを読む能力と、コードを使って他のモデルを改善する能力の2つに分けて考えるべきだとし、前者に焦点を当てた。

実験は、10x10グリッド版のBreakout、Pong、Pac-Man、Freewayで強化学習したネットワークの重みを浮動小数点の数値としてモデルに渡し、どのゲームかを答えさせるものである。コード実行や電卓は使えず、1回の応答で答える条件になっている。プロンプトは論文のGitHubリポジトリ RikiyaT/lm_understand-logs に公開されており、Willisonは自作のLLMツールの -f オプションにURLを渡して実行した。

Kimi K3.1 ProはOpenRouter経由でBreakoutを9分41秒、19,493トークンの推論で正しく答えた。Qwen 3.8 27Bは約17GBのバージョンをLM Studioで動かし、長いコンテキストウィンドウを設定して実行した。既定の8192では失敗したという。タイムアウトも環境変数で延長している。

Qwen 3.8 27Bの結果は、Pac-Manが46分12秒、43,506トークンで信頼度72%、Pongが1時間4分54秒で75%、Breakoutが52分25秒で88%だった。Freewayは執筆時点で処理中だった。推論の過程は人間にはほぼ読み取れない内容だが、十分に経験を積んだ人がメモと鉛筆で時間をかければ到達できるとWillisonは見ている。論文は面白いと評価しつつ、周囲の過度な論調には同意せず、ソースコードの時代が終わるとまでは言えないとしている。