Block、Claude Fableで数千PR規模のコード移行を統括する手法を語る

Blockでは、コード移行が複数リポジトリ、数百から数千のPR、数百万行のコードに及ぶことがある。従来は人間が作業を調整し、モデルが扱えるのは1件から数件のPRだった。現在は人間のエンジニアが方向を示し、Fableがデータモデル、API仕様、アルゴリズムといった上位の設計を担当する。実際のファイル編集やテスト実行は、最大で数十のOpusやSonnetなど小型で費用効率の高いモデルに任せる。1回の移行で1000件のPRをマージすることもあるという。

初期結果では、オーケストレーターが複雑な事前計画にフロンティアモデルのトークンを使い、その後は小型モデルのトークン比率を高めても品質は下がっていない。この構成はオープンソースの協働ワークスペースBuzz上で動かしている。Buzzは人間とAIエージェントが共有チャンネルやスレッドで作業する場で、進捗の可視化にも役立つとされる。さらに、コードベース全体を毎日または毎週点検して技術的負債を整理するエージェントも使っている。

モデル選択では、全技術職に最先端モデルへのフルアクセスを与える一方、READMEの誤字修正にFableを使うような無駄を避けるため、モデルを提案する自動セレクターを開発している。また、努力レベルも含めた組み合わせを表のように捉え、ユースケースごとに全モデルと全努力レベルをベンチマークしているという。

安全面では、mainへのマージ、本番デプロイ、フィーチャーフラグなどは人間に任せ、セキュリティチェックを通過した上で2人の承認を必須にしている。ネットワークは拒否リストでなく許可リスト方式にし、正規表現や小型分類器など、モデルを介さない低コストなチェックも組み込む。Blockのテストでは、二重承認を回避するよう頼んでもClaudeは拒否したという。最後に、個人が得た知見やスキルをシステム全体に蓄積することが組織の成熟につながると述べている。