Legora CTOのJacob Lauritzenが語る、弁護士向けAIエージェントの構築と評価

Legoraはストックホルムの地下室で、ChatGPTとスウェーデン法、検索ツールを組み合わせた製品から始まった。現在のエージェントはWord文書の作成と編集、数千件の契約の一括レビュー、弁護士、顧客、他のエージェント間の作業調整を担う。4月に年間経常収益（ARR）が1億ドルを超え、顧客は1,800社以上、今年の買収は5件目のWexlerを含む。

評価の面では、顧客がアップロードするデータは機密で、多くは法律事務所の依頼人のものであるため、トレースを読めない。そこでエンジニア3人と弁護士3人のチームが、1万ファイルのデータルームでデューデリジェンスを行い赤旗を拾うといったRL環境を作り、実務領域とタスクごとのヒートマップで新モデルの得意不得意を追う。本番では失敗を10〜20種類に分類し、安価なLLMベースのチェックをフィーチャーフラグの裏で動かしている。インフラは当初、法律事務所がAWSやGCPを受け入れなかったため、承認済みベンダーのMicrosoft経由でAzureに統一している。

モデルについては、弁護士にSonnetやOpusの選択を任せるべきではないと考え、モデルピッカーの導入には長く抵抗したという。法務業務の約60%はすでにモデルが十分にこなし、残りは100万トークン級の契約にまたがる複雑な分析や編集で、より高い知能が必要とされる。特定タスクではオープンウェイトモデルのポストトレーニングも始めている。ハルシネーション対策として、出力にはすべて出典PDF内の該当箇所を示す引用を付ける。

製品はプロジェクト、エージェント、Tabular Review、リストといった少数の基本部品の上に作られている。Tabular Reviewは行が文書、列が質問の表形式で、最大100万セルまで対応し、まず10行で試してからプロンプトを直せる。リストはNotion風のデータベースで、エージェントがリストを作成、参照し、リストの変更がエージェントを起動する。Slack経由のintakeボットも同じ部品で動く。

人員面では、弁護士出身で多くはCS学位も持つ約100人のlegal engineerがコードを書かずに製品を構成し、forward deployed engineerは顧客のCRMや文書管理システムとの連携を実装する。Jacobは今後、数か月ずつ顧客に常駐するFDEのローテーションを想定している。2年後には大企業がClaude Cowork経由でLegoraを使い、法律事務所はLegora内で働く姿を見ており、ラボ各社が締め出すとは考えていない。