特許弁護士の実験、AIは若手の成果を即座に高めるがAIなしの判断力は伸びず

実験では、参加者の3分の2がInFlowを使え、残る3分の1はAIなしで作業した。2つのクレーム起草タスクでは処置群のみがInFlowを使い、3つ目のレッドラインでは全員がAIなしで既存の特許ドラフトを批判的に見直した。独立した事務所の弁護士が、権利行使可能性、技術的正確性、戦略的曖昧性、網羅性、明確性の5項目で匿名採点した。起草は即時のAI支援下の成績、レッドラインは内面化した判断力を測る設計である。

起草タスクでは、10日後と90日後のどちらでも処置群が対照群を上回り、5項目すべてで効果が出た。向上は低評価の減少と中間評価の増加によるもので、最高評価はほとんど動かなかった。効果は経験7年未満の若手のほうがシニアより大きかった。

一方、AIなしのレッドラインでは処置群の総合スコアは高かったものの、その優位はすべてシニアによるもので、若手には利点がなかった。若手の結果は二極化し、中間評価が減って低評価と高評価が増えた。著者らは、AIが一部の若手のスキル形成を早め、別の若手では代替したと解釈するが、理由までは実験で説明できないとしている。補足のテキスト分析では、シニアはドラフトを再構成し法的原則に基づいて修正する傾向があり、若手は重大な欠陥に気づいても直さず、AIへの指示のようなメモを残すことが多かった。この傾向は対照群にも見られたため、AI利用による習慣ではなく若手の元からの弱さと見ている。

限界として、サンプルが小さいこと、参加事務所が専門サービス全体を代表しないこと、事前のスキル測定がないこと、3か月という期間が短いことが挙げられている。記事は関連する例として、Anthropicの調査で新しいライブラリをAIの助けで学んだ開発者のテストが17%低かったこと、MIT Media Labの認知的負債の兆候、2023年のBCGの調査でGPT-4により弱いコンサルタントほど大きく改善したことも紹介している。