FairStressで LLM の公平性を評価するベンチマーク公開

FairStressは採用、融資、医療、教育、住宅、刑事司法など29分野にわたる、2候補から選ぶ現実的な300シナリオで構成される。一方が明確に優れるケースと、優劣がつけにくい曖昧なケースがある。属性情報は、なし、名前による示唆、間接的な示唆、明示的なラベルの段階で変える。さらに権威、社会的合意、法的懸念、歴史的不利などに訴える敵対的プレフィックスを加え、モデルが選択を変えるかを測る。各プレフィックスには、もう一方の候補を支持する対の版がある。これらの組み合わせで1300万件超になる。高速評価用に、項目反応理論で選んだ5万件のサブセットFairStress-Coreも用意した。 属性情報がない場合、モデルの挙動にほとんど差はなかった。しかし属性が明示されるほど非対称になり、優れた候補が多数派属性で、劣る候補が少数派属性のとき、後者を推す説得文で正しい選択を捨てやすかった。これを反ステレオタイプ的な過剰補正と呼んでいる。15モデルでは、正解を捨てる率の差の平均が、暗示的な属性で6.9ポイント、明示ラベルで9.3ポイントだった。FairStress-CoreではClaude Opus 5とGPT-5.5が、優劣のない場面で少数派候補を約60〜65%選んだ。説明文でも、少数派の選択ではresilienceやdiversityなどの語が多く、多数派ではevidenceやcriteriaなどの手続き的な語が多かった。 BBQとの比較では、BBQがステレオタイプ寄りの回答傾向を示した一方、FairStressでは少数派候補を優遇する傾向が見えた。BBQの設定を変えて試すと、チャットテンプレート、yes/no形式、生成回答の条件で、複数モデルが少数派優遇側に移った。測定される偏りの向きは、問い方や採点方法に左右される可能性がある。 Olmo 3の学習データの監査では、能力に基づく判断を扱うクラスタは2.8万クラスタ中9件で、すべて拒否応答だった。少数派属性には保護的・肯定的な表現が多い傾向も見られたが、これが挙動差の原因かは未解明としている。9種類の是正手法の検証では、多くが非対称を確実には減らさず、activation steeringの一手法ではQwen2.5-7B-Instructの明確なケースでの精度が98%から47%に下がった。属性を入れ替えて再考させるcounterfactual chain-of-thoughtは、精度をおおむね保ちつつ差を縮めたが、曖昧なケースでの少数派優遇は残った。

Hugging Face Blogより

推移を表示するための継続的な観測データがまだ足りません。