LLMの行動傾向のアラインメントを評価する枠組み

Google Researchは、LLMの行動傾向（behavioral dispositions）が人間の合意とどの程度整合するかを評価する枠組みを示した。25のLLMを状況判断テスト（SJT）で評価したところ、人間の注釈者の意見が全員一致する場合は、小規模モデルとフロンティアのクローズドウェイトモデルがほぼ完全に整合した。一方、合意が90%未満になると整合率は80%台半ばで頭打ちになり、合意がない場面では人間の意見の幅を捉えきれなかった。