AdaExploreBench、LLMエージェントの探索適応力を評価

AdaExploreBenchは、LLMエージェントが隠れた環境ルールを能動的に発見し、通知なく変化するルールに適応できるかを評価するベンチマークである。8つのLLMによる実験では、GPT-6 Solでも較正済み精度は61.9%にとどまり、十分な証拠を与えるかルールのドリフトを取り除くと平均性能が約10%向上する。エージェントは有用な証拠があれば推論できるが、適切な証拠を能動的に取得することや、以前の知識が無効になったと認識することに苦戦する。

Hugging Face Daily Papersより

推移を表示するための継続的な観測データがまだ足りません。