LiveMACE：変化する市場におけるLLMエージェント能力の過程重視評価

LiveMACEBenchは、ライブの金融市場で永続型LLMエージェントを評価する、決定トレースを用いたプロセス重視のベンチマークである。5つのフロンティアLLMを30日間評価した結果、実現リターンが能力別の測定値と乖離する「成果と能力のギャップ」が見られた。決定トレースに基づく診断では、能力ごとに異なるボトルネックが示された。