本文へスキップ

ベンチマーク

どのモデルが本当に優れているか。ベンチマーク結果、評価方法をめぐる論争、リーダーボードの変動。

おすすめ2件関連トピックモデル発表研究・論文推論

最新の注目記事

2件中 1〜2件
10月4日日
  1. Hugging Face Blog60

    Microsoft、エージェントをDB状態で採点するThinkingBoxをHugging Faceで公開

    MicrosoftとHugging Faceは、AIエージェントが残すバックエンド状態と副作用で採点するベンチマークThinkingBoxを公開した。507の業務ワークフローを各20回実行し、Claude Opus 5.5がpass@1で67.16%と最上位だった。OpenEnv経由で自分のモデルを評価することもできる。

    選定理由：最終応答ではなくDB状態で採点し、20回反復の一貫性とコストまで数値で比較しており、エージェント評価の設計を考える際の材料になる。

4月24日金
  1. One Useful Thing (Ethan Mollick)80

    Ethan Mollick、GPT-5.5を早期アクセスで実測し進歩と残る凹凸を評価

    Ethan MollickはGPT-5.5に早期アクセスし、AIの急速な改善が続いていると評価した。GPT-5.5 Proは3Dの港町シミュレーションで町の進化を実際にモデル化できた唯一のモデルで、所要時間もGPT-5.4 Proの33分から20分に短縮した。一方、長編フィクションの質など能力の凹凸は残っている。

    選定理由：早期アクセスで実際にタスクを走らせた体験記であり、モデル、アプリ、ハーネスの三層で進歩を捉える見方と、残る弱点が具体例で確認できる。