本文へスキップ

#DeepSeek

本日0件
10月14日水
  1. Hugging Face Daily Papers38

    BizBench:実業務で長期間エージェントを運用する際の隠れた課題を検証するベンチマーク

    BizBenchは、決済企業の実業務手順に基づき、長期間タスクを実行するエージェントの途中経過の実行妥当性を評価するマルチターン型ベンチマークである。フロンティアモデルでも目標の部分的な達成に比べて制約違反が多く、Claude Opus 5とGPT-6 Solの厳密な成功率はそれぞれ64.0%、61.3%にとどまる。Qwen3.8-27Bは目標達成率が42.0%だが厳密な成功率は32.7%に下がり、結果のみの評価では無効な実行が見えなくなることを示している。

10月12日月
  1. Import AI45

    Import AI 476:視覚的直観推論ベンチマークHSS、宇宙へ向かうAI競争、AIの研究センス

    ElorianとScale AIが、視覚シーンが暗示する情報の推論力を測るベンチマーク「Humanity's Sixth Sense」を公開した。人間のpass@1が93.1に対し、最高のGPT 6 Astraは53.6、GLM-5.3-flashは26.8、Kimi K3は25.5だった。ほかに、宇宙でのAIの優位性を論じたAI Frontiersの記事と、AIの研究センスを測るTasteValも取り上げている。

8月19日水
  1. Hugging Face Blog50

    ALTK-Evolveで見るAIエージェントの最適なメモリ量

    AIエージェントに与えるメモリ量は、モデルの能力に応じて調整する必要がある。ALTK-Evolveはエージェントが過去の試行から抽出したガイドラインを推論時に注入する仕組みで、重みの更新は行わない。強いモデルのDeepSeek-V3.2(671B MoE)は全ガイドラインを与えた場合にタスク完了率(TGC)が+9.5ポイント向上した一方、gpt-oss-120b(117B MoE)は厳選した検索型の注入で+16.1ポイント向上し、トークン増加は+5%にとどまった。GLM-5では測定可能な改善は見られなかった。

7月20日月
  1. Import AI72

    Import AI 465:オープンと非公開モデルの差の縮小、Kimi K3、Demis Hassabisの規制案

    Import AI 465は、英国AISIの分析でサイバー能力におけるオープンウェイトモデルと非公開フロンティアモデルの差が4〜7か月に縮まったと伝えた。あわせて2.8兆パラメータのKimi K3、Demis HassabisのFINRA型規制案、LLMの副次タスク隠蔽に関する研究を取り上げている。