本文へスキップ

#MCP・ツール連携

本日0件
10月15日木
  1. Apple Machine Learning Research38

    計画が先か検索が先か、ツール探索アーキテクチャの規模比較

    ツール利用型LLMエージェントでは、LLMに先に計画を立てさせるPlan-then-Retrieve(PtR)が、複数ツールのクエリでRetrieve-then-Plan(RtP)を上回り、単一ツールのクエリでは劣ることが示された。ToolBench(46,984 API endpoints)での評価では、この傾向が検索件数k=1〜20と1k〜47kのレジストリ規模で一貫していた。PtRは推論コストがおよそ2倍になるため、RtPの上位1件の検索スコアを使う複雑度適応型のルーティングが実用的な方向として挙げられている。

10月12日月
  1. Apple Machine Learning Research42

    SELFCOMPACT、言語モデルエージェントが自ら文脈を圧縮する手法

    SELFCOMPACTは、モデル自身が文脈を圧縮するタイミングと方法を決めるエージェント用スキャフォールドである。圧縮ツールと、圧縮すべき時と抑制すべき時を定める軽量なルーブリックを組み合わせ、ファインチューニングなしで適応的な圧縮を実現する。6つのベンチマーク(競技数学とエージェント型検索)と7モデルでの評価では、固定間隔の要約と同等以上の性能を、より少ないトークンコストで達成した。数学では要約なしのベースラインに対して最大18.1ポイント、エージェント型検索では5~9ポイント上回り、1問あたりのコストは30~70%低い。

10月4日日
  1. Hugging Face Blog60

    Microsoft、エージェントをDB状態で採点するThinkingBoxをHugging Faceで公開

    MicrosoftとHugging Faceは、AIエージェントが残すバックエンド状態と副作用で採点するベンチマークThinkingBoxを公開した。507の業務ワークフローを各20回実行し、Claude Opus 5.5がpass@1で67.16%と最上位だった。OpenEnv経由で自分のモデルを評価することもできる。

    選定理由:最終応答ではなくDB状態で採点し、20回反復の一貫性とコストまで数値で比較しており、エージェント評価の設計を考える際の材料になる。

9月29日火
  1. Hugging Face Blog47

    MCPエージェントの回答で出典を検証するProvenanceGuard

    Hugging Faceは、MCPエージェントの回答を出典単位で検証する後処理レイヤーProvenanceGuardを提案した。根拠全体では支持されるが、回答が名指しした出典とは別の出典にしか存在しない主張、いわゆる出典の取り違えを検出する。医療エージェントの281件のトレースを用いた評価では、専門家が通すべきでないとした139件のうち138件を検出し、支持されていたとされた67件は再確認や修正に回した。

9月11日金
  1. Google Research Blog41

    ToolGrad、テキスト「勾配」を用いた効率的なツール利用データセット生成

    Google Researchは、ツールの利用チェーンを先に生成してからユーザークエリを付与するanswer-first方式のデータ生成手法ToolGradを提案した。ToolGrad-500で微調整したGemma-3 12Bモデル(ToolGrad-12B)はBFCLで83.1点を記録し、gemini-2.5-pro(83.2)に迫り、claude-4.5 Opus(82.8)やgpt-5(74.4)を上回った。データ生成にはgemini-2.5-flash-liteを用い、ほぼ100%のパス率が示されている。