Apple Machine Learning Research·· 5 日前AIスコア38
計画が先か検索が先か、ツール探索アーキテクチャの規模比較
Plan or Retrieve First? A Scale Study of Tool Discovery Architectures
AIによる概要
ツール利用型LLMエージェントでは、LLMに先に計画を立てさせるPlan-then-Retrieve(PtR)が、複数ツールのクエリでRetrieve-then-Plan(RtP)を上回り、単一ツールのクエリでは劣ることが示された。ToolBench(46,984 API endpoints)での評価では、この傾向が検索件数k=1〜20と1k〜47kのレジストリ規模で一貫していた。PtRは推論コストがおよそ2倍になるため、RtPの上位1件の検索スコアを使う複雑度適応型のルーティングが実用的な方向として挙げられている。
出典: Apple Machine Learning Research · machinelearning.apple.com