Apple Machine Learning Research·· 8 日前AIスコア42
SELFCOMPACT、言語モデルエージェントが自ら文脈を圧縮する手法
Self-Compacting Language Model Agents
AIによる概要
SELFCOMPACTは、モデル自身が文脈を圧縮するタイミングと方法を決めるエージェント用スキャフォールドである。圧縮ツールと、圧縮すべき時と抑制すべき時を定める軽量なルーブリックを組み合わせ、ファインチューニングなしで適応的な圧縮を実現する。6つのベンチマーク(競技数学とエージェント型検索)と7モデルでの評価では、固定間隔の要約と同等以上の性能を、より少ないトークンコストで達成した。数学では要約なしのベースラインに対して最大18.1ポイント、エージェント型検索では5~9ポイント上回り、1問あたりのコストは30~70%低い。
出典: Apple Machine Learning Research · machinelearning.apple.com