Rerankerのモデル比較とコスト削減実験、Cross Encoder型と汎用LLM型を検証

RAGのRerankerについて、Cross Encoder型と汎用LLM型を検索精度・応答時間・運用コストの観点から比較した。JQaRAではCross Encoder型のcl-nagoya/ruri-v3-reranker-310mがnDCG@10 0.869で最高値を記録し、Multi-hop FAQでは汎用LLMが相対的に高いスコアを示した。さらに汎用LLM型のコスト削減手法により、精度を維持したまま最大40%のコスト削減を達成したとしている。