GENIAC3期のLLM開発で使用したロングコンテキスト評価ベンチマーク・データセットを公開

ABEJAは、GENIAC3期の基盤モデル開発で使用したロングコンテキスト処理性能の評価タスク・ベンチマークと、評価を実行できるリポジトリを公開した。評価にはRULER（NIAH、QA）、LongBench v2、MRCR（OpenAI-MRCRの日本語版を含む）を用いた。新たに作成した評価データセットも併せて公開している。