Hugging Face Daily Papers·· 2 日前AIスコア28
LoCo、局所的な選好学習による推論圧縮手法
Think Less, Locally: Local Preference Learning for Reasoning Compression
AIによる概要
LoCo は、推論モデルがいつ思考を打ち切るべきかを局所的な選好学習で教える推論圧縮手法である。数学の5つのベンチマークで完了長を41.7%〜45.4%、コードの3つのベンチマークで23.4%〜36.3%削減し、精度は維持または向上した。学習は自己生成した数学の推論トレースのみで行われ、コード生成にも転移する。コードとモデルは公開予定とされている。
出典: Hugging Face Daily Papers · huggingface.co