Google Research、LLMの継続学習で知識を保持する「sleep framework」を提案

Google Researchは、LLMが継続学習の中で知識を保持するための「sleep framework」を提案した。覚醒（active）フェーズで得た短期的な文脈を、睡眠フェーズで解放されるMixture-of-Experts（MoE）のメモリブロックに統合し、長期的なパラメータとして定着させる仕組みである。原文では、この交互の繰り返しにより新しい事実を継続的に獲得し、最大10Mトークンの長文脈知識を保持しつつ複雑な推論を改善できると示されている。