注目のストーリー進行中
Googleが睡眠型継続学習フレームワークを発表
1件の報道1件のソース3 時間前更新
これまでの経緯
報道より
Google Researchは、LLMが継続学習の中で知識を保持するための「sleep framework」を提案した。覚醒（active）フェーズで得た短期的な文脈を、睡眠フェーズで解放されるMixture-of-Experts（MoE）のメモリブロックに統合し、長期的なパラメータとして定着させる仕組みである。原文では、この交互の繰り返しにより新しい事実を継続的に獲得し、最大10Mトークンの長文脈知識を保持しつつ複雑な推論を改善できると示されている。
Google Research Blogより
報道タイムライン
報道を追って、ストーリーのさまざまな側面を確認しましょう。
10月28日
- Google Research BlogGoogle Research、LLMの継続学習で知識を保持する「sleep framework」を提案
Google Researchは、LLMが継続学習の中で知識を保持するための「sleep framework」を提案した。覚醒（active）フェーズで得た短期的な文脈を、睡眠フェーズで解放されるMixture-of-Experts（MoE）のメモリブロックに統合し、長期的なパラメータとして定着させる仕組みである。原文では、この交互の繰り返しにより新しい事実を継続的に獲得し、最大10Mトークンの長文脈知識を保持しつつ複雑な推論を改善できると示されている。
このニュースの注目度の推移
現在の注目度 9·比較可能なピーク 10（10月28日 03:00）·24時間の比較可能な増減 –
推移は、継続的かつ完全に観測できたアカウントのみを比較しているため、現在の注目度の数値より範囲が狭くなる場合があります。ポインターを動かすかグラフをタップすると、1時間ごとの注目度を確認できます。キーボードでは左右の矢印キーを使います。