注目のストーリー経過観察中
PAR、ループモデルの長さ汎化を改善
1件の報道1件のソース1 日前更新
これまでの経緯
報道より
PARは、ループ型言語モデルの状態追跡タスクで、短い系列で学習したモデルを長い系列へ汎化させる手法である。学習時最大32ステップのswap-S5で学習した0.5Bモデルは、512ステップ（学習長の16倍）で全状態精度95.5%を達成し、従来最良のRLT（55.7%）やCoT（0.8%）を大きく上回った。中間状態の注釈は不要で、最終回答の教師信号のみで学習できる。
Hugging Face Daily Papersより
報道タイムライン
報道を追って、ストーリーのさまざまな側面を確認しましょう。
10月20日
- Hugging Face Daily PapersPAR、状態追跡の長さ汎化を高める進捗整合型リカレンスを提案
PARは、ループ型言語モデルの状態追跡タスクで、短い系列で学習したモデルを長い系列へ汎化させる手法である。学習時最大32ステップのswap-S5で学習した0.5Bモデルは、512ステップ（学習長の16倍）で全状態精度95.5%を達成し、従来最良のRLT（55.7%）やCoT（0.8%）を大きく上回った。中間状態の注釈は不要で、最終回答の教師信号のみで学習できる。
このニュースの注目度の推移
推移を表示するための継続的な観測データがまだ足りません。