Lexical reference frames、言語モデルの残差ストリームをネイティブな意味空間で解釈

Lexical reference framesは、言語モデルの隠れ状態をモデル自身の残りの層を通して読み取り、帰属、ステアリング、早期終了を可能にする手法である。中間層では、固定方向のlensは一貫性の平方根（SmolLM3-3Bで0.30、OLMo3-7Bで0.35）を超えられないのに対し、LexFrame [1]は0.97（両モデル）に達し、モデル出力との差は0.16 nats以内に収まる。早期終了では、LexFrameが層の0.45と0.42を省略できるのに対し、lensはほぼ省略できない。