SAEの特徴は行動を説明できるか、相互作用の残差を測る研究

研究チームは、Sparse Autoencoder（SAE）の個別特徴と低次の相互作用では説明できない行動上の変動を測るSAE Additivity Residuals（SAR）を提案した。18のモデルと行動の設定で、学習されたSAEの座標はランダムな回転より行動的に加法的だが、重要な相互作用は残ることが示された。ペアワイズの相互作用をモデル化すると、保留データでのcoalition rank fidelityが0.9782から0.9959に向上し、steering実験では0.5874から0.7790に向上した。