本文へスキップ
原文
Hugging Face Daily Papers·· 2 日前AIスコア47

MemT-1.0、メモリネイティブな進化に向けて

MemT-1.0: Towards Memory-Native Evolution

AIによる概要

MemT-1.0は、継続的な記憶を基盤モデルの計算に組み込むメモリ基盤モデルで、MemT-1.0-NanoとMemT-1.0-Flashの2モデルを公開した。128Kトークンの履歴長では、MemT-1.0-Nanoが完全コンテキストのKVキャッシュと比べて約1.86倍のエンドツーエンド推論高速化と66倍の永続ストレージ削減を達成した。平均でパラメトリック記憶のベースラインを上回り、検索拡張手法と競合しつつ、一般能力もおおむね維持するという。

出典: Hugging Face Daily Papers · huggingface.co