Sabitlenmiş Tweet
得否
8.2K posts
得否
@wangdefou
👨💻 文科转码中🦁 ENTJ-A 老运营人 📌 做了一个「文科生学AI」社群 🎨 正在构建宠物油画定制服务，代理招募中~ 🌐 https://t.co/IDpkBMVz68 🌍 日常分享AI、工具、生活
珠海，付费咨询→ Katılım Mart 2023
858 Takip Edilen10K Takipçiler
所有人都在说AI越来越聪明
但是它的记忆还不如一只狗
狗认识你，记得你的气味、你的习惯、还有你上次打它的那一巴掌
AI呢？对话结束，记忆基本归零
即使搞了一些记忆架构
时间长了内容多了照样记不住
而陈天桥大佬投资的新项目EverMind就是要解决这个问题：
不是让模型更聪明——是让它终于开始「认识你」
这个差距一旦填上，AI助理才算真正成立
github仓库地址：github.com/EverMind-AI/MSA
大家可以star一下关注后续
艾略特@elliotchen100
论文来了。名字叫 MSA，Memory Sparse Attention。 一句话说清楚它是什么： 让大模型原生拥有超长记忆。不是外挂检索，不是暴力扩窗口，而是把「记忆」直接长进了注意力机制里，端到端训练。 过去的方案为什么不行？ RAG 的本质是「开卷考试」。模型自己不记东西，全靠现场翻笔记。翻得准不准要看检索质量，翻得快不快要看数据量。一旦信息分散在几十份文档里、需要跨文档推理，就抓瞎了。 线性注意力和 KV 缓存的本质是「压缩记忆」。记是记了，但越压越糊，长了就丢。 MSA 的思路完全不同： → 不压缩，不外挂，而是让模型学会「挑重点看」 核心是一种可扩展的稀疏注意力架构，复杂度是线性的。记忆量翻 10 倍，计算成本不会指数爆炸。 → 模型知道「这段记忆来自哪、什么时候的」 用了一种叫 document-wise RoPE 的位置编码，让模型天然理解文档边界和时间顺序。 → 碎片化的信息也能串起来推理 Memory Interleaving 机制，让模型能在散落各处的记忆片段之间做多跳推理。不是只找到一条相关记录，而是把线索串成链。 结果呢？ · 从 16K 扩到 1 亿 token，精度衰减不到 9% · 4B 参数的 MSA 模型，在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统 · 2 张 A800 就能跑 1 亿 token 推理。这不是实验室专属，这是创业公司买得起的成本。 说白了，以前的大模型是一个极度聪明但只有金鱼记忆的天才。MSA 想做的事情是，让它真正「记住」。 我们放 github 上了，算法的同学不容易，可以点颗星星支持一下。🌟👀🙏 github.com/EverMind-AI/MSA
中文
