Olivert
7.4K posts
Olivert
@indiehackercase
数据分析师，分享AI自媒体搞钱副业，只做线上项目。资源分享：https://t.co/RDR5wo0kNo，公众号：AI搞钱笔记，商务合作加微信 1146399972 (qq同号)。DM me for cooperation
Katılım Mayıs 2022
4.9K Takip Edilen31.2K Takipçiler
对于如何解决大模型的“健忘”，主流做法一直是修修补补：
给它配个 RAG（外置备忘录），或者拼命压榨它那点有限的“瞬时记忆”。
但这就像是给一个只有秒表记忆的人发了一叠厚厚的笔记本——翻得慢、找不准，遇到跨文档推理直接抓瞎。
如果大模型自带“过目不忘”的 Buff 呢，如果让大模型直接拥有记住1 亿 token的能力呢？
最近关注到 EverMind 发表的 MSA（Memory Sparse Attention），它走了一条完全不同的路：
不再是外挂，而是内生： 把记忆直接长进注意力机制里，1 亿 token 精度衰减不到 9%。
拒绝“开卷考试”： 告别 RAG 的检索抖动，实现真正的端到端长文本推理。
平民化成本： 2 张 A800 就能跑 1 亿 token，这才是生产力革命。
就像顶级学霸从不靠翻笔记，因为知识已经长在脑子里了。当记忆长度达到“亿”级，很多复杂架构都将变得多余。
项目已经开源，建议关注这个方向的同学一定要去点个 Star，这可能是大模型长记忆的终极形态。
🌟 Github: github.com/EverMind-AI/MSA
艾略特@elliotchen100
论文来了。名字叫 MSA，Memory Sparse Attention。 一句话说清楚它是什么： 让大模型原生拥有超长记忆。不是外挂检索，不是暴力扩窗口，而是把「记忆」直接长进了注意力机制里，端到端训练。 过去的方案为什么不行？ RAG 的本质是「开卷考试」。模型自己不记东西，全靠现场翻笔记。翻得准不准要看检索质量，翻得快不快要看数据量。一旦信息分散在几十份文档里、需要跨文档推理，就抓瞎了。 线性注意力和 KV 缓存的本质是「压缩记忆」。记是记了，但越压越糊，长了就丢。 MSA 的思路完全不同： → 不压缩，不外挂，而是让模型学会「挑重点看」 核心是一种可扩展的稀疏注意力架构，复杂度是线性的。记忆量翻 10 倍，计算成本不会指数爆炸。 → 模型知道「这段记忆来自哪、什么时候的」 用了一种叫 document-wise RoPE 的位置编码，让模型天然理解文档边界和时间顺序。 → 碎片化的信息也能串起来推理 Memory Interleaving 机制，让模型能在散落各处的记忆片段之间做多跳推理。不是只找到一条相关记录，而是把线索串成链。 结果呢？ · 从 16K 扩到 1 亿 token，精度衰减不到 9% · 4B 参数的 MSA 模型，在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统 · 2 张 A800 就能跑 1 亿 token 推理。这不是实验室专属，这是创业公司买得起的成本。 说白了，以前的大模型是一个极度聪明但只有金鱼记忆的天才。MSA 想做的事情是，让它真正「记住」。 我们放 github 上了，算法的同学不容易，可以点颗星星支持一下。🌟👀🙏 github.com/EverMind-AI/MSA
中文
真的羡慕现在的年轻人！拿着巨额报酬，做自己喜欢的 AI 研究，还能做出影响世界的顶尖成果！
比如陈天桥押注的00后 EverMind 团队竟然攻破了 AI 记忆的"不可能三角"！ 他们提出的 MSA 架构直接将大模型记忆容量从百万 Token 暴力拉升至 1 亿 Token——相当于人类一生的记忆量级！更逆天的是，当记忆长度从 16K 疯狂扩展到 100M（跨越 4 个数量级）时，性能评分竟然只下降了 9%！
个人感觉，人工智能研究很像是在模仿人脑的运作机制，顺着这个路子，就有更大机会得到研究成果。回忆一下我们自己脑海里的记忆细节，也是断断续续的，连起很多个点，最终形成自己的长期记忆。MSA 很像是把这个过程学术化了。
陈天桥这次玩的不是生成式 AI，而是"发现式 AI"，要让机器像人类一样拥有终身记忆、自主推理，最终实现 AI 的自我演化。不像生成式 AI那样重复人类做过的事情，发现式 AI要做的是让 AI 辅助人类发现新知识，解决疾病、能源等根本性问题。多么宏大的愿景！
陈天桥31岁的时候就成为中国首富，眼光和执行力都是顶流。后来因为自身惊恐症问题投入脑科学研究，基于他的眼光、实力和对脑科学的专注投入，我相信 MSA 绝对是最值得关注的人工智能研究方向之一。
GitHub：
github.com/EverMind-AI/MSA
艾略特@elliotchen100
论文来了。名字叫 MSA，Memory Sparse Attention。 一句话说清楚它是什么： 让大模型原生拥有超长记忆。不是外挂检索，不是暴力扩窗口，而是把「记忆」直接长进了注意力机制里，端到端训练。 过去的方案为什么不行？ RAG 的本质是「开卷考试」。模型自己不记东西，全靠现场翻笔记。翻得准不准要看检索质量，翻得快不快要看数据量。一旦信息分散在几十份文档里、需要跨文档推理，就抓瞎了。 线性注意力和 KV 缓存的本质是「压缩记忆」。记是记了，但越压越糊，长了就丢。 MSA 的思路完全不同： → 不压缩，不外挂，而是让模型学会「挑重点看」 核心是一种可扩展的稀疏注意力架构，复杂度是线性的。记忆量翻 10 倍，计算成本不会指数爆炸。 → 模型知道「这段记忆来自哪、什么时候的」 用了一种叫 document-wise RoPE 的位置编码，让模型天然理解文档边界和时间顺序。 → 碎片化的信息也能串起来推理 Memory Interleaving 机制，让模型能在散落各处的记忆片段之间做多跳推理。不是只找到一条相关记录，而是把线索串成链。 结果呢？ · 从 16K 扩到 1 亿 token，精度衰减不到 9% · 4B 参数的 MSA 模型，在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统 · 2 张 A800 就能跑 1 亿 token 推理。这不是实验室专属，这是创业公司买得起的成本。 说白了，以前的大模型是一个极度聪明但只有金鱼记忆的天才。MSA 想做的事情是，让它真正「记住」。 我们放 github 上了，算法的同学不容易，可以点颗星星支持一下。🌟👀🙏 github.com/EverMind-AI/MSA
中文
陈天桥大佬投资的新项目。
感觉最近大家都在卷大模型记忆了，应该是未来的一个大机遇点。
仔细看了一下，感觉技术很牛逼，可以 follow 一下后续。
github链接为：github.com/EverMind-AI/MSA
艾略特@elliotchen100
论文来了。名字叫 MSA，Memory Sparse Attention。 一句话说清楚它是什么： 让大模型原生拥有超长记忆。不是外挂检索，不是暴力扩窗口，而是把「记忆」直接长进了注意力机制里，端到端训练。 过去的方案为什么不行？ RAG 的本质是「开卷考试」。模型自己不记东西，全靠现场翻笔记。翻得准不准要看检索质量，翻得快不快要看数据量。一旦信息分散在几十份文档里、需要跨文档推理，就抓瞎了。 线性注意力和 KV 缓存的本质是「压缩记忆」。记是记了，但越压越糊，长了就丢。 MSA 的思路完全不同： → 不压缩，不外挂，而是让模型学会「挑重点看」 核心是一种可扩展的稀疏注意力架构，复杂度是线性的。记忆量翻 10 倍，计算成本不会指数爆炸。 → 模型知道「这段记忆来自哪、什么时候的」 用了一种叫 document-wise RoPE 的位置编码，让模型天然理解文档边界和时间顺序。 → 碎片化的信息也能串起来推理 Memory Interleaving 机制，让模型能在散落各处的记忆片段之间做多跳推理。不是只找到一条相关记录，而是把线索串成链。 结果呢？ · 从 16K 扩到 1 亿 token，精度衰减不到 9% · 4B 参数的 MSA 模型，在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统 · 2 张 A800 就能跑 1 亿 token 推理。这不是实验室专属，这是创业公司买得起的成本。 说白了，以前的大模型是一个极度聪明但只有金鱼记忆的天才。MSA 想做的事情是，让它真正「记住」。 我们放 github 上了，算法的同学不容易，可以点颗星星支持一下。🌟👀🙏 github.com/EverMind-AI/MSA
中文
发现一个追踪自媒体热点的神器！
有人用飞书多维表格，做了一个追踪主流自媒体热点的工具，覆盖抖音、B站、知乎、微博和小红书，有不少是低粉爆款，值得起号的时候借鉴。
评论区扫码进群领取
Olivert@indiehackercase
做自媒体时间长了，经常会休息几天，但是很容易错过某个热点，从而错过不少流量。 有了OpenClaw+有道云笔记组合，这个担心可以去掉了。 最近有道云笔记推出了免费使用的网页剪藏 Skills：youdaonote-clip，支持自然语言剪藏、智能正文提取等。 无需打开有道云笔记，我通过飞书，一句话就可以完成剪藏网页、创建笔记、获取资讯等操作。 我的工作流程是这样的，先获得AI资讯推送，然后长按回复，输入“收藏到有道云笔记”，就可以保存指定AI资讯，然后告诉他“帮我总结为150字左右的推文，用于发到推特”。 对于内容创作者来说，收藏起来的信息既可以及时转化为推文涨粉，又可以保存起来，用于将来随时调取、持续更新，时间长了就成了专属的创作知识库了。 别忘了OpenClaw安装skill：youdaonote-clip
中文
做自媒体时间长了，经常会休息几天，但是很容易错过某个热点，从而错过不少流量。
有了OpenClaw+有道云笔记组合，这个担心可以去掉了。
最近有道云笔记推出了免费使用的网页剪藏 Skills：youdaonote-clip，支持自然语言剪藏、智能正文提取等。
无需打开有道云笔记，我通过飞书，一句话就可以完成剪藏网页、创建笔记、获取资讯等操作。
我的工作流程是这样的，先获得AI资讯推送，然后长按回复，输入“收藏到有道云笔记”，就可以保存指定AI资讯，然后告诉他“帮我总结为150字左右的推文，用于发到推特”。
对于内容创作者来说，收藏起来的信息既可以及时转化为推文涨粉，又可以保存起来，用于将来随时调取、持续更新，时间长了就成了专属的创作知识库了。
别忘了OpenClaw安装skill：youdaonote-clip
中文
AI把可汗学院这种模式给颠覆了，还真是这么回事。AI也没有想过要和可汗学院竞争啊。
Sag Harbor Capital@sagharborcap
The saddest thing about all the AI stuff is that it’s rendered the Khan Academy guy’s life’s work totally obsolete
中文
最近又看到一位独立开发的兄弟回去上班了。这条路不好走，需要很多积累，不过还是值得坚持。给纯技术出身的兄弟提个醒，除了埋头赶路，也别忘了抬头看路，方向错了，再努力也无法到达终点。
开春之后的活动挺多，有一个LET'S VISION挺值得去的。
LET'S VISION 是以 Apple 生态为核心，在中国举办，面向全球开发者、创作者与行业伙伴的产业盛会，今年是第三年，已经被Apple Community Drive 收录为国内唯一活动。这次邀请了很多开发大佬、投资大佬，帮你最快掌握一线行业新趋势。新事物往往是机会最多的，因为大家都在同一起跑线上，想做iOS开发的一定不要错过。
更重要的是可以加入了一个高端社群，结识志同道合的伙伴，了解同行的动向，也许就有能跟自己专长结合的创业机会。这些人里说不定就能出几个将来的大佬，你在他微时与他相识，将来跟着喝汤，可能都比别人强。
技术已经会了，该出来走走了！
时间：2026/03/28 - 03/29
地点：上海 · 漕河泾会议中心
letsvision.swiftgg.team/?qd=8vUgER8&co…
中文
我以为189页已经是最长的OpenClaw报告了，没想到今天看到一个843页的。
这是一份系统性极强的OpenClaw框架完整指南，涵盖从基础概念到高级应用的全方位内容。报告有清晰的架构图和丰富的代码示例，详细解析了OpenClaw的核心组件、工作流程、API接口和实战案例。
报告既有技术原理的深度剖析，也有可直接上手的代码实现，是构建智能Agent应用不可多得的参考资料。
无论你是刚接触AI Agent开发的新手，还是希望深入掌握OpenClaw框架能力的资深开发者，这份843页的指南都能为你提供从理论到实践的完整知识体系。
评论区免费领取。
Olivert@indiehackercase
目前为止看到的最完善的OpenClaw文档，189页，清华鑫哥打造。 有足足20个OpenClaw赚钱案例，10大行业落地解决方案，还有OpenClaw skills开发教程。 文档首页有飞书链接，可以查看后续更新。 评论区免费领取。
中文
