Tweet ghim
linyao
1.5K posts
linyao
@Kryptaria
INFJ ONCHAIN 🐕🐾 //游戏开发大失败！ //去学钢琴和八字了 ▓▓▓▓░░░░░░░ 27%
Tham gia Ocak 2012
183 Đang theo dõi842 Người theo dõi
linyao đã retweet
如果你认为 AI Agent 只是一个 LLM Loop 的话建议看一下这篇文章，连 Anthropic 自己人用自己的模型都要写这么多满足各种奇奇怪怪的边界条件的恶心代码，这才是真实世界的工程复杂度。更何况那些 provider agnostic 的 AI Agent 们了（我写 avante.nvim 的时候为了适配各种模型手磨出了多少茧子你们知道吗
yage.ai/share/claude-c…
Ming Yin@kalasoo
Agent 难道不就是一个使用 LLM 的 loop 吗？ 中间可以调用 tool、跑代码 但本质都是一次 loop 输出的文字 经过加工作为 prompt 传入下一次的 loop 里 我的理解有错吗？
中文
关于Google’s TurboQuant 和美光/内存稍微说几句。
随着今天TurboQuant的发布， $MU $WDC $SNDK 均下跌。市场一致认为这一新技术为何冲击存储芯片股。
什么是TurboQuant呢？
ta是一种把 AI「记忆占用」压缩 6倍、推理速度提升最多 8倍、几乎不损失准确性的算法。
因此他可以极大改变AI的成本结构，让长上下文能力大爆发。这也自然意味着，原本我们所认为的内存缺口，可能会大大降低。
必然，短期对内存股是巨大的冲击。但是长期来看，更低的成本让应用大爆发成为可能。单位内存需求下降而总需求上升，他本质上解决的是效率问题。
$MU 本年均已售罄，且在AI需求总量增长的背景下，内存需求仍然增长，最多增长曲线变缓。高利润率高增长➕好价格，我还是买上了。
抄底了一部分看看👀接这种风险还是不小的，非投资建议。
中文
苹果礼品卡注册的 Claude Max 封号之后也退款了，不过现在的问题是，AppStore 余额怎么花出去？
0xAA@0xAA_Science
又被封了，我日 Claude 仙人板板！ 白嫖了几个月了，想付个整月的钱这么困难吗？ 那我继续白嫖了！
中文
论文来了。名字叫 MSA，Memory Sparse Attention。
一句话说清楚它是什么：
让大模型原生拥有超长记忆。不是外挂检索，不是暴力扩窗口，而是把「记忆」直接长进了注意力机制里，端到端训练。
过去的方案为什么不行？
RAG 的本质是「开卷考试」。模型自己不记东西，全靠现场翻笔记。翻得准不准要看检索质量，翻得快不快要看数据量。一旦信息分散在几十份文档里、需要跨文档推理，就抓瞎了。
线性注意力和 KV 缓存的本质是「压缩记忆」。记是记了，但越压越糊，长了就丢。
MSA 的思路完全不同：
→ 不压缩，不外挂，而是让模型学会「挑重点看」
核心是一种可扩展的稀疏注意力架构，复杂度是线性的。记忆量翻 10 倍，计算成本不会指数爆炸。
→ 模型知道「这段记忆来自哪、什么时候的」
用了一种叫 document-wise RoPE 的位置编码，让模型天然理解文档边界和时间顺序。
→ 碎片化的信息也能串起来推理
Memory Interleaving 机制，让模型能在散落各处的记忆片段之间做多跳推理。不是只找到一条相关记录，而是把线索串成链。
结果呢？
· 从 16K 扩到 1 亿 token，精度衰减不到 9%
· 4B 参数的 MSA 模型，在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统
· 2 张 A800 就能跑 1 亿 token 推理。这不是实验室专属，这是创业公司买得起的成本。
说白了，以前的大模型是一个极度聪明但只有金鱼记忆的天才。MSA 想做的事情是，让它真正「记住」。
我们放 github 上了，算法的同学不容易，可以点颗星星支持一下。🌟👀🙏
github.com/EverMind-AI/MSA
艾略特@elliotchen100
稍微剧透一下，@EverMind 这周还会发一篇高质量论文
中文
@mario_2333 很正常啦，只要增粉比掉分快，那就不会出现锐减的数据（其实我不在乎 开心就好
我只在乎朋友之间的互动，以及蓝V多来我评论区发发，一句评论胜过点赞所带来的效益。同时，我也会去别人的推文下互动，互帮互助～
中文
龍蝦進社區！今天騰訊在深圳舉辦線下公益活動，為市民安裝 #OpenClaw！🤖 短短 3 小時內，數百個 OpenClaw 成功上雲。從 2 歲到 60 歲，不同背景的群眾紛紛前來，表現出對 Agents 技術的極大興趣與熱情。✨
來自騰訊雲Lighthouse的工程師，為用戶現場提供一站式的OpenClaw從“裝”到“玩”服務：安裝部署、模型配置、IM渠道打通，還能解鎖熱門的skills技能。
中文
