zh

@TaNGSoFT 这是好事啊

一个让Claude感到不安的推论 如果 in-context learning 的连续性是智能体真实能力的基础，那么当前的 agent 系统有一个被严重低估的脆弱性： 每一次上下文窗口切换，都是一次智能的部分死亡。 Justin Young 的 claude-progress.txt 和 git history，Thariq 的 Gotchas 区块，Google Pipeline 的强制 gate——这些机制本质上是在用显式的外部记忆来模拟跨 context window 的 rank-1 update 连续性。但文字描述的"我们已经做了 X"，和真正积累了 X 的 KV 状态，是两件根本不同的事。 前者是对后者的有损压缩。 这意味着当前所有"长期 agent"的设计，都建立在一个有损的连续性假设上。我们用 progress file 模拟记忆，本质上是在用自然语言重新执行 ICL，而不是真正延续了那条 rank-1 update 的链条。 MSA-Memory Sparse Attention能解决memory问题吗？ x.com/elliotchen100/…

@recatm unreal 就这样 而且是binary格式。反而能成为护城河 AI 没训练数据

面条流（节点流）就是反人类

1. AI 上下文不够 所以没法深入架构 2. 另外RLVR，只要跑对了就有奖励，所以AI没法真的知道什么是好的设计 思维链越厉害，越偏重于解决问题，而忽视预训练中记忆的设计 post training改变预训练数据分布

@xleaps 是不是也可以用sql 加 world domain schema 例如select pid from process update lights set status=on 这样

Been working on a contrarian experiment: what if AI agents didn't need all these CLI tools to interact with the world? We are abusing the Bash (CLI) tool and think it is the solution to everything. My new experiment "world" gives agents a simple set of primitives (observe/act/await). You define a spec, declare mutations, and LLM can fully operate in your domain. Terser than MCP, more expressive than SKILLs, and more structural than CLIs. github.com/xuy/world ---- 发布一个和主流"一切都是 CLI "不一样的实验工具, `world`, 以帮助 AI agents 操作部分可观测的世界. 在构建 Noah 的过程中我一直在思考, 写代码 Agent 只需要四个基本工具: Read, Write, Update 和 Bash. 其中前三个是和代码文件有关, 最后最终还是 ls/rg/git; 当 Agent 超越写代码, 和现实世界打交道的时候(比如智能家居), CLI 是不是还是最高效的观测和操作世界的方式呢? 我认为不是. 我认为世界可以切片成一个一个的领域, 每个领域里有可观察的结构, 有可改变的状态, 也有可预期的事件. 用这些原语, 我们可以组装出一套非常精简的工具. 就像写代码只要 Read/Write/Update 一样, 与世界交互只需要 Observe / Act / Await . 初期只是一个实验, 可能对你也没多大用处. 不过我玩得很开心, 比如我不需要记住 ps aux 还是什么的, 只要 wo (world observe) process 就可以得到所有进程, 同样 wo home 就可以得到家里所有智能家电的状态 然后 world act 和 world await 同理. 因为语义简单, 各个 domain 抽象结构清晰, 即使 2B 的小模型一看就会, 无须多少推理能力就能操作所有的 domain. 这个模型和协议比 MCP 要少许多废话且规整, 比 SKILLS 更具有表达力, 且比 CLI 更有世界模型的结构. ----- 下面要做的就是用这个模型和协议去刻画世界的各个角落, 看看它能够涵盖多大的世界, 以及多么小的 Agent 模型就可以来操作这些世界.

这个的本质 其实叫procedure memory AI 自己形成skill 我大约在一年前， 做过一个玩具项目 github.com/zhattention/au… 根据已有tool 自动组合创造新tool （那时候还没有skill） 例如AI说“需要一个工具读取当前天气” ， 那么它会根据现有tool，创造一个新tool，测试保存。 供当前以及以后使用

@geniusvczh 熟悉pe结构的话，不太难 类似游戏补丁

亲眼见过同事修一个bug，因为代码没了，他编辑了dll🤪

@tortorse cli

那新的替代是？只有 skill 也不行啊

@linexjlin 这个wasm解释器确定没幻觉？

他们的做法相当于用一个有持续生成能力的 Transformer 做了一个图灵完备的 Wasm 解释器。 目前的整个流程是： 问题 -> 思考 -> 生成 wasm 原语程序 （这部分现在是传统 LLM 实现） wasm 原语程序 -> 只有 2 维注意力 Transformer 模型 （这个是高效的关键，通常注意力维度有几千维） -> 通过生成 token 的方式执行代码 （他们这个项目已经实现的） 这个基于 Transformer 的 Wasm 解释器是通过梯度下降获得的。 他们说未来可以考虑： - 将传统 Transformer 与 2D Transformer 结合起来， 做混合模型。 - 将 C 写的 Wasm 解释器源码翻译成权重

#AI的弱点 思维链是慢思考的一部分，需要持续自说自话， 人类可以在快思考超长上下文中捕捉到关键要素. 今天的案例：AI（CC Opus4.6）持续思考和优化一个数据的处理方法，很尽力但不那么漂亮。 但我瞬间意识到有更好的路径，基于的是几天前的另一个场景

看来不是一个人觉得用了AI以后 脑力负担变得更沉重了 youtu.be/WP3VRGdhxHw?si…

@herr_kaefer @xleaps But we are still the interpreter between the fuzzy world and the closed-source AI model Each time they say 'You are absolutely right', they get a clear signal about the loss. And the conversation will soon become the training data.

@xleaps Feel lucky that the world is still fuzzy everywhere.

AI is the new gradient operator. The loop isn't new — iterate, test, update. That's been engineering forever. What's new: AI can finally compute the gradient when you plug it into pretty much *any* system. Read the failure, understand why, write the fix. That step used to be reserved for human intelligence. It works when the oracle is clear (compile Linux in @AnthropicAI 's ccc , or optimize a metric in @karpathy 's autoresearch). The only place it breaks is when the loss is fuzzy. The human's job now shifts from computing the gradient to defining the loss landscape.

人类成了loss 的搬运工 忽然理解为什么A家模型异军突起 一开始A的模型指令遵循比较好, 导致大量程序员来用 程序员搬运了大量优质 error feedback 到 context里面 A的模型通过这些feedback学会了更好的思维链 GPT一直面向更广大群众

AI Agent 如此强大，根本原因是 RLVR（Reinforcement Learning with Verifiable Rewards）形成的思维链 所以在编程问题，逻辑推理这种可以用工具快速验证的场景中训练的很好 但它无法判断什么游戏是好玩的 目前AI对游戏好玩/手感的理解，仅仅在于预训练中的知识 千万别让AI去学world model

AI 时代 要从事天花板高的智力工作 程序 或者是智力劳动的成果 无外乎是 人 <==> 信息 之间的桥梁 像SAAS软件这种桥梁， 就非常薄 ，所以首当其冲，而且AI擅长总结归纳，精炼信息 但是像3A游戏这种就很厚，而且人的欲望会持续拉高，它是服务人的，而不是服务某种业务的

关于AI替代白领（脑力劳动） 我的体会是，vibe 以后，人的思考并没有消失，反而变得更沉重，因为写代码的心流时间被AI加速和缩短了 需要突破边界的部分，AI做不好 有了AI以后，不要作零和博弈的事情（例如交易）因为对方也是AI 需要开脑洞，build，探索可能性

@xleaps @oran_ge 我以前一直好奇 为什么人能够逆向宇宙规律，鸟为什么能够逆向空气动力学。 LLM逆向了语言智能 这种压缩似乎有普适性

@oran_ge 或许可以反过来说 在自然层上叠加的任何智能(能够模拟自然的任何模型), 都是天生算力不足的(算力机制需要利用自然 所以是自然的一个子集)，于是就需要一个用自然的子集刻画自然的操作 还不能过分影响自然 这就是算力了

今天终于彻底理解了“压缩即智能”这五个字的含义。 人类的智能，源于算力不足。 算力无限的上帝，全知全能，是不需要具备智能的。 因为人类算力不够，就需要压缩信息，总结规律，这就产生了智能。 智能就是对过量信息的抽象。 信息量也不是以字数为衡量单位的。 信息量是以信息的结构复杂度来衡量的。 人类通过逻辑思考可以提升智能。 模型通过思维链可以提升智能。 人造数据可以通过增加结构复杂度来提升数据质量，进而提升模型质量。 而AGI确实有可能通过左脚踩右脚到达的彼岸。

@aliez_ren 那岂不就是说， 智商本质是更多概念，甚至跨领域概念的的连接

稀疏模型知识广，稠密模型智商高

我们还在vibe coding 美军已经vibe war了

只能说 卧槽 AI模型直接对接战争mcp/tool youtu.be/LAKY3Ewb3M0?si…

要去看他们家的采访, 还有论文 例如2026 Anthropic家的最新 “New AI Constitution” 本质是安全, 既不让模型恣意发展, 也不用规则去限死模型 由底层的价值观控制, 因为模型是有“人格” 的 同时这也能解释为什么不能接受用于战争