az
1.2K posts
他们的做法相当于用一个有持续生成能力的 Transformer 做了一个图灵完备的 Wasm 解释器。
目前的整个流程是：
问题 -> 思考 -> 生成 wasm 原语程序 （这部分现在是传统 LLM 实现）
wasm 原语程序 -> 只有 2 维注意力 Transformer 模型 （这个是高效的关键，通常注意力维度有几千维） -> 通过生成 token 的方式执行代码 （他们这个项目已经实现的）
这个基于 Transformer 的 Wasm 解释器是通过梯度下降获得的。
他们说未来可以考虑：
- 将传统 Transformer 与 2D Transformer 结合起来， 做混合模型。
- 将 C 写的 Wasm 解释器源码翻译成权重
Christos Tzamos@ChristosTzamos
1/4 LLMs solve research grade math problems but struggle with basic calculations. We bridge this gap by turning them to computers. We built a computer INSIDE a transformer that can run programs for millions of steps in seconds solving even the hardest Sudokus with 100% accuracy
中文
我觉得 Lean 4 作为一个全功能编程语言被低估了。大家只看到它被数学家用来形式化数学概念和定理，没看到它本身是个很不错的编程语言。在我看来它是 Rocq + Haskell + Scheme 的集合体，类型系统强大到可以做验证，通过 monad 写命令式程序也很方便，还带有非常强大的宏系统可以方便写 DSL。
中文
今年都在喊“Agent 元年”，但真正落地还不错的，其实就一个——coding agent。
原因很简单：写代码这事天然有裁判——编译器、单测、CI、回归测试、diff。
所以 agent 能闭环、能自证、能迭代。
一旦离开“可验证环境”，很多 agent 就变成：
看起来会了，但你不敢给它权限。
（尤其是跨系统流程、运营、管理、跟人打交道这种）
所以我的翻译是：
不是“人人都有 agent”，而是能被做成「可验证 + 可回滚 + 可观测」的流程，会先被 agent 吃掉。
另外 Ilya 说“明年回归研究”，我理解也不是 scaling 结束了，
而是需要新的配方/范式，让东西更安全、更可靠、更能投产。
结论：明年别只看概念，得看自己去哪落地、做什么工作、哪个方向能闭环。
对我来说方向反而很清晰：agent 不一定要通用，但必须进可验证的世界——代码、IaC、K8s、运维/告警、policy、成本治理。谁能把 agent 上生产，谁就赢。
中文
话说都到现在了，AGI 神棍们怎么还没有一人提出用 AI 去重写翻译 TypeScript 编译器的代码呢？不就三个小时的时间么？神棍们只要花一晚上的时间重写出来，第二天就可以去微软把 Anders 老爹给炒鱿鱼了，我都提示到这里了，三小时一战成名，然后震惊世界，数不完的流量和美刀，不比天天推特上吹牛逼强？
LIN WEI@skywind3000
But it’s SAFE !!!
中文
为了防止再来问我，我提前说。
稚晖君新发布的机器人，把一个运动控制，和一个VLM放在一个机器上面，两者并没有过多交集，
你可以理解为，一个big dog上面驮着一个设备，设备上连着头部的摄像头、麦克风、音箱，跑着一个VLM，同时在交互的时候会指挥big dog进行一些简单的情绪动作。
没什么新东西。
中文
总有人企图道德绑架中国的VC，说投资人都是傻逼，不懂远视，投不出来中国的OpenAI。
假如你是投资人，2015年，手里1亿的现金，你会投哪个？
1. 滴滴，让5亿中国人共享打车；
2. 抖音/快手，让5亿中国人刷短视频；
3. 蜜雪冰城，让10亿中国人喝到廉价柠檬水；
4. 深圳的商业地产，保守估计能涨5倍；
5. 富途，让5000万股民炒上美股；
6. 嘉立创，为全球电子厂画PCB；
7. 某AI，自称能改变人类100年，在北京不断屯GPU，沿着NLP的进展（当年连BERT都没有，只有transformer），实现通用人工智能；
8. 某个游戏开发者，说“斗战神失败了，我会做一个更好的斗战神，相信我们，我们是真的热爱《西游记》”。
来，不谈道德绑架，假如你真有1个亿，你会投给哪几个项目？
中文
@WenzhangYang @roifex @JXQNHZr1yUAj5Be 你说的是α,β-crown验证神经网络吧，楼上的AI+verification应该是ai辅助证明，例如Kaiyu Yang在coq和lean4上做的
中文
@JXQNHZr1yUAj5Be 我没一直关注这个的进展，不过直觉上我觉得这个是很 promising 的，而且可能是大规模铺开 verification 的最好方法
中文
@magic_akari 看起来内部没有采用 Equality Saturation 这类技术，arxiv.org/pdf/1012.1802
中文
我悟了！人工智能就是科研界的氪金手游，迭代更新快，但是咣咣砸钱；人机交互就是科研界的任天堂，有一定挑战，但是好玩受众广泛正反馈足；系统和架构就是科研界的魂，几万行代码下来一顿操作猛如虎，boss一套丝滑连招让你硬直直接毙掉🤦🏻♀️
中文
az retweetledi
The review process is under threat and we must make it resilient against adversarial attacks. Proud to be part of @TheOfficialACM PROTECT where we'll look into securing academic reviewing sigsac.org/protect.html
English
az retweetledi
Today I talked at the IWACO workshop about my ideas on Modular Borrowing Without Ownership or Linear Types. You can check out the slides and recording on the website!
English
Who else received surprisingly disappointing USENIX Security reviews..? 🙋♂️
English