River Leaf
26.9K posts
River Leaf
@riverleaf88
会下厨的产品创作者 1. 路图忆 https://t.co/C5fFYUfGJJ 2. 投影仪计算器 https://t.co/Vsp2BSNDAh
Earth เข้าร่วม Şubat 2009
1.2K กำลังติดตาม25.3K ผู้ติดตาม
@riverleaf88 @txyyss 我不觉得自然选择或生存代表什么智能，就像其他动物如蚊子苍蝇老鼠生命力都很强。我始终认为理性聪明或智能的人是极少数。大部分人类令人失望，和智能不沾边。
中文
很多人对世界模型这个概念不看好，觉得是立昆老师故弄玄虚，不务实的表现。
但我想说，如果养过娃就知道，或者宠物就知道，人类和动物都只需要极少的训练数据集就能拥有很全面的智能。而且学习速度也飞快。哪怕是语言本身，人所需要的训练集也是非常少的，远远低于LLM基本学会说话所需的数量级。
可知LLM还远不是最终的答案。
Frank Wang 玉伯@lifesinger
听小珺 @zhang_benita 访谈谢赛宁 @sainingxie 的播客，太过瘾了。太多感触，说几个印象最深的点： 1. 世界模型远大于语言模型。我们每个人脑子里都有一个世界模型，比如知道把手放到火上烤会很痛，由此就不会把手放在火上烤。让你不会无缘由把手放在火上烤的模型，就是世界模型。 2. 世界模型是：Next state = M(state, action）。这个 M 就是世界模型。M 不是预测 next token，而是预测 next state. 比如：手很痛 = M(手不在火上, 把手放在火上)。世界模型的预测能力，可以让拥有世界模型能力的生命知道不做什么或做什么。 3. 从世界模型的视角再看大语言模型，就会发现语言的核心是沟通。沟通就意味着存在监督：说出来的，往往是加工过的。LLM 是毒药，Vision 才是无污染的。 4. Scaling law 是吞数据的能力。数据越多，效果越好。LLM 需要 Scaling law，可世界模型不一定需要。这是最有意思的部分，也是最难的部分。谢赛宁头大中，期待某种玄学的力量，突然某天能点连成线，灵光开悟。那样，就可以开始造生灵。 5. 用非机器人的方式，或许能真正解决机器人的困境。机器人领域，可能正在经历 LLM 领域曾经的 Bitter Lesson. 比如春晚的机器人炫技，或许只是曾经 CV 领域的识别猫猫狗狗。 6. 硅谷陷在 LLM 的述事里。硅谷之外的地方，对世界模型非常感兴趣。真正的智能，还在黑暗的探索期。语言很重要，然而整个宇宙的历史里，如果压缩到一天，有语言的时间，才几秒。 7. 人依旧很重要。比如 research taste、比如做研究实验时的 choices 等等。《金刚经》能提升人的独立思考性和研究品味。 8. Impact 不重要。奔着 impact 去做事，是一种自私。分享出来，让读者有启发，激发读者去做些事，这才是发 paper 的价值。 谢赛宁太可爱了。听完后，特别期待小珺下一期采访恺明。
中文
@ixiaowenz 如果你准备开发一个功能完整的可商用的软件，就会发现一个月2000M都算是在偷懒了。
但是如果是开发给自己用或者团队内部受控环境用的软件，确实花不了多少token，而且现在的AI成功率越来越高。
中文
@riverleaf88 我自己确实写不了这么多，199 的 Kimi 我用不完。
但是目前在和 Trae 看合同和 Tier，我感觉 10M 不太够来着。
中文
Exactly。
字节 Trae 企业版 199 = 50M token，我觉得这个定价完全属于 2C 的，企业用户绝对想骂娘。
2B 的版本，199 = 200M 完全不会改变平均不到 50M 的实际情况，然后下一个 Tier 499，你看企业版用户会怎么选。
企业用户和个人用户完全是两个价格体系，2B 的用户 100 个规模平均可能一个月就 20M，但 2C 那边，每个人不用超就亏了。
Ryo@siantgirl
一个字节trea 团队出来创业的，专门做b端的agent。他说 toC的不赚钱的，用户越多越烧钱，于是他做中国的to B agent，整体工作会比较无聊，赚钱就行了，你有稳定的现金流就去。咱就是谁钱多去哪里，管你哪出来的。🙂现在要多少钱直接30k，以前我还藏着掖着的25K-35k。
中文
@riverleaf88 @likev 复杂的车是从原始的车发展过来的，所以这么讲没问题。这不光是复杂度的问题，还有个出现前后的因果问题，我觉得说一个先有的东西像后来的东西是很奇怪的……
中文
中文
@riverleaf88 @txyyss 哈哈 我认为 AI 这种方式挺好。人类这种每次从头学知识太慢了。AI 学得挺快，学好了可以复制无限份。哈哈扯远了。
中文
脑科学已经揭示了一小部分：DNA想当于给大脑预装了各种神经元连接模式、解构。类似于有了transformer、RCNN等等不同的神经元结构。但是人脑并没有预装什么只是，要靠学习训练，这是自然选择的结果，因为人需要广泛的适应性，无论是适应自然环境还是社会环境——人类是唯一一个适应地球上任何一片大陆的生物。我们的知识和技能只能靠后天习得，但我们的大脑非常适合学习。
中文
@riverleaf88 @txyyss “人类和动物都只需要极少的训练数据集就能拥有很全面的智能。” 我认为人类 DNA 就相当于 LLM base 模型，后期少量样本相当于fine tune 和 RL 。LLM 还有很大潜力，世界模型到底是啥目前好像也说不清。目前人类能耗远低于 AI，我认为这是 GPU 硬件限制，以后可能有很好硬件。
中文
@guansi 艺术的起源都是技术。当人类第一次在洞穴留下壁画时，需要掌握的技术在当时就是高科技。更不用说现在放在博物馆里当艺术品展出的各种文物了，基本都是所在时代工业成就的代表。
中文
产品经理不是画原型的，画原型只是表达手段。
软件工程师不是写代码的，代码只是表达手段。
这个问题从竟然快20年了，仍然在失败的科普进程中。
Justin@interjc
一句话出成套原型，产品经理死了
中文
@txyyss 我可没有确信。我只是说LLM远不是way to AGI的答案。至于世界模型，只是吐嘈一些一些人都不想让人家探索了，立昆也不是花的他的钱。
中文
@riverleaf88 知道 LLM 的局限和确信世界模型就是答案之间还是差很多的，这也是个探索，大语言模型为什么表现那么好大家也还没搞清楚原因，凭什么相信世界模型就能表现得更好。
中文
现在是AI应用早期，和互联网应用早期很不一样。
互联网早期，市面上没有被定义好的互联网人才，那时的新兴互联网企业，都是三教九流，不问来路，只看你是不是爱好者和专家。
现在互联网企业都被人才画像和组织架构给绑住了，虽然现在更能玩转AI的人的画像其实并不在之前的人才画像中。
0xNorth@anorth_chen
腾讯出了 qclaw，身边几个拿到内测码的朋友试了一圈后的产品反馈是： “要不我们去做空腾讯吧。😅” 也再次印证了我之前的一个判断—— 如今互联网大厂的人才密度根本无法支撑Agent产品的落地。 一边是独立开发者， 靠兴趣驱动，快速迭代，做出像 openclaw 这样开始影响一批人的项目。 另一边是大厂里二三十人的团队， 层层分工、反复对齐、加班加点， 最后却连一个“能用”的版本都难产。 再多的人堆进去， 产出的也只会是“更慢的失败”。 有点讽刺，但大厂的管理层们还需要起码一年的时间才能建立这个认知。还会有一批又一批的大厂Agent 团队，消耗着人力和预算，陪老板过家家，最终让老板学会这个不复杂的道理。
中文
苦涩的教训：别用Claude Sonnet，要用就用Opus，珍惜生命。如果舍不得买Max，你可以跟Codex搭配使用，比Sonnet靠谱。
中文
古代祭祀就是向天prompt，甲骨上记录的就是一个session，skills写在经书上。杀人当祭品，就是裁员。
（受yihong0618启发扩展）
中文