Angehefteter Tweet
Bill_DO_A_BIT多少做点
194 posts

Bill_DO_A_BIT多少做点
@Bill_Do_A_Bit
ADHD→ Trader → AI Explorer/Liberal Hunter 用 AI 搭系统、建工具、做交易 认知→具身 | 最小行动 → 系统性迭代 AI · 生命科学 · Markets ⚡ 多少做点
Beigetreten Mayıs 2017
227 Folgt296 Follower

最近花了很长时间拆一本书。不是技术手册,是一部关于"机器能否思考"的 300 年探索史。
书叫《The Laws of Thought》,作者是普林斯顿教授 Tom Griffiths。他做了一件大部分 AI 书不做的事:把今天的技术争论放回 300 年的历史脉络中。规则派和学习派的战争不是从深度学习开始的,是从 1854 年布尔发明逻辑代数那天就埋下的。
读这本书有一种很奇特的感觉:书里出现的每一个名字,都是今天 AI 行业里呼风唤雨的人。辛顿 2024 年拿了诺贝尔奖。杨立昆离开 Meta 创办了世界模型公司。苏茨克维从 OpenAI 出走。李飞飞从干洗店移民女孩变成斯坦福教授和 ImageNet 的缔造者。这本书读起来像一部众神谱,而众神还活着。
但最吸引我的不是众神的光芒,是他们之间的恩怨和误判。1958 年,心理学家罗森布拉特(Frank Rosenblatt)造了一台会学习的机器,有人问他机器做不到什么,他说:"爱。希望。绝望。简而言之,人性。"11 年后,他的高中同学、数学家明斯基(Marvin Minsky)用一本书杀死了整个领域。而明斯基自己就造过神经网络——1951 年,用退役轰炸机的零件。
复活它的人叫辛顿。在剑桥换了三个专业,当了一年木匠。他和从 1500 人小镇走出来的心理学家鲁梅尔哈特(David Rumelhart)一起在飞机上推导出了反向传播,然后搁置了好几年。几年后辛顿重新跑了代码:"你还记得你那个算法吗?它似乎真的有效。"
还有一条暗线——辛顿是乔治·布尔的曾曾外孙。布尔 1854 年发明布尔代数,催生了统治 AI 前半个世纪的"规则与符号"路线。而他的曾曾外孙,发明了替代规则的方法。创立规则的家族,出了一个摧毁规则统治的人。
我把这些故事整理成了一篇长文。168 年,死了两次,活了三次。里面有不少中文互联网上很少有人写到的细节:辛顿家族和中国六十年的渊源、布尔家五代人的反叛基因、鲁梅尔哈特被认知疾病吞噬的结局。
好想法的敌人不是坏想法。是时间。
Bill_DO_A_BIT多少做点@Bill_Do_A_Bit
中文

我觉得不管什么样的模型一定会出现问题,只要出现问题,必然需要实时更新。
包括现在所有的语言大模型,因为语言只是理解这个世界的一个维度,甚至它都不是最好的维度。语言本身并不是天然的,它是一个强人工监督学习的产物,也是一个人工压缩的产物。反倒是那些天然的、更高维度的东西,是现在语言大模型所达不到的。
语言大模型之所以会出现各种各样的幻觉,正是因为它只是一个低维度的、人工制造的产物。也就是说,语言大模型本身其实无法真正实现“世界模型”,它只是一个初步的选择。
有意思的是,我其实非常不赞同你的说法。因为这个世界肯定是先有世界,后有语言。你看有那么多的物种和生物,它们并没有语言,难道它们就不能感知到这个世界吗?显然不是。
比方说有些动物:
1. 它们拥有极其灵敏的听觉或嗅觉,虽然不是用语言来表述,但对世界的感知同样敏锐。你能说这些动物的存在就是空中楼阁吗?
2. 像海底的鲸鱼,还能够通过电磁波的形式进行交流。
我觉得这些才是更高维度的东西。语言仅仅是这个世界里的一个维度,如果硬要把世界模型压缩、蒸馏成一个语言大模型,我觉得这才是舍本逐末,也是真正悲哀的东西。
我觉得世界模型是必然的产物。现在所有的语言大模型也都在往世界模型这个方向走,这是已经发生的事情,没有什么好争议的。
中文

@Bill_Do_A_Bit 在世界模型中出了问题,我们要如何去表达那个存在的问题?还是世界模型一开始就是完美的不需要更新。无论世界模型多么奇妙,没有语言模型的存在世界模型只是空中楼阁
中文

@luozichao60602 2022年 GPT 的横空出世,让一切都显得那么顺理成章,好像神经网络就是一步登天。
其实不是这样的,这里面的弯弯绕绕、曲曲折折可多了。回顾这一段人工智能发展的历史,真的能够学到不少东西。
中文


@Bill_Do_A_Bit 我们是3月份开始关注,4月份才敢确认,而且它的上涨如果是操纵的话,短时间不会有任何调整。就很让新人蒙圈。
中文

我再补一句啊,目前是国家发号令,资金配合炒作。但如果猪企就是死扛,那么这波涨势也持续不了多久。——目前还没有看到大范围直接行政性直接干预的情况。
PS:两手策略准备做好,特别提示:生猪期货是小品种,且曾经有多次严重的操纵行为,如果是新手的话,我真心建议不要去参与。
而且按照消费习惯来看,5月基本就进入淡季了,按照母猪繁育时间来看,10个月前正好是这一轮产能的巅峰。所以近月的情况肯定不咋地。#投资
Alex_感知@Alex_perception
对于猪,国家最近已经有3次明显的提点了,甚至都到了政治局层面,再读不懂信号,就没法玩了。。。#投资
中文

@RongshengWang 谢谢。我觉得这是一种表扬。
因为我是尽量把谢三林说的这些话,翻译成我自己以及其他人便于理解的语言。但说实话,我的本意并不是说要做抖音。至于语言“抖音化”,我觉得或许是一种遗憾吧。
谢谢你的意见。
中文

@zeliezzz 我觉得这里的 vision 是一个泛化吧。除了您说的 vision,他自己其实还提到了更多其他维度,比方说嗅觉、听觉,这些都是比语言更高维度的感觉。
其实把这些更高维度、更多维度的感受集合起来,才是他说的“世界模型”,并不完全是现在只看到的语言模型这一种维度。
中文

@Zhirong_Ron_Lu 是的,现在的视频生成模型的基底还是语言大模型,本身就是在结合。
其实世界模型的话,它本身是作为一种可能作为一个更基底的、更高维度的模型存在的,只是这一条路现在还没有那么成熟。
中文

@yangzhong01 但是有很多时候,仅仅是因为语言只是我们意识中的一个维度。说实话,语言在表达中往往会出现问题,因为语言本身就是对现实世界的一种压缩。
毕竟这个世界并不是语言,现实世界的组成维度要比语言高得多。我其实不太相信那种“语言即一切”、“语言即世界”的理论。
中文

@Bill_Do_A_Bit 猩猩甚至昆虫在物理世界里可以预测下一个状态,猩猩的语言能力,推理能力如何?你确定你思考时候不用语言?学英语到一定程度,有一天你可能会意识到你在用英文而不是中文思考。
中文

@Bill_Do_A_Bit 世界模型是训练动物直觉 语言模型是在思想基础上训练。语言模型或许无法训练出一个有视觉直觉的智能,但哪怕你能靠世界模型训练一个完全模拟的人类婴儿或者一条狗出来,但要从这个基础上再完全脱离语言模型从零搭建思想层,恐怕需要的参数规模是现在大模型的百倍。简单说,思想是压缩过的信息。
中文

@Luckys19X 的确是谢赛宁这一篇访谈,原长 7 个半小时。我真觉得他这一篇从各个维度上来讲都非常精深,可能是我今年看过最值得反复琢磨、并且讲得最透的一次访谈了
中文

08 Agent 自训练:左脚踩右脚。难点不是能不能跑,而是怎么证明下一代真的更强
09 Agent RL Infra:从模型内循环到环境交互系统
10 多模态生成:感知是看见世界,生成是逼迫模型在内部重建世界
每张卡片底部都有一句核心判断。如果你只看这 10 个核心概念,就能抓住她整个访谈最核心的认知骨架。



Bill_DO_A_BIT多少做点@Bill_Do_A_Bit
04 OpenClaw 时刻:关键变化不是聊天更聪明,而是框架开始承接真实任务链 05 群体智能:研究周期从 30-40 周压缩到 3-4 周 06 MLA vs Hybrid:Agent 时代的架构不追求当前最优,要为未来留空间 07 10M Context:长上下文的瓶颈不是算力,而是谁能构造稠密的长任务数据
中文

04 OpenClaw 时刻:关键变化不是聊天更聪明,而是框架开始承接真实任务链
05 群体智能:研究周期从 30-40 周压缩到 3-4 周
06 MLA vs Hybrid:Agent 时代的架构不追求当前最优,要为未来留空间
07 10M Context:长上下文的瓶颈不是算力,而是谁能构造稠密的长任务数据




Bill_DO_A_BIT多少做点@Bill_Do_A_Bit
罗福莉训过 DeepSeek V3,671B 参数。一个 3B 的端侧小模型接入 Agent 框架后,完成了她以为千亿级模型才能做的事。她的结论:模型是消耗品,框架才是资产。 我之前写了一篇将近五千字的长文拆解她三个多小时的访谈。写完之后发现,她整个认知体系里有十个核心概念之间的关系很难用纯文字讲清楚。 所以花了几天时间做了这套「AI 技术范式地图」,10 张卡片,把她的核心判断做了一次结构化拆解。 10 张卡片覆盖了什么: 01 范式转移:从模型决定一切,到框架、模型、组织共同进化 02 Agent 框架:六大组件,框架不是模型的外壳,而是把模型变成生产系统的中间层 03 Skills:预训练给模型公开知识,Skills 给模型私域智能
中文

罗福莉训过 DeepSeek V3,671B 参数。一个 3B 的端侧小模型接入 Agent 框架后,完成了她以为千亿级模型才能做的事。她的结论:模型是消耗品,框架才是资产。
我之前写了一篇将近五千字的长文拆解她三个多小时的访谈。写完之后发现,她整个认知体系里有十个核心概念之间的关系很难用纯文字讲清楚。
所以花了几天时间做了这套「AI 技术范式地图」,10 张卡片,把她的核心判断做了一次结构化拆解。
10 张卡片覆盖了什么:
01 范式转移:从模型决定一切,到框架、模型、组织共同进化
02 Agent 框架:六大组件,框架不是模型的外壳,而是把模型变成生产系统的中间层
03 Skills:预训练给模型公开知识,Skills 给模型私域智能




中文






