LogosChronos
468 posts



今天讨论点硬核的。一个问题:AI用到了什么程度的数学? 从工具和模型本身看,AI用到的数学平均年龄150岁,绝大部分是19世纪中叶之前就有的:矩阵乘法、梯度下降、链式求导、傅里叶、内积、概率,大都是本科前两年的内容。 但AI涌现出的一些现象,目前最高深的数学都解释不了。我整理了几个排名靠前的: - Scaling Law:把模型做大、数据加多、算力堆够,模型的损失会沿着一条极其干净的幂律曲线下降,log-log 图上几乎是一条直线。一个有几千亿参数、内部高度非线性的庞然大物,宏观行为竟然如此有规律。为什么会这么规则,没人知道。 - Emergent Abilities:三位数加法、多步推理、写代码这些能力,小模型几乎无能为力,但是模型参数量越过某个阈值,模型变得足够大,模型突然就都会了。这在物理上和水变成水蒸气是同一类现象——相变。但水的相变有完整理论,AI 的“能力相变”什么模型都没有, - Double Descent:传统的统计学习理论告诉我们:模型越大越容易过拟合,测试误差应该先降后升。实际观察到的误差曲线是:先降、再升、然后继续往下降,最终掉到比经典理论的最优点更低的位置。一整套统计学习理论被大模型颠覆,为什么?没有公认解释。 - In-Context Learning:GPT-3之后出现的新现象。给模型几个例子,它不更新任何参数就能完成新任务。按理说"学习"必须改变参数,可大模型在推理过程中能现学现用。这意味着模型内部藏着某种我们看不见的"学习的学习"。数学上这是什么?也没人能说清楚。 - Representation Geometry:模型内部到底学到了什么?A社的可解释性研究发现了一个奇怪的现象:单个神经元同时编码了好几个互不相关的概念,比如同一个神经元既对"金门大桥"有反应,也对"日语"有反应,还对"DNA 序列"有反应。按理说一个维度只能表达一件事,但神经网络似乎找到了某种"叠加"技巧,在有限的维度里塞进了远超维度数的特征。 为什么会这样?没有数学能解释。 类比一下物理,十九世纪末的物理学主要靠微积分就够用了。但当时天空中飘着几朵"乌云":黑体辐射、光速实验,当时的理论解释不了。这几朵乌云后来炸出了量子力学和相对论,逼出了20世纪最新的数学(泛函分析、微分几何、数学结构化)。 AI现在的处境很像1900年的物理学:工具老得不能再老,结果好得超出预期,但留下了一堆解释不了的现象,现有的数学工具完全无能为力。 如果历史会押韵,这些“AI的乌云”很可能正是21世纪数学下一次大发展的引爆点。





来自加州的 In-N-Out 汉堡,今天在台北进行快闪活动🍔 前几天在上海也办了快闪,和台北一样,排队场面相当夸张 但最有趣的是周边,上面写着 “英-恩-奥”汉堡 到底是谁翻译的? 拖出去! 有一说一,这家的汉堡和奶昔确实不错 月光每次到加州必点! 听说快闪活动是每人限购 2 个汉堡,2 小时卖光 早上 7点就已经有人开始排队,号码牌也很快就发完了 去年北京快闪时,即使下着大雨,不到早上 9 点现场就已经排了上百人 排队几小时才能吃到,还蛮辛苦的 而且现场很多黄牛 一个汉堡转手就卖五六百块 你会买吗?😂

加尔文与阿民念之争,最经典的莫过于三百年前的怀特腓与卫斯理之战。 看过了那场辩论 看过了那对挚友的一生 如今无论空间里论坛上什么样的争辩都无非是轻如鸿毛的过耳烟云罢了……

不论是个人,还是国家,共同面临的抉择是:把自己的命运交给法老,还是交给上帝?美国的建国者们当年的抉择造就了今日的美国。中国人一直以来的抉择造就了今日的中国。这个因果逻辑无比清晰!





















