Wings

@peter30813045 @snowboat84 没人能理解预训练完成之后，这1万亿个参数值到底代表什么。有研究人员在做黑盒测试，就是关闭一部分参数看对输出的影响，通过这种方式理解参数里暗藏的知识。就跟研究人脑差不多。llm跟人脑差不多，现在神经科学能说清楚神经元之间是如何通信的，但是具体哪个神经元负责什么知识是说不清的。

@wingsof19 @snowboat84 在這個問題上，我還是想追问一個問題：就是我們給予Al的計算方法，因為計算量巨大的原因，人类肯定无法全部計算，但人类是否對這种算法岀现的奇怪點，或者无穷大点无穷小點等等，或者可能导致后续算法无法进行的点，進行把握和理解呢？

今天讨论点硬核的。一个问题：AI用到了什么程度的数学? 从工具和模型本身看，AI用到的数学平均年龄150岁，绝大部分是19世纪中叶之前就有的：矩阵乘法、梯度下降、链式求导、傅里叶、内积、概率，大都是本科前两年的内容。 但AI涌现出的一些现象，目前最高深的数学都解释不了。我整理了几个排名靠前的： - Scaling Law：把模型做大、数据加多、算力堆够，模型的损失会沿着一条极其干净的幂律曲线下降，log-log 图上几乎是一条直线。一个有几千亿参数、内部高度非线性的庞然大物，宏观行为竟然如此有规律。为什么会这么规则，没人知道。 - Emergent Abilities：三位数加法、多步推理、写代码这些能力，小模型几乎无能为力，但是模型参数量越过某个阈值，模型变得足够大，模型突然就都会了。这在物理上和水变成水蒸气是同一类现象——相变。但水的相变有完整理论，AI 的“能力相变”什么模型都没有， - Double Descent：传统的统计学习理论告诉我们：模型越大越容易过拟合，测试误差应该先降后升。实际观察到的误差曲线是：先降、再升、然后继续往下降，最终掉到比经典理论的最优点更低的位置。一整套统计学习理论被大模型颠覆，为什么？没有公认解释。 - In-Context Learning：GPT-3之后出现的新现象。给模型几个例子，它不更新任何参数就能完成新任务。按理说"学习"必须改变参数，可大模型在推理过程中能现学现用。这意味着模型内部藏着某种我们看不见的"学习的学习"。数学上这是什么?也没人能说清楚。 - Representation Geometry：模型内部到底学到了什么？A社的可解释性研究发现了一个奇怪的现象：单个神经元同时编码了好几个互不相关的概念，比如同一个神经元既对"金门大桥"有反应,也对"日语"有反应,还对"DNA 序列"有反应。按理说一个维度只能表达一件事,但神经网络似乎找到了某种"叠加"技巧，在有限的维度里塞进了远超维度数的特征。 为什么会这样？没有数学能解释。 类比一下物理，十九世纪末的物理学主要靠微积分就够用了。但当时天空中飘着几朵"乌云"：黑体辐射、光速实验，当时的理论解释不了。这几朵乌云后来炸出了量子力学和相对论，逼出了20世纪最新的数学（泛函分析、微分几何、数学结构化)。 AI现在的处境很像1900年的物理学：工具老得不能再老，结果好得超出预期，但留下了一堆解释不了的现象，现有的数学工具完全无能为力。 如果历史会押韵，这些“AI的乌云”很可能正是21世纪数学下一次大发展的引爆点。

@peter30813045 @snowboat84 准确的说，计算方法是确定。计算中用到的数据，也就是常说的参数，它们的值是不确定的。主流llm有1万亿参数。值是在预训练的过程中，通过梯度算法一点点生成的，输入一个训练数据，参数被调整一点。再输入一个，又调整一点。但是你把整个互联网这个规模的知识输入之后，参数的变化就完全没法追踪了。

@peter30813045 @snowboat84 是这样的，AI确实是在按照设计好的程序运行，这是人可以控制的。但是在预训练阶段，它那上千亿的参数是怎么变化的，对人类是未知的。一个极简的llm只需要200多行代码，你给他足够的参数，它同样能表现出相当程度的智能。也就是说大语言模型的复杂度在数据里，不在算法里。

@snowboat84 应该还是不一样吧！化学家压根不知道会发生什么反应？因为化学家并没有告诉那些分子怎么反应的数学公式（因为他也不知道）。但是AI怎么计算，怎么调试，都是人类设计好的数学公式计算的呀，对吧！AI不会在某步计算中没有按人类给的计算公式进行？而是自己发明了方法？如果这样，那么新的物种就产生了

@CaminoTexas 这文章完全是偷换概念，瑞典政府只是把一些公共服务外包给私人企业，钱还是政府出的。也就是说，无论你选择公立学校还是私立学校，都是不用花钱的，教育质量也差不多。这么做是为了引入竞争，不是省钱。

没钱了，控制支出。否则，难以为继。

@mtrainier2020 看了一眼简介，果然不是专业干这个的。社会学给人的一个误解就是觉得门槛低，随便学点就感觉自己能输出点东西，其实门槛很高。

FYI

@mtrainier2020 洋洋洒洒写一大篇，但是前提就是错的。谁也没说伊朗是个军政府控制的国家啊。伊朗是教士集团控制的国家，革命卫队只是打手。草台班子是误判伊朗，但不是因为把它当成其他散装阿拉伯国家，而是仅靠空袭没法颠覆它。伊拉克战争如果不上地面部队，也不能颠覆萨达姆啊。伊拉克不也是他说的散装阿拉伯国家？

@yuyy614893671 那这样会不会导致比较大的tracking error？选tracking error比较小的etf是不是就能规避这个问题？

你那是搬的教科书吧？ 现实是：仅10月7日，便有20余只ETF或者LOF产品发布溢价公告，涉及产品主要为创业板、地产板块、券商板块的相关产品。 其中，国泰创业板LOF、中银证券BOCI创业板ETF、鹏华创业板LOF基金、国联安创科技ETF等4只创业板相关产品宣布将在10月8日早上停牌一小时。 Wind数据显示，截至9月30日，这4只创业板相关产品的溢价率分别为22.12%、11.19%、21.65%、10.97%。 Wind数据显示，截至9月30日，溢价幅度超过2%的ETF数量达到217只，折价幅度超过2%的ETF数量达到113只，价格出现异常的股票型ETF数量占比高达三成。

@yangshuibao 搞总统制的基本都是两党二人转，因为赢家只有一个，最后小党都会逐渐合并成两个大党。不是你想搞多党就能多党的。多党制都是议会制，议会席位不止一个，小党也有生存空间。

蓝白合确实有点出乎意料，深绿台南人觉得是北京授意，因为马英九秘书上周刚在北京参加论坛，接着就力促蓝白合。但我觉得北京没有这么大能量吧，要不然怎么连郭台铭都操控不住。又说美国驻台官员罗森博格上月底说不支持台独，可能是中美又做了利益交换，卖了务实台独者赖清德。怎么感觉有点阴谋论？

@da_wushi 我想请教一个问题，你说功利主义者要排除心里直觉和修辞的影响，所以推胖子和扳道岔一样。那假设一个更极端的情况，比如一个小女孩感染一种非常致命的病毒，如果传染给别人那所有地球人死要死，那需要杀死她来救地球人吗？

击毙一名哈马斯后，如果其亲人成了新的哈马斯，那责任不在击毙者，而在TA自己心智不健全、道德软弱。既然如此那就接着继续击毙。历史上哪个极端分子不是 “被刺激出来” 的？希特勒的童年也不幸、成长环境也很恶劣，那也要同情希特勒么？

@midwaydude 欧洲标配，但是我觉得还是红绿灯省心。要不然在繁忙路口，内侧车道，心理压力巨大。

我來英國後最感受深刻的還是近乎不要錢一樣的迴旋處。香港路試考牌時甚至不一定會考，路上的迴旋處也不是很多。反觀英國的迴旋處多到幾乎可以說三步一崗的程度。尤其是比較繁忙的迴旋處，對使用者有比較高的要求，隨時要理解旁邊、對面甚至斜對面駕駛者的意圖。熟練之後那叫一個行雲流水...

@mtrainier2020 不是很能理解，美国没有失业保险吗

完全可以理解。第一代移民，安身立命全凭一份工作。而在风雨飘摇的大环境中，工资并不能带来很强的安全感。昨天可能还在改影响上亿人的feature，年薪五六十万。也许半夜的一封邮件，就立马切换到Panic模式，寻找下一个落脚点。所以，建议家里两个人，一个人比较稳定的工作，保证家庭的收支平衡，另一个人去做一些有挑战，高风险高回报的事情。这样将来自己也不会后悔。

@ParTmeAdvnturer @abacaj It is clearer to me now. Thanks

@wingsof19 @abacaj They are not the same. Fine tuning involves training the final layers of a model on your data. In text embedding you are converting your textdata into vector embeddings making them searchable, the search results along with your query are then passed to a LLM to summarise.

You can easily get state of the art text embeddings from open source models, here's how along with some examples

@Ukraine @ZelenskyyUa @get_this_v

we will win there will be new cities there will be new dreams there will be a new story there will be, there’s no doubt and those we've lost will be remembered and we will sing again, and we will celebrate anew 🇺🇦President ⁦@ZelenskyyUa⁩

@sanzhao41 我觉得可能跟气候有关，冬天很湿润。夏季干燥，草反而容易黄，得浇水

我覺得最神奇的是下雪的冬天草都是綠的，之看朋友英國的照片也想問，是特別的品種嗎？

@fecalmatter_p @ilyar08423849 @glueckgruene 那跟美国确实比不了

有时候真的很羡慕北美社会，因为至少亚裔是看得见的，权利斗争是有迹可循的。在德国or泛欧洲是什么样呢，不歧视确实是政治正确，但是看不见呢，当你不存在呢，以非常刻薄单一可怜的视角judgemental还以为自己友好的呢。去过一两次东亚国家就觉得世界尽在自己掌握的了。好sick of you all

@HKaaman @get_this_v

Sweden just confirmed that Archer artillery systems will be provided to the Ukrainian Army in the near future. These unique self-propelled howitzers can fire 20x 155mm shells (incl. Excalibur) in 2 1/2 minutes, firing one every 7.5 seconds. (Re)deployment in less than 30 seconds.

@wuyagege 我想从制度主义，行为主义，结构主义，社会选择这些主流理论入手，看过一些introduction，大致知道是什么意思。不知道能不能坚持下来。

民主理论必读书是罗伯特·达尔。 《论民主》、《民主理论的前言》、《多头政体》、《民主及其批评者》 如果要了解民主的历史脉络源流，查尔斯·蒂利的 《民主》。 如果要对比研究 民主、威权和极权诸多类型的政府，必读 胡安·林茨 和 Wolfgang Merkel. 林茨表格 和 Merkel表格是政体分类学必备。

韩国第一次民主选举是 1987年，卢泰愚当选，第六共和国开幕。 台湾第一次民主选举是1996年，李登辉连任。前后差了十年。 《民主的模式：36个国家的政府形式和政治绩效》挑选民主政体的标准是“长期维持”。 1999年出版时没有韩国，2012年更新才把韩国纳入进去，算作全球第36个稳定的民主政治体。

@markito0171 @get_this_v

🇷🇺unit commander #PMC "Wagner", callsign Cherdash ... ⚒ sledgehammered himself ⚒..