YT
2K posts

YT
@bosskwei
PhDing, cs.DC https://t.co/6YMRB8EYDW, coding is my life
Katılım Haziran 2015
387 Takip Edilen58 Takipçiler

今天晚上各个群都在传一份《国内大模型蒸馏风波的来龙去脉》。
我大概看了一下,很可惜,这更像是一份由外行根据各种流言拼凑出来的 AI slop。
里面的内容有真有假,但几个核心判断基本都经不起推敲。
比如里面声称,智谱 @Zai_org 在今年 4 月份就已经破解并开始蒸馏 Fable。
这个时间线真的很离谱。
因为 4 月份的时候,Fable (那个时候还是Mythos)甚至还没有正式发布,能够使用的基本都是 Anthropic 的内部测试用户,通过Project Glasswing进行访问。
那智谱是怎么拿到的访问权限呢?
难道是 @AnthropicAI 的邀请或者是五角大楼反代吗🤣
还有一个比较典型的问题,是作者对于传闻中DeepSeek 将部分请求路由到 Fable 表示不理解,认为这样算不过来经济账。
实际上,但凡是个从业者或者稍微了解模型公司的研发流程,就知道这件事情不能简单按照 API 成本计算。
如果一个 frontier model 可以帮助你生成高质量训练数据、评测数据,或者提升模型迭代速度,那么获取这些能力本身就是一种研发投入。
用单次调用价格去判断整个策略是否划算,本身就是把模型公司的研发逻辑想简单了。
但最离谱的部分,是 PDF 里面声称 @Kimi_Moonshot 在 K3 发布前,把整个 RL 团队全部解雇了❓❓
这个说法目前没有任何可靠依据。
实际上情况恰恰相反,根据我的确认Kimi RL 相关团队目前仍然存在,并没有所谓“整个 RL 组被裁撤”的情况。
甚至 PDF 里面还进一步延伸出一套完整叙事:
K3 = 蒸馏 + 刷榜 + 裁撤 RL。
我一开始还在认真的区分哪些是事实,哪些是推测,哪些只是作者脑补出来的故事。
直到我看到 PDF 后半部分开始大量加入意识形态化表达,把技术讨论上升到所谓“国模黑暗时代”“技术偷取”等叙事,我反而释然了。
因为这已经不是在分析 AI 行业,而是在借 AI 叙事讲另一个故事。
PS:我感觉这个PDF是黑KIMI来的,因为KIMI的篇幅最大,但里面的大部分内容都是假的,其他家就有真有假了。

中文
YT retweetledi
YT retweetledi
YT retweetledi
YT retweetledi
YT retweetledi
YT retweetledi
YT retweetledi
YT retweetledi

大家现在能叫出一串名字:DeepSeek,千问,Kimi,混元,星火,文心一言…… 感觉好像就是ChatGPT一出来,中国本土公司一夜之间全冒出来了。但其实根本不是那么回事。
如果画一张中国大模型的技术族谱,你会发现几条主线:
第一条主线和智源研究院有关。
北京智源人工智能研究院(BAAI)成立于2018年11月。它不是一家普通的公司,而是在科技部和北京市政府的支持下,由清华、北大、中科院这些顶尖高校和科技企业共同发起的非营利研究机构。它不为赚钱,专为死磕AI领域最硬核、最原始的创新,目标直指大模型、世界模型和通用人工智能这些星辰大海。
智源研究院2021年牵头搞出了“悟道”系列大模型,成了后来中国大模型江湖的技术土壤。现在,它又开始折腾“悟界”系列,想让AI不仅懂文字图片,还能看懂物理世界,更进一步帮科学家研究生命科学。
智源手里还有两张王牌:
🔹 智源大会:这是它每年组局的全球AI顶级聚会,大牛学者和行业大佬都会来,现场发布一堆前沿成果和年度趋势预测,基本是国内AI圈的风向标。
🔹 人才生态:它最厉害的一招,是把清华、北大、中科院这些顶级学术力量揉在一起,打破体制的围墙,搞出一个自由开放的交流平台。
在笔者看来,现在的智源更多扮演的角色像是一个播火者,不造产品,只管把火种点燃,然后递到整个产业手里。
如果把智源研究院看作是一棵树的根,顺着根往上看,会分出三条枝干:
一条是CPM(清华大学牵头的超大规模预训练模型)。2020年11月14日,智源研究院和清华大学研究团队联合发布了以中文为核心的大规模预训练语言模型CPM-LM,参数规模达26 亿,预训练中文数据规模100 GB。CPM这条线往下长出了OpenBMB开源社区,再后来就有了现在大家在端侧玩得比较多的MiniCPM模型。
另一条是“悟道”系列,它直接孕育了GLM这个技术路线,然后孵化出了现在商业化最成功的智谱AI,就是那个ChatGLM背后的大佬。
还有一条叫M6,是阿里达摩院跟智源一起捣鼓的多模态大模型,这条线一路往下,就演化成了今天的通义千问Qwen。
现在市面上竞争得你死我活的大模型产品,追根溯源,技术底气有一大半都能对上这个谱系。
为什么智源研究院这么牛?因为它当时把国内最核心的大模型人才和最前沿的技术路线全给聚到一块儿了。智源,清华,北大这三家,基本上构成了一个铁三角,就像美国那边的OpenAI,DeepMind配上斯坦福,伯克利一样,人才和想法在这个生态里来回流动,碰撞出来的火花,就把早期的底座给搭好了。
第二条主线是百度,属于典型的“起了个大早,赶了个完集”。
早在AI这个词还没流行的2013年,李彦宏就亲自挂帅,成立了百度深度学习研究院,这是全球第一个把“深度学习”直接挂在企业研究院招牌上的。
紧接着2014年,百度在硅谷设立人工智能实验室,请来了吴恩达当首席科学家,全力推动“百度大脑”。更有意思的是,现在AI圈如日中天的Anthropic创始人Dario Amodei,当时就在那个组里研究语音识别和模型扩展。他还把Jim Fan招了进来做实习生。
2017年底,百度硅谷团队干了一件大事,发了一篇论文叫《Deep Learning Scaling Is Predictable, Empirically》,第一次系统性地证明了Scaling Law在机器翻译、语言建模、图像和语音上都管用。可惜当时没引起太大轰动,但金子总会发光,它后来成了大模型研究的基石。2019年OpenAI那篇著名的Scaling Law论文,参考文献里就明明白白引用了这篇百度论文的作者Joel Hestness的后续研究。
时间来到2019年,百度正式发布了开创性的知识增强语义模型ERNIE 1.0。这个模型厉害在于,它不只看无结构的原始数据,还把百度多年积累的大规模知识图谱给融合进去了,一出来就刷新了多种中文NLP任务,直接对标BERT。年底更是迅速迭代到了ERNIE 2.0,搞了持续学习语义理解框架,中英文任务上全面超越了业界主流模型。
第三条主线是科大讯飞。
源头可以一直追到1999年,当时还在中科大读博的刘庆峰,和导师王仁华教授一起,依托中科大创立了科大讯飞的前身。讯飞从中文语音起家,但它在AI大模型上的布局,可以追溯到2014年。
那年,讯飞首次提出“讯飞超脑计划”。这个计划是个战略转弯信号,标志着讯飞不再只盯着智能语音,而是要向更难的认知智能和机器学习全面进军。
到了2019年10月份,讯飞被美国商务部加入了禁运名单,决定启动“国产化AI算力底座”建设。这为后来大模型的自主训练,提前备好了算力粮草。
说到这儿,笔者插一段亲身见闻。 这其中的很长一段时间笔者还在某大厂工作,业务跟英伟达是直接竞争关系,所以能亲眼看到百度和讯飞在英伟达生态圈里有多重。重到什么程度呢?当时CUDA软件栈里好多奇怪的Bug,都是百度和讯飞的工程师先踩到,然后和英伟达一起联手修掉的。从这点就能看出来,这两家当时在AI工程化上走得还是比较前沿的。
如果说ChatGPT像一把火,那么他一下子把整个中国大模型产业给点爆了,商业化了,出圈了,但烧起来的那些柴,是在2020年前就一批批已经被产业的大拿们码好了的。
因为,在那之前,这些人已经闷头干了不少事:
🔹 完整的大规模预训练体系搭起来了,知道大模型该怎么训了;
🔹 积累了部分中文高质量语料,不再是拿英文随便翻译翻译就完事;
🔹 千亿,万亿参数的超大模型真刀真枪跑通了,验证了工程上走得通;
🔹 部分搭建了国产化AI算力底座,踩了很多坑;
🔹 多模态路线也摸着石头探索了;
🔹 各种开源社区,像OpenBMB,也建起来了。
这些工作,在那些个安静的前夜,的确没有马上变成赚大钱的产品,但它们实实在在化作了土壤。后来智谱AI的崛起,通义千问的迭代,百度的文心,DeepSeek的惊艳,讯飞的星火,到字节的豆包,腾讯的混元,小而强的面壁MiniCPM,全都是从这片土壤里长出来的庄稼。
中国大模型产业的爆发,扳机是ChatGPT扣动的;但中国大模型技术的种子,是早在2020年前,由智源研究院,百度,科大讯飞,以及清华,北大,中科大和一批有远见的科技企业,一起亲手种下去的。



刘江/LIU Jiang@turingbook
还是亲历者来说说历史吧。中国最早的大模型研究基本上与智源研究院有关。第一个正式发布的大模型是智源研究院支持清华刘知远团队的清源CPM(2020年11月,26亿参数) zhuanlan.zhihu.com/p/298138008 ,后来演变为OpenBMB,现在还是最好的端侧模型之一。然后就是智源研究院牵头,唐杰老师挂帅的悟道1.0模型系列(2021年3月),其中就包括GLM的最早期版本(GLM论文通信作者是唐杰和杨植麟)。 其他比较早期的工作,百度是Ernie 3.0(2021年7月);阿里M6(2021年3月)是与唐杰团队合作的(林俊旸是第一作者,唐和当时在阿里的杨红霞是通信作者),后来演变为Qwen。华为盘古有两个版本,一个是华为云田奇与杨植麟团队合作,一个出自诺亚方舟实验室,但都没有持续。 可能有遗漏的,大家可以补充。
中文
YT retweetledi
YT retweetledi
YT retweetledi
YT retweetledi

可以用一个行业发展的生命周期来解释。
清北精英因为沉没成本太高,通常不敢拿自己的前途去赌早期风险。
他们更倾向于去已经稳定的高薪行业,如传统投行、大厂、体制内。
行业被验证成功,开始疯狂赚钱,且社会地位和名声也建立起来了。这时候,名校生开始利用自己的学历优势,作为收割者和正规军大举进入。
当一个行业被清北生、藤校MBA挤满的时候,意味着这个行业已经极度透明、规则僵化、阶层固化。
为什么说是见顶信号?
因为当最追求稳健收益的精致利己主义者都觉得这里绝对安全、回报最高时,说明全社会的信息差已经彻底抹平了。
因为强者最擅长在规矩好的存量市场里通过内卷把别人挤走,这就是边际改进。
但整体是不具备从0到1开辟新战场的破坏力。当池子不再变大,最聪明的人开始内卷时,这个行业的利润率就会被迅速榨干。
但是,我觉得这个讨论是有条件的,特定范围内是有效的,比如传统金融、考公体制内、日渐饱和的互联网大厂。
在这些已经几乎没有底层技术突破的存量博弈行业,清北藤校的扎堆确实意味着普通人的空间被极度压缩,红利见顶。
但这未必适用于不适用于硬科技、底层创新和长周期的行业。
AI是一个例外,芯片半导体,生物制药亦如此。
AI 的早期全是顶级科学家、清北藤校博士在扎堆。这不仅不是见顶信号,反而是行业技术壁垒极高、正处于爆发前夜的象征。普通人进不去,纯粹是因为门槛太高,而非行业缺失红利。
而且我认为,名校生扎堆成熟行业,往往并非因为他们主观上不想创新,只是客观的社会资源分配机制决定的。
顶尖名校的学生背负着极高的社会期望。在经济周期下行时,选择成熟行业做边际改进稳定高薪,是极其现实的生存策略。
其实扎堆在我看来,未必死定了。
很多行业是周期性和技术迭代性的。
互联网行业在 2000 年网络泡沫破裂时,也被认为是清北留学生扎堆后的见顶信号。
但随后的 Web 2.0、移动互联网时代,行业盘子扩大了百倍,再次爆发了巨大的红利。
行业见顶与行业成熟,不是一回事。
朱无忌无忌@Wujizhuzhu
任何行业一旦清北生扎堆,基本就是顶部信号。 精致利己主义者不能扛早期风险,最擅长在内卷环境里做边际改进。 同理北美藤校MBA。
中文

























