Tim

昨天看完了OpenAI 工程师翁家笠 @Trinkle23897 的访谈，给我最大的感受就是他求知欲旺盛、学习能力很强。 他在 2022 年加入 OpenAI，并且是 OpenAI 一系列核心模型背后的核心贡献者之一，从 GPT-3.5、GPT-4、再到 GPT-5，你能看到的那些关键跃迁里，都有他的身影。他最主要的贡献，是以下三个词：强化学习、post-training、infra。 我在他的个人网站里搜到的经历见图一，下面是看完整期播客的一些感受： 🍃一、求知欲强且找到了自己的学习方法： 发现自己需要更长的时间构建知识树，需要比常人花2-3倍时间去理解context和底层逻辑。 他的学习的兴趣从何而来？他认为这是对自己的投资、对未来的投资。 并且在学习的过程中他会通过正反向筛选来构建自己的技能树： 1. 正向筛选就是他很早就发现自己喜欢奥数，并且持续投入能获得比别人更快的成就。 2. 同时会果断放弃投入比产出低的，例如打篮球，经常被别人按着打；例如跆拳道，实战会被揍；对语文不感兴趣等等。 虽然学得慢，但他找到了适合自己的学习方式： 1. iPad的Safari没有代码编辑器，他用iPad裸打代码，其实是完全不必要的，不过这种方式强迫他在大脑中构建程序逻辑，训练他的思考和反应能力。 2. 学得慢就提前学。比如初二学完高中数学，初三开始学微积分。 3. GPA不重要，短时间达到够用的成绩就行，不浪费时间。学对自己重要的东西。 🍃二、构建自己的评价体系： 当他意识到清华内部大家都认为GPA越高越好、PhD远比Master好，并为之奋斗的时候，他认为自己的目标是找工作，GPA选择在最少时间达到够用的成绩就行，重点在于在行业里积累经验。 他认同自己导师的评价指标：论文、比赛、三位数以上的GitHub Star 在清华期间开源自己搜集的所有作业和材料，打破信息差。因为他认为有些人不擅长搜索，但很有能力，不必要浪费时间在这上面。 他希望获得认可，如Github的star数，如最大化自己在OpenAI blog上出现名字的次数，只要他在RL，每个大模型发blog都尽可能能带上名字，从而实现生产力的scale up ，让自己的工作量转化为所有核心产品的贡献。 🍃三、在人生节点，他是如何做决策的： 1. 为什么不读PhD：前面提到的，跟之前提到他的价值体系有关，认为自己要进入工业界而不是学术界，“教一个researcher做好enginerring, 要远比教一个engineer如何做好research难得多”，因此他就不需要PhD来浪费生命，更看重Infra. 2. 在ChatGPT爆发前，为什么手握OpenAI、幻方、谷歌、英伟达的offer，选择了OpenAI: 不想进谷歌，不愿意当螺丝钉，他想进人才密度最高的地方，当时到幻方做RL infra是备选。 🍃四、主播也很会提问题，例如大家都在吐槽OpenAI已经不open了，翁家笠他也曾经一直在做开源相关的事情，这不冲突吗？ 对于OpenAI 这样的大模型公司来说生死线是infra迭代的时间。现阶段不进行闭源就无法持续融资，解决算力成本和实验开销，从而推动技术。 他说其实John Schulman曾经问过是否将RL Infra开源，但为了公司竞争力和安全性，还是拒绝了。也就是现阶段他调整了个人优先级，尽管曾通过开源天授、退学Online签证查询系统来打破信息差，但认同现阶段顶尖模型公司需要通过闭源来做博弈。 如果未来创业，他大概会选择产品方向。因为他认为技术的复杂程度不重要，能精准抓到用户需求才重要。退学Online在早期甚至是手动更新，但解决了他们的燃眉之急（他做过的项目介绍见图二）。他自己对纯研究、发论文没什么兴趣，更喜欢有多少人记得、使用他做的东西。 🍃五、主播问到：”如果AI能解决一个世界难题，他希望解决什么？““如何预测未来” 由此展开了宿命论的探讨 他认为这个世界是个确定论，人的命运是可以被预测的，我们生活在一个确定性的马尔可夫过程里（播客对我这种小白来说很友好，专业术语都有解释，如果你也需要可以看图三、图四）需要提前生成剧本。 他甚至认为，人是没有自由意志的，大脑里在想什么，对话中下一个单词说什么、问什么问题都是宇宙大爆炸的那一刻就确定了。 主持人真的很会提问！下一个问题是如果是宿命论那为什么他要投资未来： 1. 未来的我帮助过去的我，完成某些决策。所以要投资自己，投资未来 例如他自己在高三蹦出的“要创造影响力”的想法，是未来的他给过去的自己发送的信息 2. 秉持宿命论，他的生存策略不是等待一切线性结果的到来，而是忘掉这一切，假装不知道，然后尽情享受人生体验。坚信西西弗斯是幸福的，活着是在确定性的循环里寻找当下的意义。 原播客不太长，只有2小时。地址：youtube.com/watch?v=I0Drcs…