Eddie

356 posts

Eddie banner
Eddie

Eddie

@RoshBuilder

Stay curious. Stay humble. Move fast. This era is different.

Singapore Katılım Eylül 2022
914 Takip Edilen147 Takipçiler
Eddie
Eddie@RoshBuilder·
做了一张犬科全家福,果然一个科下都是很贴近的
Eddie tweet media
中文
0
0
0
8
Eddie
Eddie@RoshBuilder·
@gyro_ai 真牛逼 要是公司的推广费每被申请一次,分你一块钱 这功能就能致富了
中文
0
0
0
5
Gyro
Gyro@gyro_ai·
我找工作就这样
Gyro tweet media
中文
244
64
1.9K
295K
Eddie
Eddie@RoshBuilder·
@xinze35794 结婚后外貌的重要性挺低的
中文
0
0
0
7
Daisy
Daisy@xinze35794·
baby第一次参加跑男,那个时候她才25岁了,意气风发的女汉子,那个时候觉得她长得真的好漂亮,想不通为什么黄晓明要离婚呢?
Daisy tweet mediaDaisy tweet media
中文
410
6
579
1.1M
Eddie
Eddie@RoshBuilder·
Frontier Lab 的名号,是不是不应该自己给自己冠上啊? 一个Lab是不是Frontier,应该是行业共识才对? 咋现在动不动都是Frontier了
中文
0
0
0
8
Eddie
Eddie@RoshBuilder·
最近在学习LoRA 通过只训练一小组新参数来高效微调大模型 LoRA 的核心思路:绝大多数微调场景,需要的"调整(FT)"在一个低维子空间里就装得下。所以不必动全部参数。 通过矩阵的乘积的数学基础,可以将两个低纬度(图里面的绿色)空间的向量进行乘积,可以得到原本大小的模型空间。 这样的话,在推理和训练的时候,可以让两个低纬度的向量收到剃度变化,原始的Weights保持不变。 这样的好处就是,省内存空间。假设原本的Weights大概占60B,需要非常大的显存。但是通过LoRa的训练方法,在两个低维度的向量空间里面进行剃度再训练,可以将内存所需降到1%左右。 现在大模型的训练,动不动要上百B来得到Base Model,对于普通初学者来说,很难去实现一个BaseModel的训练或者完整调参。 为啥有效呢? 微调预训练模型只需要在完整参数空间的一个低维子空间里做变化。 说人话就是预训练已经把语言、世界知识、推理路径都装进 W 了。微调只是在调整哪些已学的能力被激活、激活强度多少——这种"调整"天然低维。
Eddie tweet mediaEddie tweet media
中文
0
0
0
12
Eddie
Eddie@RoshBuilder·
其实长期的健康管理,还是挺费钱的。 无论是supplements 还是药物
中文
0
0
0
9
Eddie
Eddie@RoshBuilder·
@zzxwill 阿里云也在tanjong pagar么?
中文
0
0
0
6
zzxwill
zzxwill@zzxwill·
字节的朋友请我在腾讯门口喝了一杯 Dirty,很赞👍 推上的朋友如果工作日来 Tanjiong Pagar,记得告诉我
zzxwill tweet mediazzxwill tweet media
中文
7
0
23
2.7K
Eddie
Eddie@RoshBuilder·
@zzxwill 用 singtel hi,singtel刚出的affordable non-contract,太香了 CMLink就是一坨屎
中文
0
0
0
4
zzxwill
zzxwill@zzxwill·
新加坡 cmlink 网络太垃圾了,最近一周每天都有不可用的时间,求推荐网络好点的有 eSIM 的,不然,我就要回到 Singtel 并且要当狗了🌚
中文
28
0
15
4.5K
Eddie
Eddie@RoshBuilder·
@elonmusk @olsenbdnr 从脑神经学理论来看,判断一个人聪明与否的重要标志,就是让他去回忆他所解决过的极难的问题,越细越好。越聪明的人,对于解决困难问题中的每一个细节,都会深深地刻入大脑的记忆中,很多年都无法忘记。
中文
0
0
0
5
Elon Musk
Elon Musk@elonmusk·
Evidence of exceptional ability and asking how they solved hard problems down to the brass tacks level is what matters. Those who actually deserve credit know the details of the solution, because it was so hard it got seared into their brain. The phonies and posers who falsely claim credit will flounder at the second or third level of detail.
English
718
952
11.8K
863.4K
Olsen
Olsen@olsenbdnr·
Conducted 2 technical interviews today. Reminded me how serious of a task this is. You get to decide potentially the next n number of years the person you are interviewing within the span of 30 minutes or so. I have nothing but hate towards those who conduct interviews without a care asking dumb leetcode hard questions they themselves couldn’t solve if the shoe was on the other foot.
English
178
155
4.5K
538.6K
Eddie
Eddie@RoshBuilder·
回想起来大概五年前。当时我在教培企业工作。年初,大家还在火热地进行活动和推广,而到了年中一纸文件就将整个行业扼杀,高途教育跌了80%。在中国,这种不确定性就像一颗埋在地下的地雷,总有一天会引爆。这也是中国营商环境一直受人诟病的地方之一吧。这也是为什么不要买中概股,一旦不小心踩上这种雷,真的很难翻身。
中文
0
0
0
19
Eddie
Eddie@RoshBuilder·
@SpaceX 今天Starship 总体的发射线路图。审美好在线,好清晰,太喜欢这种风格了🚀
Eddie tweet media
中文
1
0
1
17
Eddie
Eddie@RoshBuilder·
其实这两天美股封禁的事情可以看出来,它本质上对普通人来说,和网络上的封锁防火墙是一样的。通过设立一道有成本才能逾越的门槛,使得普通人获取自由的投资渠道或信息时出现门槛和成本,自然而然地拦下了一批无法通过自身能力或金钱逾越这种鸿沟的人。而这种潜在的成本或认知上的门槛,其实对普通人的时间、精力、信息获取和成长是非常大的损耗。
中文
0
0
0
13
Eddie
Eddie@RoshBuilder·
@David_yc607 这些老登喜欢发表一些莫名自信的错误言论
中文
0
0
0
4
パウロ
パウロ@paurooteri·
谢谢中国朋友的关注!请问是因为系统推荐才看到我的吗?
中文
541
9
946
159.9K
Eddie
Eddie@RoshBuilder·
非常清晰!
faultbugs@faultbugs

关于今天的特斯拉中国招聘工具链(tooling)岗位,简单写一段。不一定对,仅供参考,杠就是你对。 要解释这个岗位,先简单说一句FSD到底是什么?FSD在特征学习这个层面上,其实和LLM/VLM是类似的,总之你知道是个神经网络就行,凡是神经网络,和人相比,很大程度上是依赖大规模数据和算力来认识这个世界。说白了,我们人类大脑的神经网络经过漫长的进化,最终实现的是相当讨巧的, 不需要很大算力,就能抓住事物的本质特征,从而做出比较正确的决定,其中就包括开车这件事。但人工智能的神经网络不行,没这个本事,通常需要依赖更大规模的数据和模型容量来达到效果,或者说,抓住一件事的很多很多特征来搞定开车这件事,这其中既包括我们关注的特征,也包括一些我们认为无用的特征。这里面参数量很重要,但并不是唯一关键,更重要的是数据的覆盖范围和分布。我们还要知道另外一个事情,特斯拉训练出来的模型,最初是服务器版,经过优化之后,才能部署到车机,形成现在车主能用的v12/v13/v14。由于HW 3的硬件性能远不及AI4,导致AP组的工程师们,在将V12优化到HW 3车机的时候,必须对模型进行大幅压缩和裁剪,这导致北美数据训练出来的,在服务器端表现还可以的模型,优化部署到车机之后,只能在北美地区表现还可以,换了地区,往往就会有各种问题。我说的问题,不是VRU安全性的问题,这一点特斯拉毫不妥协,但对于选择道路,并道,拐弯等等,这个就不好说了。 然后我们说说其他国家地区中的中国问题。那得从2025年2月25日特斯拉中国在国内给在此之前生产得AI 4车辆推送FSD开始说起。当时推送得是v13.2.8,后续是v13.2.9,无所谓,反正你知道截至目前就公开推送过这一版就好。然后呢?此前特斯拉是给美洲推送过FSD,但也是v13,后续尽管可能推送过v14,但美洲(加拿大,南美部分国家/地区)的拥有FSD的车辆数量,和中国是完全不在一个量级的,用几乎可以忽略不计形容毫不过分,尤其是南美。所以那边应该没只给AI 4推送而暂缓HW 3推送。 问题来了,为什么中国的FSD推送,要区分AI 4(部分推送)和HW 3(完全没有推送,仅限员工的Wave 1)呢?理由如下:我们看到的v12/v13,甚至是v14,貌似从服务器训练下来,经过优化就直接部署到车端了,其实并不是这样的,根据Elon以及特斯拉公开的说法,是经过各种严格测试的,包括之前他们展示过的48种测试场景,我相信,实际测试场景和周期,要比我们更全面,更长。有鉴于此,说明v12其实最初准备向中国FSD HW 3车辆推送的时候,是不符合Elon或者特斯拉的内部评测标准的,所以才先给AI 4推送v13,准备后续优化之后再推送v12.6.4,而最初是先给Wave 1推送的,准备差不多了就报审,然后等待过审。只是后来有用小米的自动驾驶出了人命,导致工信部那边对智驾的审批重度收紧,才导致v12没有如期过审和推送。那为什么在北美(美国和加拿大)表现不错的V12,到了中国就不行了?结合我上面讲的,因为v12与v13,和v14比,训练数据的地域分布偏差(北美主导)以及后续缺乏本地微调,导致在北美或者美洲表现可以,但换了地区真的就是不行了,这一点可以从澳大利亚和新西兰只给AI 4车主推送这一情况也可以得到一定程度的证明,就是适配HW 3时,受限于算力、带宽和实时性约束,模型必须进行压缩和裁剪,导致整体表现受影响,关键表现不如V13/V14。而后续计划今年6月份推送的V14 Lite,是针对HW 3优化,和v12相比,是轻量化/蒸馏/压缩优化后的版本,或者说,在压缩之后仍然尽量保留对关键驾驶特征的表达能力。反正是针对HW 3优化,而且保证在欧洲/韩国/新西兰、澳大利亚/荷兰/立陶宛等地表现,和北美表现相比,相对更为一致。 好了,这两部分说完了,接下来就说到这两个岗位了。自从今年2月6日(x.com/faultbugs/stat…),特斯拉全球副总裁陶琳(Grace Tao)公布特斯拉中国建立数据训练中心(其实是分中心)之后,特斯拉中国一直在着手准备,从5月7日(x.com/faultbugs/stat…)开始正式如火如荼招聘开始,他们的招聘进入了快车道。现有招聘了各种智驾(其实就是中国国内对FSD等自动驾驶软件的统一叫法)测试人员,然后,又招聘了数据标注人员,直到今天招聘了工具链(tooling)人员,这几部分加在一起,组成了后训练必不可少的本地团队。 这里还要稍微岔开一点点,FSD等等大模型小模型中等模型的训练,大体分为两大部分,这个比例来自我的大致推测,仅供参考:预训练(大约占80%左右),后训练(大约占20%左右,包括各种优化,以及从服务器模型到车端部署过程中的工程化处理)。这个后训练部分,需要的是数据、工具以及相关人员,而测试员、数据标注员、工具链开发人员,基本上就组成了这个完整部分。其中,最为重要的是对服务器端预训练的模型进行微调,根据的是中国境内获取的行车数据来进行的,这个限于中国的相关法规,只能在中国本地进行。而训练针对的对象,有可能是v12/v13,或者更有可能是v14,其中也可能包括6月份即将推出的v14 lite。 不知道上述解释,是否能让你们和我一样,对这些岗位的疯狂招聘,感到一丝丝的兴奋。

中文
0
0
0
13
Eddie retweetledi
eddieran
eddieran@roshbuilder1·
Spent a couple days pulling Opus 4.7's chain-of-thought out of hard STEM problems. 2,405 traces now up on #Huggingface The Anthropic API only returns *summarized* thinking on Opus 4.7 models. The Claude Code CLI streams the full think blocks inline — but even there, Opus sometimes goes into protective-reasoning mode and just returns the polished solution with no thinking shown. So this is specifically the filtered subset where full reasoning came through and passed an LLM-as-judge quality gate. Some numbers from the pull: • 6.7M tokens of Opus 4.7 thinking • think block: ~1,800 chars • 1,557 hard + 848 PhD-level problems • 99.7% judge pass rate • Sources: TheoremQA, MMLU-hard, GPQA, NuminaMath AIME+, MATH-500 lvl 4+
English
1
1
1
78