Sabitlenmiş Tweet
Eth.annn
233 posts

Eth.annn
@Dear5409
Keen reader & random walker. Edgerunner
Katılım Ocak 2022
278 Takip Edilen159 Takipçiler
Eth.annn retweetledi

很多人担心DeepSeek的低成本训练会冲击显卡市场,但我认为其实是利好
首先一个误区是其他厂商模仿DeepSeek就不需要那么多卡了。
其实DeepSeek-R1的低成本训练方法是可以scaling的。也就是说用更多卡,理论上效果只会更好。他本质上是一种improvement of scaling law,可以参考我下面画的不太严谨的示意图。在deepseek出来之前,其他大模型用PRM (process reward model)的时候,已经观察到scaling law失效,边际效应递减了,因为需要额外的卡训练PRM模型来监督推理过程,但是deepseek的出现重新验证了scaling law,也就是多一张卡,性能就成正比提升。这对显卡市场显然是一种利好。
另一个误区是DeepSeek做的是推理,不是训练。其实DeepSeek-R1做的是纯纯的训练,他们是通过post-training,后训练,来训练出模型有更强的推理能力,这种训练和预训练对显卡的需求没有本质区别。纯粹的推理端scaling/搜索,也就是模型自己推理多种答案,然后再挑一个最好的给你,其实现在用的不是很多,因为对用户的延迟太长了,猜测o1-pro应该是用了推理端搜索,有趣的是deepseek发现PRM (process reward model)对推理后训练虽然没用,但对推理端搜索是有用的,只不过not worth it,性价比很低。
其实未来对显卡市场和Scaling Law的最大威胁不是模型,而是数据。现有大模型已经用了几乎所有互联网数据,未来数据获取难度将指数级上升。之后很可能会遇到空有大量显卡,但没数据的窘境。

中文
Eth.annn retweetledi
Eth.annn retweetledi
Eth.annn retweetledi
Eth.annn retweetledi
Eth.annn retweetledi
Eth.annn retweetledi

@tj_research 补库存而已,看财新pmi都已经补库了好久了,今年外贸肯定好,投资估计持平,下半年消费比较不确定,大概率下半年不行,中国现在典型居民资产负债表衰退,企业暂时还没事,地方政府资产负债表也衰退,中央政府没事,感觉你还是离开中国太久了
中文

@tj_research 个人感觉 主要是关注你的大部分都是工作一段时间有钱有闲能炒股的senior sde吧 其实有bias
现在的市场是senior sde比之前有所恢复 (fb和Google nvda都在招人 但和疫情前比差) 听说对于没身份 没工作经验的ng 就是地狱模式。。。 可以看一下cmu的就业报告
中文

@fsjaurora @tj_research Most bonds pay a fixed interest rate that becomes more attractive if interest rates fall, driving up demand and the price of the bond.
English

文章表示2024年有8.9万亿债务到期,1.9万亿财政赤字,所以政府需要出售超10万亿的债券,并且今年预期降息导致购买这些债券变得不那么吸引人
1. 一般来说自己手里债券到期之后投资者会ROLL,也就是买新的债券,所以8.9万亿并不是多出来市场需要消化的流动性
2. 1.4万亿的赤字的确需要融资,而如果降息或者远期利率下跌,将会导致融资成本下跌,但的确市场参与者需要吸收这些体量
3. 如果降息或者有降息预期,债券将会变得吸引人,而非没有吸引力
The Kobeissi Letter@KobeissiLetter
A record $8.9 trillion of government debt will mature over the next year. Meanwhile, the government deficit in 2024 is projected to be $1.4 trillion. This means that someone will need to buy more than $10 trillion in US government bonds in 2024. That's nearly ONE THIRD of all outstanding US federal debt right now. All while the Fed is expected to start cutting rates, making buying these bonds less attractive. Who's going to fund all of this debt?
中文
Eth.annn retweetledi
Eth.annn retweetledi

@ilyasut People building AGI unable to predict consequences of their actions 3 days in advance.
English
Eth.annn retweetledi
Eth.annn retweetledi
Eth.annn retweetledi




















