rrwei

@DavidNwohogan @wuanguscc AI4设计出来时，GPT3还没影呢。它的架构就不是为了跑本地ai模型的。就像拿4080显卡打游戏的电脑，非得去装本地大模型。fsd在ai4上优化是没办法，车还的卖，故事还得讲。但事实上内部肯定都知道，AI5才是fsd真正的开始。ai4属于积累经验的过渡产品。

@rrwei_bul @wuanguscc AI4&4.5就夠用

⚡⚡⚡回顧過去：三年前留言的快樂寶貝們，一堆人還是非常不相信 Tesla FSD 會成功，如今一年一年過去了，也開始慢慢驗證了很多人的看法改變。還發現當年信誓旦旦說台灣不行的人，現在也開始到處宣傳 Tesla FSD 非常強、已經可以在台灣使用了 😆 不是要表達那些人沒有遠見，而是想證明 Tesla FSD 的技術越來越成熟了，而且是在短短幾年之中就發生了如此大的變化，只是你還不願意嘗試而已。 多多了解 Tesla，你會發現自動駕駛科技時代真的來臨了。

@shrmodelx 去年就说了，不要对AI4抱有太多期待。把模型剪枝塞到这样小的算力芯片，跑本地模型，已经做到极致了。ai4本来就不是为大模型设计的。它设计成产的时候还没有gpt3呢。等AI5量产吧，特斯拉肯定不会直说的，否则ai4车卖不动了。

14.3.3自动找车位停车，停车标志处理，无保护汇入，红灯右转这几个功能全方位回退，全都比14.2.2.5差

@LZRationalnvest 700万亿美金市值看起来夸张，但一点也不玄幻。美股总市值7万亿美元时，正是互联网产业起步阶段。靠着互联网+通信+硬件产业，用了30多年时间做到了70万亿规模。下次太空产业崛起，翻10倍用时会更短，毕竟科技产业是加速的。估计20年之后，美股市值就会在700万亿规模。spacex市值将会在50万亿上下。

这张图非常直观地展示了SpaceX和科技七巨头上市前后的市值变化轨迹。 一个有意思的对比：七巨头上市时几乎都是接近零的，而SpaceX一上来就是2万亿。历史上从这个体量起步还能实现数倍增长的公司，屈指可数。 七大巨头平均在成立后不到7年就完成了IPO，上市时市值都不大，真正的爆发是在上市之后的漫长岁月里实现的。 NVIDIA $NVDA上市后一路冲到接近6万亿美元，Alphabet $GOOG 、Apple solana:Aw5SxKyYhXFdZj2BHCqs11UaV5ohwpFQjauB9jFhpump 也都在上市二三十年后才攀上巅峰，Meta $META 和Tesla $TSLA上市时更是不起眼。 换句话说，这些公司的绝大部分价值都是在公开市场上创造的，早期投资者和公众投资者一起分享了成长红利。 SpaceX走了一条完全不同的路。它在私有状态下默默成长了24年，估值已经被推到了2万亿美元的目标，还没上市，就已经站在了Meta和Tesla上市十几年后才到达的位置。 这意味着，早期风投、家族办公室和私募基金已经吃掉了过去24年的增长红利。留给公开市场投资者的想象空间，取决于你是否相信Starlink的持续盈利能力和太空AI的长期故事。

@LZRationalnvest 不要局限想象力，spacex未来空间太大了。一旦星舰成熟（现在看起来没什么技术阻碍），太空价格+运力就到另一个级别。那么太空产业想象力就太大了。最起码，星链可以占据通信产业的核心地位。经济的扩张是靠新型产业的兴起。太空产业可以把美股市值增加一个级别，也就是700万亿规模。

韩国人赢麻了。彭博预测，2027年最赚钱的10家公司，前三有两个都是韩国的。三星电子第一，SKI海力士第三。另外，台积电第九。后面几位基本还是大家熟悉的美国科技巨头. 说明一件事：AI时代真正的利润分配，先从算力基础设施开始改写。硬件、代工、存储这些底层环节同样在吃到最厚的一层利润。

华为τ scaling定律营销策略，无非是more than moore的广义摩尔定律的另一种说法而已 作为芯片架构师，我更感兴趣的，还是芯片密度提升，ppt上41%能耗提升和12.7%性能提升，到底是怎么实现的 看完了论文，感觉华为这次创新，本质上是用设计复杂度高 + 高制造成本 + 超前散热，一定程度弥补了工艺差距 ----------------- 1. 华为芯片堆叠带来的等效密度提升，是虚假宣传还是真的，是不是工艺突破？有没有实打实的好处？ 等效密度提升的来源，是两片芯片用hybrid bonding技术绑在一起，投影面积理论上能减小一半，但第一代不是全芯片双层折叠，而是选择性折叠关键logic，所以只有大概53%的芯片面积实现了折叠(密度155->238)，等到后面几代折叠面积会逐渐增大，到2030年接近全折叠（密度155->292） 这2026第一代等效密度从 2025 年 155 MTr/mm² 跳到 2026 年 238 MTr/mm²，时钟频率也提升了12.7%，功耗比提升41%，表面上看似乎和工艺突破没有什么区别，但有一点重要区别就是leakage power华为从头到尾没有提，只要工艺节点不变，gate leakage、junction leakage 不会因为 3D stacking 自动改善 2030年到2031年的等效密度突变，大概率是来自于2层堆叠到3层堆叠，正如2025到2026年的等效密度突变，时钟频率突变，来自单层到2层折叠 所以从leakage没提这个事来看，这个2031年等效1.4nm，和工艺节点上的突破没有联系。 本质上是用设计复杂度高 + 高成本 + 超前散热 + 超前部署advanced packaging，一定程度弥补了工艺差距 ----------- 那么这样看起来虚假的等效密度提升，有用处吗？好处在哪里？ 有的，设计上topology折叠，原来要跑几毫米的水平走线，折叠后变成了几十微米。降低了super buffer/bus的长度，降低了clock tree的深度（clock depth -42%、clock wire -28%），clock skew也带来了改良(-25%)，这对动态功耗的改善是实实在在的。部分critical path的缩短，也让时钟频率的上升更容易 所以ppt roadmap上performance的提升，从2025年到2026年上升了12.7%，大部分都是来自于时钟频率的上升（12.7%） 所以好处基本上是topology拆分电路逻辑设计上带来的提升 既然没有实质上的工艺提升，华为芯片堆叠带来等效密度提升的trade off代价在哪里？ 三个代价：散热超前发展，设计复杂度高，制造成本变高 最大的代价就是热密度的同步上升，理论上logic on logic都是CPU execution发热最严重的区域，这部分折叠起来相当于功耗密度直接翻倍，但算上41% power efficiency改善，功耗密度仍只比非堆叠方案高40%左右。所以第一代只能对最关键的部分做折叠，大概只占全芯片面积的53%。 所以散热技术也被逼的超前发展，直接上毫米级的MEMS风扇，做micro-cooling fan。 另外的代价就是设计复杂度的变高，critical path的折叠，哪个部分的logic能折叠，折叠之后又会带来从前端到后端的巨大变化要推翻重来 现有的所有EDA工具也不可能支持3D topology，论文自己也承认，full-scale LogicFolding需要全新的3D-native EDA toolchain，把多层stacked dies当作单一连续设计实体处理。哪些logic能折叠、折叠后的inter-die timing closure怎么做，Physical Design（PD）也是难点 制造成本也会更高，被迫超前部署advanced packaging封装，1.5~2um的hybrid bonding + logic on logic都是很有挑战需要显著更高的成本 以前一层wafer做一次光刻；现在两层wafer分别做光刻再bonding，加上hybrid bonding的overlay控制（论文要求<0.5μm）、TSV、KOZ keep-out zone、冗余修复、良率乘法损失，每颗芯片的制造成本和测试成本都要显著上升 -------------------------- 2. Tau scaling这个说法，scaling的到底是什么，这个scaling技术路线是不是一次性的design topology红利？潜力如何？持续进步的空间在哪里？ τ Scaling的核心主张是：用时间常数τ替代几何线宽作为全栈优化目标，在器件、电路、芯片、系统四个层级分别压缩特征延迟 公式本身没有任何新物理。"关注瓶颈延迟"是所有架构师都在做的事情。整个行业都知道互联RC是延迟瓶颈，TSMC每一代工艺都在用low-k dielectrics/semi-damascene等手段降RC。把一个众所周知的优化方向包装成"定律"是显然的营销宣传手段，本质是More than Moore的广义摩尔定律的另一种说法 抛开marketing，华为目前所谓RC delay的改善，本质上是芯片堆叠之后，topology距离缩短，让匹配的effective RC都变小，不是RC工艺常数 至于scaling的意思，是能持续发展的一条roadmap。这里的持续改善路径指的是，全芯片堆叠的层数越来越多，从25~30年的2层堆叠，到31年开始的3层堆叠，以后甚至会考虑4层堆叠 第一代折叠技术甚至不是全芯片双层折叠，而是选择性折叠关键logic，所以只有大概53%的芯片面积实现了折叠(密度155->238)，等到后面几代折叠面积会逐渐增大，到2030年接近全折叠（密度155->292）。2031年的roadmap之所以会出现一个阶跃，就是因为那是从2层折叠到3层折叠的时间点。 但需要注意的是，这个scaling方法的边际效应是逐渐缩小的，折叠成双层的收益是100%，2->3层的收益就只有50%，如果2035年再从3->4层堆叠，收益就只有33%了 另外随着堆叠层数变高，上面说到的三个挑战，散热，设计复杂度，成本，都是越来越大 --------------------- 3. 华为的芯片堆叠，是不是TSMC/AMD已经有的hybrid bonding技术？华为做到的是cache on logic，cache on cache，还是logic on logic，logic on logic最大的散热问题是怎么解决的？ 是已经有的技术没错，但同时也是把现有技术指标做到了领先也是真的，3D堆叠本身不是新技术，TSMC的hybrid bonding量产还是6um，华为论文给出Kirin 2026的hybrid bonding pitch是1.5μm 我在刚刚看到华为的堆叠消息之后，第一反应也是怀疑和AMD的3D V cache类似，它主要把 SRAM cache 叠在 已经有的L3 cache 区域上，通常会避免直接堆在最热的 CPU execution logic 上，就是避免散热问题，毕竟SRAM 的功耗密度和热点特性与high-activity logic 不一样，如果最热的logic on logic堆叠，散热恐怕会碰到困难 但看了更多数据之后，clock buffer -56%、clock depth -42%、clock wire -28%，这些只有在core内部的clock distribution被重构时才可能发生。纯SRAM stacking不会碰core内部的clock tree。另外如果只是cache on cache，大概率是不需要单独MEMS微型风扇额外散热的，证据普遍都指向logic on logic方式 华为这个技术的精妙之处在于，logic on logic 折叠之后热密度并没有翻倍，而是因为topology的好处，能耗下降了30%，这样热密度只上升了40~50% 而第一代没有完全把整个最热的execution logic 100%堆叠起来，论文也明确说selectively applied along key critical paths，只是大概53%有选择性关键路径会堆叠起来，可能颗粒度都没有那么好，只是IP堆叠在IP上，那么热密度上升也许能维持在20%以内 但这条道路继续前行，超前发展的散热就成了必然，现在是MEMS微型毫米级的主动散热风扇，紧贴处理器传导效率高，和华为手机一样，散热堆料特别足，而且技术领先同行。 以后怕是要把HBM7/8的微流道散热技术提前用起来了，毕竟HBM7/8要上24+层堆叠，华为很可能要在提前用上下个世代的散热技术了 ------------------------- 4. 从架构角度来说，最重要的问题，华为41%的power efficiency（能耗比）提升，到底是怎么实现的？为什么AMD的3D V cache没有这么大的提升？ 首先确定41%的定义。论文只说"SoC performance-core power efficiency improved by 41%"，没有给出benchmark名称、Voltage/Freq点、温度条件、功耗边界。但PPT roadmap上有一个关键线索：ISO-Power Performance的数字，2025年是2.75，2026年是3.1，提升12.7% 这个时钟频率提升12.7%完全一致，可以理解为，同功耗的性能提升是12.7%，绝大部分是时钟频率提升带来的 至于能耗比上优化的猜测是，LogicFolding缩短critical path → 在固定Vdd下Fmax从2.75GHz提升到3.1GHz → 这意味着在原来的2.75GHz频率下，有了约12.7%的timing headroom → 这个空间在iso-performance模式下可以换成更低的Vdd 另外的能耗比的提升，可能也来自于电路折叠之后，cache hit latency的下降。从业界经验来看，一般L2/L3 cache hit latency下降10%，CPU整体性能会有至少5%的提升 ppt里显示SRAM latency下降30%，估计会有一部分转化为cache hit latency的下降 AMD的3D V cache没有这么大的提升，主要是因为AMD的底层logic die并没有重新设计，3D cache的延迟latency不仅没有减小反而加大，只是增加了cache大小，收益不如latency下降那么明显。 另一方面，clock skew的下降,critical路径变短，造成电路timing变好，意味着华为可以使用更低的vdd（猜测甚至能低7~8%），以及路径缩短所带来的RC的下降(考虑到clock buffer -56%、wire -28%、SRAM pJ/bit -24%这些数字，比如C_eff下降10~15%合理)，再加上clock tree的整体缩短和下降，确实是有可能在部分Voltage/Freq点做到同性能下，做到30%的功耗下降的，而30%的功耗下降换算过来就是41%的power efficiency 对比苹果和高通，每一代手机芯片在iso-power下单核性能一般提升10-20%，iso-performance下功耗一般降30-40%，这是V/F曲线的特性决定的，所以从经验上来说，数字是对的上的。 所以这个power efficiency（能耗比）的提升，从现有的数字上来说可以从topology推导出来是合理的，可能真的和工艺节点没有太大关系 ---------------------------- 5. 这个技术路线有没有可复制性，其他家会不会效仿？ 短期内不会大规模效仿，因为性价比和风险收益比来说不好。长期来看，这个方向所有人都在走，只是名字不一样 华为做LogicFolding的根本驱动力是制裁，工艺节点被卡在7nm，只能在封装，散热，和设计层面想办法弥补。华为也为此付出了不小的代价：散热成本，设计复杂度，以及制造成本更高（包括良率）。这是一个被逼出来的路线，不是一个自然选择 其他玩家在用TSMC就能做到正常的经济迭代，是没有必要冒着这个风险，去超前迭代散热技术和设计复杂度的 长期来看，Intel的Foveros、TSMC的SoIC、AMD的MI300的3D stacking都在朝同一个方向走。如果继续追最先进节点的经济性持续恶化，那么"固定一个成熟节点+3D topology optimization"的路线会越来越有吸引力 散热方面，MEMS微型风扇和微流道也会成为未来HBM散热的主流 ------------------- 总结一下，华为这次的创新，绝对是值得尊重的，在制裁环境下，用极高的设计复杂度和成本，在一个被锁定的工艺节点上大胆重新设计，榨出了一次大的topology红利，虽然它有天花板。每多加一层的边际收益递减（堆叠1->2层, 2->3层, 3->4层，提升百分比变小），leakage无法解决，散热越来越难，3D EDA工具链更是全新的挑战。 但这个Tau scaling不是一条可以走十年的指数增长路径，每次爬完一个台阶，下一个台阶更难爬，而且台阶更矮收益更小，华为以后想缩小差距，还得再想想靠什么其他的路线

Triangle Geometry Shortcuts ‼️

Beginner’s guide to probability.

Richard Feynman on education system ✍️

This is not a bubble!

💯

Maths notes

"Matrix Calculus for Machine Learning and Beyond" is an interesting set of free lecture notes for understanding the mathematics behind modern deep learning. It covers gradients, Jacobians, Hessians, matrix-valued functions, backpropagation, optimisation, and many of the mathematical structures used in machine learning and AI models. One interesting aspect is that the material maintains a strong university-level rigour while remaining highly visual: the notes include numerous diagrams, graphs, geometric interpretations, and intuitive explanations of matrix calculus applied to neural networks. It is a valuable resource not only for students studying machine learning, but also for anyone who wants to build a solid foundation in computational linear algebra and optimisation. ocw.mit.edu/courses/18-s09…

Conic sections

@tuolaji2024 川普这是打击非移的金融手段，已经和财政部长筹谋一年多了，至于华人投不投资美股，根本就不关心，卡的是偷渡去美国给民主党投票这件事。至于大陆，那是因为内循环经济崩了，资本外流太严重。亡羊补牢而已，只不过补也白补，堵不住的。💰💰

美国将严查非美籍人员在美银行业务 新闻要连着看，这是联合行动啊，这次严打太突然了，以后去正规市场炒股可就难了。

@snowboat84 他就是离开一线前沿开发太久了，有点焦虑，怕跟不上。所以主动选择做一线研发的事情，跟上最前沿然后出来做开源的事。他之所以离开openai就是因为在那里不能做一线开发，是个虚职。title高对他来说没啥用。

我感觉Andrej Karpathy在A社待不久。 他现在进去，是report给Nick Joseph，who report给Jared Kaplan，who report给Dario。中间隔了好几层，连VP都不是，只能在下面做一小块。 这和这位老哥当年在openAI和Tesla的地位不可同日而语，而且现在他做的方向也基本不是Anthropic的核心战略线。 他本质上和Andrew Ng一样，属于喜欢做自媒体，给人上课那种自由的性格，现在被压在下面做，我觉得他做不了多久。他更适合当thought leader，不适合做executor。 立这个帖子，两年后来看。

I explained the Chinese real estate & debt crisis in much detail in 2024 on my Substack. Nothing has changed since. China is in what we call "the largest balance-sheet recession the world has ever seen". And it will take years to get out of it and assuming the CCP's investment-led growth model does not dig the next hole in the meantime - a likely. The FT published added some colour to it two days ago: "Housing is important to every economy. But to China, it’s extra important. According to the PBoC, 96% of urban households own a home, and 41% own at least two. The average household owns 1.5 properties. And as such, property constitutes around 70% of China’s private wealth. The comparable figure for the US is around 30%. So when Chinese property prices fall, the authors make a pretty compelling case that this has all sorts of particularly bad economic spillovers. And fall they have. The negative wealth effect is substantial, and “effects are amplified by elevated household debt, much of which consists of mortgage obligations”. This — and the weaker income expectations that the falls generate — goes some way to suppressing consumption. Moreover, declining land-sale revenues constrain local government budgets, “limiting their capacity to finance developmental projects and maintain existing public infrastructure”. And this is even before any credit impacts from rising non-performing loans and mortgages on bank balance sheets are considered. Tl;dr: bad bad bad. Of course, China isn’t the first soon-to-be-global-economic-hegemon-East-Asian-power staring down demographic oblivion to have piled its savings into a property boom. Back in 1991, the world was fretting over the rise and rise of Japan. And the Japanese were buying Japanese residential real estate at outlandish prices. Japan’s house prices peaked back in 1991 and spent the next 30 years on a downward trajectory. We’re only a few years into the Chinese property bust, and its ultimate trajectory is both unknown and unknowable. But Rogoff and Yang have pulled together some cool data they kindly shared with Alphaville, allowing us to make this chart below. So far, it looks like prices in Chinese cities are falling at around the same pace as they did over the first five-to-10 years of Japan’s bust. Japan’s property crash is associated with a lost decade (or two) of economic growth. In the 10 years leading up to 1991, Japanese real annual GDP growth averaged 4.4%. In the subsequent 10 years it averaged only 0.9% per annum. The same numbers for China, with 2021 marking its property zenith, are 7.0% per year and 4.6% per year (so far). If the IMF’s forecasts turn out right, this latter number will fall to around 4.0% per annum. While the levels are different, the before-and-after drop looks comparable. Was it housing wot dun it? Rogoff and Yang reckon that a 40% decline in house prices translates into a total consumption loss of 2-4% of GDP. Not nothing, but not a single answer explaining life, the universe and wiggles in the decadal pace of real economic growth. To get here, they construct a historical dataset comprising subnational data across 47 prefectures, and input and output data at granular industry levels. They then use this to examine the macroeconomic implications of Japan’s real estate bust. And the authors argue that: a housing bust can generate substantial adverse effects on the economy via real channels. . . . overbuilding during the boom can trigger a demand-driven recession with limited reallocation and low output. Unlike financial channels, which amplify shocks through leverage, bank balance sheets, credit constraints, or fire sales, real channels operate directly through investment, consumption, labour markets, or productivity. In Japan’s case, the housing market collapse depressed activity through three key real channels: investment, consumption, and sentiment. This is all pretty intuitive. But using city-level and household-level Chinese data plus some whizzy maths, they put meat on the bone for these three channels. They find that Chinese cities that overbuilt housing the most are less keen on new building, suppressing investment. Sounds legit. Chinese household consumption is estimated to be more responsive to house price changes than it was in either Japan or the US given its outsized role in private wealth. And it looks to the authors like people have scrambled to rebuild precautionary savings they thought they had amassed in property. Understandable. Then, on the sentiment side, Rogoff and Yang use an LLM to gauge market perceptions of the housing market. And by incorporating city-specific perceptions, they double the estimated effect of house price changes on consumption. Huh. While China is not Japan, 1991 was not 2021, and a *lot* of other things are/were going on, it’s interesting to see that the overall magnitude and pace of property price falls — as well as the aggregate drop in the pace of headline GDP growth — has (so far) been spookily similar. And as for the big question — are we there yet? "If China’s adjustment unfolds in a similar way as Japan’s, it would mean China has not gone half way through the transition. By contrast, if China’s path is eventually comparable to the United States, it appears to have already covered roughly two-thirds of the adjustment before reaching the bottom." So more to come.

Every non-degenerate conic section arises from a plane intersecting a double-napped right circular cone. The curve type is determined solely by the cutting angle, and all are unified by eccentricity (e): - Circle: e = 0 (perfect symmetry, special ellipse) - Ellipse: 0 < e < 1 (closed, bounded) - Parabola: e = 1 (marginal escape trajectory) - Hyperbola: e > 1 (open, dual-branched) All satisfy the same quadratic equation Ax² + Bxy + Cy² + Dx + Ey + F = 0 yet produce entirely different topologies.