g_dalice
1.5K posts

g_dalice
@g_dalice
$SELFIE meme coin 全面擁抱土狗 全面擁抱迷因 全面擁抱文化




芯片只有AI火热,半导体的2024年基本延续了2023这个基调 只要蹭上AI相关的叙事,股价增长表现都是接近翻倍或者更高,毕竟这是确定性的增长机会,PE都会给的很有想象力 蹭AI失败典型就是高通,微软的recall功能跳票,导致AIPC/端侧LLM叙事直接破产,股价高点下跌不少,就算赢了跟ARM的官司也无济于事 微软跳票+苹果apple intelligence乏力+安卓碎片化,今年端侧AI/LLM只能这么评价:存在感基本为零 端侧LLM功能开发是heavy lifting,即便端侧算力完全达标了(手机端NPU算力去年已经75TOPs了,非常暴力,标准的桌面级,两年内到150Tops问题不大),端侧LLM生态也还没有那么快,还需要SDE们的持续爆肝。我还是和一年前观点类似,看好26~27年才会有比较显著的进展和丰富一些的玩法 端侧AI目前唯一的热点就是智能眼镜,Meta的Rayban眼镜只是个原型,AI功能实用性基本可以忽略,也卖了两百万,整个智能眼镜市场全年接近四百万销量,风头超出了所有人的预期,PMF得到了验证 虽然目前的智能AI眼镜跟LLM半点关系都没有。24~25年主要的端侧AI部分就是眼球追踪和手势追踪,顶多加上OCR,毕竟眼镜只有那么一点点算力,功耗要求也过于严格(<1w)比手机低了一个数量级 下周的CES在端侧AI基本上就是AI眼镜主题秀,说百镜大战可能有点夸张,但差不多就是这个热度,是典型的Hype没错,但未来可期也是真的 -------------------------------------------- 另一个蹭AI失败的Micron,则是因为PC和手机端的DRAM需求比预期疲软,股价涨了一阵跌回原地。毕竟PC和手机端内存是大头,HBM的占比暂时还是太低了,难以撑起AI叙事,7倍的forward PE低的令人发指 AMD是个例外,蹭上了AI竟然还是跌的,2025的PE也低到竟然只有17。各家CSP都热衷于自研model->compiler->asic accelerator从上到下一整套解决方案提高performance,ASIC赛道的火热,让AMD和Nvidia在同一个赛道火拼,只能说CUDA积累的生态优势恐怖如斯 ------------------------------ 蹭AI姿势最成功的,莫过于给各家互联网云厂CSP们做ASIC AI加速器的Broadcom和Marvell,都是直接靠画饼就能翻倍,太可怕了(以及即将蹭上的MTK/AICHIP) 这大概是2024年最大的的芯片风口转型故事 其实帮互联网公司做ASIC AI加速器对于传统半导体厂商并不是特别有挑战性的事情,对IP的要求并不高,主要是做SoC的infra从前端到后端整个配套设施,核心core ML加速器+上层compiler都是互联网公司自己做。 只要服务态度好,客户支持到位,要求什么就给什么,价格合理,门槛并不是那么高。除了互联interconnect IP,基本上可替代性比较高 所以MTK这种云端NPU经验并不多的芯片厂,也能当Google TPU V7之一的供应商 大公司deploy自己的model时,现在都喜欢用自己的asic配套自己的compiler,自己做的asic明明在纸面功耗比上(TOPs per watt)比H100差了不少,甚至能到40%,要花大力气用自家的功耗比并不是那么好的asic,表面上来看并不合算,除了控制成本(和NV讨价还价),为什么还要自己做? 简单的说,各种深度学习model/workload的瓶颈都不一样,很难有通用的解法,卖家标称的纸面性能/功耗比,并不能代表实际日常的实际表现 公司即便是把H100拿过来用,不经调试直接跑自己的model,其实根本跑不到Nvidia标称的性能performance,差距非常明显 如果要跑出理想的performance,要去研究model怎么适配CUDA做优化,甚至需要改compiler里面的一些参数,所以即便是Nvidia,也会派人给大客户针对他们的workload去optimize/tune CUDA/compiler层 而如果大公司比如meta用自家的model/compiler和hw全套,特定的workload会比其他家的ASIC比如高通的AI100 性能要高数倍 因为自家的模型运算细节自己都了解,可以针对自己的model改compiler和芯片,model的size等各种参数达到最好的效果,从内存分配逻辑,kernel tuning,数据精度,tiling,流水线pipeline结构去从硬件的角度迎合上层model的优化,性能差距会非常大,这是一个上层应用决定硬件形状的时代 如果meta用高通的SDK+compiler+ASIC全套,没有办法针对自己的model去优化,只能用高通的东西去sweep各种参数,这里说的sweep意思是高通的SDK和编译器允许用户调整一些参数(例如线程块大小、内存分配策略、流水线深度等)来优化特定operator的性能。用户会尝试不同参数组合,以找到性能的sweet spot 而sweep参数获得的性能优化会比较有限 这就是为什么最后大公司比如meta的model运行在高通的asic上面的performance,反而会不如自己家看起来功耗比更差的全套compiler+ASIC ----------- 为啥CSP们要自己做芯片的同时又外包给传统半导体厂商呢? 一块SoC里大部分IP,包括Cache/memory,CPU,DSP,high speed IO, boot以及低功耗控制,需要的人力是很多的,但只是提供了一个承载ML加速器运行的infra平台,对于互联网厂家来说没有任何自己做的必要,CSP们只会对直接影响ML加速器部分的内容感兴趣 芯片这个圈子太小了,而且前端后端各个角色之间隔行如隔山,挖人不容易,无法在短时间内招到一个磨合良好的团队稳定的迭代项目。Goole/Amazon/Microsoft/Meta这几家开出高出市场价很多的薪水四处挖角,silicon team也都只是几百人到一千人的规模。一般来说从零开始组建一个不错的大厂silicon design house成型,起码要十年时间 所以给成熟的芯片大厂外包做是一个很合理的选择 ------------- 那么CSP们会不会自己做了ASIC然后往外卖和Nvidia竞争呢? 不会,因为这些ASIC组成立的目标KPI就是节约了多少成本,专门做这个生意风险和投入不成正比,芯片支持多个客户的成本是上升很多的,完全没有必要 这也是为什么这些ASIC组在制定架构指标时比较省心,直接对标Nvidia下一代的Tops以及带宽指标就行,同算力功耗多了50%也无所谓,靠后期compiler和针对性架构来弥补,反正只要能节省成本不被Nvidia压榨就行 ----------------------------- ASIC AI加速器故事即便在2025~2026年,其实也还是整个市场占比很小的小众市场,Nvidia仍然是这场LLM科技革命里毫无疑问的基建期唯一大boss 至于openAI/Anthropic能不能像2004年的Google/Facebook一样,成长为这一轮浪潮里的新巨头,那就拭目以待了 2025年的半导体,AI作为主旋律的日子,怕是还会持续。不过其他领域的复苏,比如汽车电子的增长,还是比2024要好看些的 2025除了AI主旋律外最大的看点,就是intel的18A制程量产效果能否如期落地,这可能是2025影响产业格局最大的事件了

If I had 6 figs in crypto, I’d spend hours studying protocols on Pendle YTs are one of the most asymmetric plays: - Whales on Pendle want to lock in fixed yield and don't do extra diligence on farm potential - 2–3x upside on good farms is very doable - Not crowded at all. High slippage on YTs keeps big funds and whales away. YTs are a fast track to 7 figs if well executed If you don’t know what the fuck I’m talking about, go study

Important Update - A Farewell to Ai Hero Heroes, our journey together has been unforgettable. 🫶 Starting tomorrow (15 Oct), Ai Hero will stop issuing new vouchers. Existing heroes can continue playing for the next 14 days until all heroes are used up. After that, the game will officially close on 29 Oct at 23:59hrs. From the very first summon to the final game, the community made Ai Hero what it was. Thank you for every completed battle and every bit of support you’ve given us. 💛 Though this chapter ends, the spirit of Ai Hero will live on in our legacy. The adventure will continue in our hearts. ⚔️ With gratitude, The Ai Hero team


























