LL
32 posts
@mubeitech 垃圾东西，只能骗骗外行人，统一内存容量虽然有128GB，但带宽只有可怜的256GB/s，量化的27B稠密模型输出速度只有不到20 tokens/s
所谓运行2000亿参数模型，只能是200B Q4量化的MoE模型，智力不如27B稠密模型
中文
拔掉网线，全程断网单机运行 2000 亿参数的 AI 模型。
跑这套系统的设备有多大？
一只手就能稳稳托住。
AMD 拿出了目前全球最小的 AI 开发系统。
苏姿丰直接把这台主机端了出来。
里面塞进了他们最高端的 Ryzen AI Max 处理器。
搭配的是 128GB 高速统一内存。
算力能装进巴掌大小的空间，靠的是底层架构设计。
这 128GB 内存由 CPU、GPU 和 NPU 三方直接共享。
省去了数据在不同模块间来回搬运的损耗。
系统整体性能被大幅拉升。
硬生生把跑大型 AI 模型的算力，压缩进了一台微型桌面台式机里。
大模型的硬件门槛正在被物理击穿。
跑千亿参数模型曾经必须依赖庞大的云端机房。
现在直接变成了摆在桌面上的一台离线私有设备。
中文
作为一个曾经的臭打游戏少年，看到老黄在北京喝完豆汁，喝蜜雪，忽然有点感慨：
老黄2006年押CUDA时，根本不可能知道它对深度学习有用——因为深度学习当时还不存在。他押的只是一个模糊命题：并行计算总会对某种东西有用。
这意味着，英伟达最关键的成功因素，不是单一的战略眼光，而是三件事的叠加：
1.押对了一个足够通用的方向（并行计算）
2.这个方向恰好等到了一个超大应用来兑现（深度学习）
3.他在等待的十几年里，没有被换掉
2008年、2018年股价两次腰斩，分析师骂他不务正业，机构建议卖出。如果是一个受短期股东压力支配的职业CEO，CUDA很可能在某一轮成本削减里就被砍掉，或者被砍到只剩骨架。
Huang作为创始人有足够控制力，董事会动不了他，所以CUDA能熬到2012年AlexNet那一刻。
中文
路透社：美国已允许阿里巴巴、字节跳动、腾讯和京东在内的10家中国企业购买英伟达H200芯片。联想与富士康等分销企业也能购买。
中文
5月13日，据财新报道，中国响应川普“开放国门”的一个重大信号：花旗证券中国独资券商牌照终于走完审批流程，耗时四年多。
这次川普访华，花旗CEO范洁恩也随美国商界代表团同行。现在花旗拿到了中国第七张外商独资券商牌照。
李老师不是你老师@whyyoutouzhele
“老大哥正在看着你：福克斯新闻摄制组遭北京警察开罚单” 5月13日，福克斯新闻（Fox News）主持人在北京街头进行直播。 主持人 Bret Baier在节目中提到： “Big brother is watching! 这里简直到处都是摄像头……它们监视着一切…… 我们的司机仅仅违规停了2分钟，就收到了一张40美元的罚单！”
中文
@zhongguotese321 @igeekbb 没事，这女人空手打软绵绵的，不疼也不会受伤，她没踢你命根子，由着她打，到时让她赔偿就行
遇到拿刀或者拿武器打你的，管他互殴不互殴，直接反杀，命要紧
中文
@igeekbb 中国人真他妈窝囊啊，面对这样被暴打，连防卫都不敢，只能站在原地被人随意殴打。因为只要你防卫了，警察必给你算互殴，悲哀的时代。
中文
同样的数据清洗任务 DeepSeek 花了 2700 万 Token ，缓存命中率高达 97%，实际只花费了 3.3 元，真正的性价比之王
放在 xiaomi mimo2.5pro 上跑直接给我跑满额的，原来还剩下 70% 额度，给我整无语了，要知道他们的定价是一个月 100。
换算下来两者费用差了 20 倍...
中文
@fx20277353638 @williamlab 有这个资金量还会浪费时间排队加油省几十块钱的人，就是会把车亏没。
对时间的价值——时间成本、机会成本的概念拎不清。
中文
