Aflen Chen
273 posts
Introducing the Open Gas Initiative - a way for protocols to subsidize gas for users, zero-code, for a seamless, frictionless onchain experience. With OG cohort: @eigencloud, @ether_fi, @pendle_fi, @Velvet_Capital. 👇
Introducing the Open Gas Initiative - a way for protocols to subsidize gas for users, zero-code, for a seamless, frictionless onchain experience. With OG cohort: @eigencloud, @ether_fi, @pendle_fi, @Velvet_Capital. 👇
Introducing the Open Gas Initiative - a way for protocols to subsidize gas for users, zero-code, for a seamless, frictionless onchain experience. With OG cohort: @eigencloud, @ether_fi, @pendle_fi, @Velvet_Capital. 👇
Running large language models locally used to be reserved for the most technical users. With Parallax, we redefine where AI runs. Build your own AI lab today, and compete for a DGX Spark + 7 Mac Minis. The challenge starts now.
书接上回，我上次强烈看空了“可验证推理”为主打的项目，留了个包袱，说去中心化推理的PMF在哪。 说之前感觉得先说说为什么类似IO.net这种“去中心化算力”失败了（或者说至少没有取得想象中的成功吧，省的项目方来喷我 - -） 两条线，明线与暗线 明线是 - 1.不稳定 - 掉线率高，硬件参差不齐，根本没有商用的SLA保障（在IO上面挂过显卡的都懂我在说啥） 2. 麻烦 - 用IO你得安装客户端、绑定钱包、配置节点、等待配对……AWS和Together之类的平台提供SDK、API、Python包，几行代码即可调用 商用看重的是稳定性 + 易用性 + 技术支持，不是省几毛钱。所以即便你比AWS便宜一些，你也注定只是个叙事，而没有真的PMF 那你说如果我解决了这俩问题呢？ 解决了也还是不行，因为还有条暗线制约你 假设我们现在有一个硬件统一（假设都是4080/4090这种高端民用显卡，也基本不掉线，开箱即用的IO.NET）是不是就能商用了？ 我们来看算力的两大应用场景 暗线1 - 去中心化训练 - 稍微有点AI知识的都知道“大模型”（通常指>70B) 的预训练根本不可能通过去中心化训练完成，或者说可能以百倍或者更高成本完成，但没有任何商业意义。因为大模型的预训练需要海量显卡以及这些显卡之间海量的数据交换-即海量的带宽/通讯需求（百G-千G每秒），需要专业的NVLINK卡+光纤交换机，这东西只可能在数据中心环境下完成 但是，为啥@PrimeIntellect 以及@NousResearch 这种去中心化训练的项目能拿到Founders Fund和Paradigm大几千万美元的投资，估值还1B往上，Paradigm不可能不懂AI啊！ 原因是他们研究方向是中小模型的去中心化训练，拿垂类私域数据通过去中心化预训练出来的模型“或许”会有自己的PMF，至少逻辑上是Make Sense的。几个月前我关注Prime intellect的时候他们做的是INTELLECT-2 - 32B去中心化训练的模型，1是10B模型，4090可以直接参与训练 此外，还有一个“可能”存在的PMF，即大模型的后训练过程，即监督微调（SFT）和RL（强化学习），因为参数更新量小了很多很多，所以对通信的需求也下降了至少2个量级，导致去中心化来完成后训练技术和成本上是可行的，商业前景么，目前说不好 然后我真正想说的其实是暗线2 - 去中心化推理，毕竟相对于训练来说，推理才是真正的大头 抛开“去中心化”，“可验证”这些Fancy Word有的没得，你想想你每天用的AI，不管是GPT还是Grok，还是最近大火的AI炒币大赛Nof1.AI，Qwen,Deepseek R1啊是不是都是“大模型”推理结果, 没错吧？ 4080/4090这些卡能跑大模型推理不？不能，因为显存不够 要运行一个大模型然后跑推理，需要的显存是大几十G甚至上百GB的显存，民用显卡没有这么大的，你看商用的H100，B100这些都是80GB甚至192GB。或者NVLINK这种专业设备把N个4090这种的“绑”起来，N张卡合体当一张卡用 所以你看 - IO.NET这种，即便稳定便宜，也有劲儿没地方使啊！ 中小模型的推理To B肯定是有需求的，也是去中心化算力可以发力的点，但这个又被上面说的明线抑制住了 所以当前去中心化算力在推理端最终的结果就是 “大模型推不动，小模型没人用” 太长了，再拆一下吧，明后天我来更最终章 - 到底去中心化推理应该怎么跑。 之所以依旧看好这个赛道的原因之一，是前两天山姆奥特曼跟微软CEO萨提亚·纳德拉的一场巅峰对话中提到的 - 算力竞赛的真正瓶颈已从芯片转向“电力”，言外之意，当前中心化数据中心的电力/算力大概率满足不了未来天量的AI推理需求，这里面或许就有去中心化推理施展拳脚的机会，下回说
