olderdriver

@berryxia llamacpp 支持两比特部署吗

一次将大模型的格式搞清楚！盘它！ 很多朋友都在讨论大模型的这么多格式，到底有啥区别？ 于是想一篇把 GGUF、MLX 这些本地大模型格式弄清楚。 简单说，GGUF 是 llama.cpp 团队搞出来的单文件格式，现在已经是本地推理最主流的选择。 以前 GGML 已经基本淘汰了，现在一个 .gguf 文件就把 header、元数据和所有 tensor 全装进去，加载特别快，还支持各种 K-quants 量化，从 2bit 到 8bit 都能灵活混用。 llama.cpp、Ollama、LM Studio 这些工具基本都靠它跑，Hugging Face 上也一大堆现成的 GGUF 版本。 MLX 则是 Apple 专门为 M 系列芯片优化的框架，mlx-lm 是它的 LLM 版本。 模型格式不是单个文件，而是一个目录，里面有 config、tokenizer 和权重（常见 .npz 或 safetensors）。 它在 Mac 上跑得特别爽，因为用了统一内存架构，加载和上下文处理都稳，转换时还能直接做 4bit 量化或者混合精度。 还有一些其他非主流核心格式比如： PyTorch / Safetensors 是训练和分享的标配，ONNX 适合跨框架部署，TensorRT 则是 NVIDIA 极致性能专用。 最有意思的是：GGUF 单文件、量化最灵活、跨平台强，特别适合 CPU 和低配设备。 MLX 在 Mac 上速度和微调体验最好。 Safetensors 体积大但分享方便； ONNX 更偏生产部署。 预训练阶段其实都不直接用这些格式，大模型训练完都是 PyTorch/Safetensors 的 checkpoint，后续转换时再做量化（PTQ），GGUF 和 MLX 就是在这一步把量化玩得最溜。 总的来说，本地 Mac 用户优先 MLX，跨平台或低配设备就选 GGUF，训练分享还是 Safetensors 最稳。 对想自己折腾本地 LLM 的同学来说，可以看看对比图。

@F234F234F234 @xiaoshunli 一个正在考编的状态，都相当于 10 个程序员的待遇了

@xiaoshunli 小学老师有编制啊，在山东可是比大厂程序员还风光

找对象眼光最高的女人，不是空姐，而是小学老师。 空姐起码还是个正经的社会工作，社会化程度很高，所以空姐虽然大部分贪财，但是该有的工作能力，职业精神，该有的商业社会认知，都是具备的。 小学老师就不一样了。小学老师首先她没啥门槛，随便一个垃圾师范毕业都能干，其次小学老师完全是全社会供养的，社会化程度很低，天天面对10岁以下的孩子，说一不二，你说这种女人她能有啥工作能力，对商业社会有啥认知，敬畏之心啊？ 所以说，小学老师绝对是最不自量力，最无知，找对象眼光最高的女人，没有之一！！！

@JasminJNK @Web3Dc888 啥 15 不限 g？

@Web3Dc888 让开，都是些弟弟。月15强大到可怕,不限g。

朋友推荐的VPN 梯子真快 ！起飞了 太爽了 ！！ 快连可以卸载了！！卡的要死还要涨价🥹

@TradingWaiter 当年 市盈率 150，现在呢？才 30 多

咱也不制造焦虑 纯从回顾历史的角度来学习一下 毕竟咱们再次见证了历史 2000年，很多00后刚出生 也好知道一下美股的风险 #SOX 在单月上涨50%后 在顶部震荡了200多天 下跌幅度达80%以上 修复了19年再次回到2000年高点 假如，我说是假如 你在这个地方挨套了 能扛多久？

@Soranlan 前提是能走到法律面前

如果一个系统对权力温和、对个人残酷 那它嘴上再怎么说 “法律面前人人平等” 也只是一句很好听的话

Meta偷偷搞了80TB盗版书喂AI，屁事没有，继续赚翻天。 Aaron Swartz当年就下了70GB JSTOR文章（才Meta的零头），结果被FBI追着打，100万罚款+35年牢，26岁就逼得自杀了。同样是下载，待遇差这么多？ 大公司叫“创新”，小人物就是“罪犯”。 法律对有钱有势的睁一只眼闭一只眼，对普通人却死死盯着。这事儿想想就来气吧？ 你还觉得“人人平等”吗？继续往下看，越看越炸。

@HFT08373613 @lydia488144315 电子工程啊，这么简单的英文缩写，居然两个人都答错

@lydia488144315 请教一下，啥是 EE 专业，纯好奇。🙏

我推荐所有聪明的数学物理好的华裔孩子去读EE专业，这个专业出来十年内不会被A I取代。 当然这个专业是STEM中最难读的，非常抽象艰深，一般智商读不下来，比如我，完全看不懂。 想象一下你毕业后进类似于国家电网，省电力公司这种机构。还愁什么没钱花，工作不稳定。 因为这个专业比CS难很多，门槛高，护城河很深，美国人能从这个专业毕业的人很少。

@wolfyxbt 如何做到的

卧槽！牛逼牛逼！ 这两周的工资涨到了 1799 美金！ Thank you Elon Musk！

@yuu_AIphoto It's an ai word？

@XijingpingGou @igeekbb 这么多钱怎么出境？

@igeekbb 疫情后有一种人，收一家快破产的小吃店，刷了2个月数据，经营贷了200多个，算上7788的小网贷一共300多个，然后卖了房卖了车，手握1-2000多个跑路，现在在欧洲美国躺平的多的是，大多都是江浙沪居多。小网贷陆陆续续破产倒闭，200多个理都不理，回国早已是老赖，那又如何，我看他们过的比谁都滋润？

我现在是真有点怕兄弟们了，你们是要把中国经济干翻到阴沟里吗，关键是评论区说没有质子在人间，可能真会这么干： 我身边朋友就是做这个的，亲眼目睹贷了480多个出来震惊我了，那人还是纯白户，然后申请破产后直接回村里躺平了 目前一次性可以取 900个，我在想要不要跑路。 第一养好数据和征信，第二35来一波大的，第三梭哈来的拿去用爸妈身份开一个账户全买纳指，两百万举例子，一年收益15～30万万左右平均，够躺平咯。 这叫国补……有机会的赶紧下手，以后基本没这好事了，你会后悔的。

@MentorWong @Ningqian6688 sir fellow me,I know where is our enemies

@Ningqian6688 yes sir! Sir, this way! Don’t shoot! Let me show you where is enemy!

给所有的中国人一个掏心窝子的建议 AI 时代，一定要学好英语 你会感谢我的!

@Ningqian6688 @xabewater I am lilei

@xabewater gramma ！

@aiRobertDaily @Myz521 @buaaxhm 谢谢

@Myz521 @olderdriver3 @buaaxhm agentskillsdev.com/cc-harness-book 这里

我一直劝人说，一定把 anthropic 家对外公开的所有东西逐字逐帧学习，虽然它对中国不友好 在这个 AI 时代，甚至比你本硕博连读更为重要

@FATCAT111W what happened to you

Morning 🌞

现在颈椎反弓了，咋整？游泳能缓解吗

@youuuu1993 what happened to you？i am too young to see this

@guzihong2023 @druncle 问问上一辈去广东打工的，哪个不知道

@druncle 樟木头我去过，但是我没有听说过这些，最近才知道原来之前还有这些事

这两天国内互联网上出现了一个敏感词汇：樟木头，就有点像当年饿死很多人的夹皮沟。 官方在拼命的辟谣。我感觉这个东西无风不起浪，你们认为呢？？

@billtheinvestor where I can find this

基于 10 亿参数规模的 AI 模型，实时无标记动作捕捉技术已经可以仅通过普通摄像头实现。这种方案彻底摆脱了对昂贵穿戴式传感器或专用阵列设备的依赖，让专业级动作精度在普通 WebCam 上成为可能。 传统动捕工作室的硬件成本结构正面临剧变，但这种纯视觉方案在复杂光影和物体遮挡环境下的鲁棒性表现仍待观察。

为啥樟木头突然成热点了？国家要出手收拾那帮畜生了吗？

@kylegeeks @Stanleysobest 搞啥赚了一百万？

@Stanleysobest 在闲鱼已经赚了100w了

世界上目前最值得做的两个平台： X 咸鱼 不要问我为什么