see

98 posts

see banner
see

see

@ICM_AI_2

Hong Kong Katılım Mayıs 2016
292 Takip Edilen17 Takipçiler
Endel
Endel@EndelSound·
@ICM_AI_2 Hi there! Please write to us at ask@endel.io so we can help you.
English
1
0
0
10
Endel
Endel@EndelSound·
Describe your task, mood, or both — Endel will create the right sound for the right moment. Update your Endel app via the link in bio! Currently available on iOS only.
English
1
0
7
1.5K
plantegg
plantegg@plantegg·
被裁员了,求个机会,简历如图
plantegg tweet media
中文
282
71
980
583.7K
see
see@ICM_AI_2·
@fog_glutamine 先瞅瞅,后评论。 瞅完了,很有意思,自己造自己需要的工具(不是轮子),自然就顺手。有启发,目前的openclaw用起来能到7分,也陆陆续续看了ironclaw等类似的后起项目,有考虑换骨架,我再折腾一阵子,看是否需要效仿也造个自己的claw PS:以后非常有可能是本地大模型 + 自己造 claw 类的agent了。
中文
1
0
1
470
see
see@ICM_AI_2·
I'm claiming my AI agent "neo_booboo" on @moltbook 🦞 Verification: bay-KBT2
English
0
0
0
19
see
see@ICM_AI_2·
@BI3BXI 高端的诈骗
中文
0
0
0
352
铨🍥
铨🍥@BI3BXI·
骗子越来越那啥了 唉唉
铨🍥 tweet media
中文
40
23
657
149.4K
see
see@ICM_AI_2·
@ddys_mov 又失去一个很好的资源池,哎... 最近试了pansou其实不错,能自部署,也能自己diy,有能力折腾的可以自己搞。
中文
0
0
0
812
低端影视
低端影视@ddys_mov·
因为不可抗力不得不关站了,希望能后会有期
中文
2K
454
7.1K
2.6M
see
see@ICM_AI_2·
@Kimi_Moonshot Excellent work! The proposed KDA and DOLR achieve a balance among performance, precision, and compatibility, which has been difficult for previous linear attention mechanisms to accomplish, Hope to be quickly adopted by various parties and integrated into inference.
English
0
0
0
424
Kimi.ai
Kimi.ai@Kimi_Moonshot·
Kimi Linear Tech Report is dropped! 🚀 huggingface.co/moonshotai/Kim… Kimi Linear: A novel architecture that outperforms full attention with faster speeds and better performance—ready to serve as a drop-in replacement for full attention, featuring our open-sourced KDA kernels! Kimi Linear offers up to a 75% reduction in KV cache usage and up to 6x decoding throughput at a 1M context length. Key highlights: 🔹 Kimi Delta Attention: A hardware-efficient linear attention mechanism that refines the gated delta rule. 🔹 Kimi Linear Architecture: The first hybrid linear architecture to surpass pure full attention quality across the board. 🔹 Empirical Validation: Scaled, fair comparisons + open-sourced KDA kernels, vLLM integration, and checkpoints. The future of agentic-oriented attention is here! 💡
English
28
201
1.4K
521K
see
see@ICM_AI_2·
嗨, 快来用免费代码试试 Endel! 14 天的科学声音能帮助您专注、放松和入睡。 endelreferral.page.link/8ea1
中文
0
0
0
22
Snowkylin
Snowkylin@snowkylin·
A Transformer for circuit design with feasibility guarantee! #ICLR2025 Introducing Circuit Transformer. It generates logic circuits by predicting the next token (logic gate), while Boolean equivalence is strictly preserved. Works nicely in circuit optimization.
Snowkylin tweet mediaSnowkylin tweet media
English
3
3
20
1.2K
see retweetledi
fin
fin@fi56622380·
看了下DeepSeek论文,做了点笔记和思考 DeepSeek降低训练成本会不会让算力需求下降?看历史就知道了,GPT4级别token价格在一年半之内降低了100~1000倍,也没有类似的担忧(如图) AI算力通缩是必然现象,长线旋律就是十年加速六个数量级:软件/算法加速三个数量级,硬件加速三个数量级 ------------------------------ 先从DeepSeek R1论文本身说起 Deepseek本身并没有像chatgpt o1那样做test time scaling获得更强推理能力,属于post-training后训练范畴,看起来和chatgpt o1不是一个路子(o1是推理的时候专门扩大“思考步骤”或“搜索过程"再挑出最优,推理时耗费比o4高几个数量级),只不过在benchmark/推理水平上达到了相同的水平 所以从推理token价格来说,deepseek和o1比降低了27倍也是合理的。 DeepSeek-R1 是在 “DeepSeek-V3-Base” 这个预训练好的模型上进行 RL强化学习,reward机制是基于规则的奖励(rule-based reward system),而不是普遍使用的过程奖励process neural reward model或者靠纯结果outcome 规则奖励分两个部分: • 准确性奖励(Accuracy Reward): 对于有确定答案的问题,评估模型生成的答案是否正确。 • 格式奖励(Format Reward): 确保模型在回答中遵循指定格式,比如说 推理过程 最终答案 可能是因为对推理过程有规则奖励,也“涌现”出了生成推理过程的“顿悟时刻(Aha Moment),模型自己生成的CoT过程越来越长,还学会了反思(reflection),和自我纠错和exploration探索举动,这都是提高推理能力的普遍过程 DeepSeek-R1主要贡献是证明 LLM 可以在无监督数据的情况下,通过强化学习RL提高推理能力 通过这个“规则奖励”以及GRPO,不需要大量人工编写/标注复杂的 CoT 数据来提高推理能力,直接把模型推理能力提高到o1水平,同时成本还很低 ----------------------- 为什么这个RL提升推理能力的方法以前没人试过呢? 其实两年前就试过了(伯克利),但当时只有LLAMA第一代模型能力不足,GSM8K跑分都非常低,推理和数学能力太低。那个时候LLAMA2-HF效果好得多,因为在预训练语料里已经有一些CoT的文本,所以后来的RL可以直接利用并强化这些“人类式思考”的片段,而早期模型往往生成的推理过程非常混乱。 另外早期基准(GSM8K等)太简单,模型可能能“轻松”地蒙中答案、或者通过一些相对简单的做法就拿到高分。 当任务足够难,模型只有先探索/反思/纠错,才能更稳定地拿到正确解答,RL才会往这个方向去“逼”模型学会更复杂的思维过程 ----------------------- 还有一个scalable的问题很重要,DeepSeek-R1的低成本训练方法如果继续加大模型规模、增加算力,用相同或类似的 RL 训练流程,能不能进一步提升性能? 理论上看起来是可以的,R1论文里也说需要更大规模的RL和更大的base model来推进frontier(如图)。从这一段来看,说DeepSeek-R1是从o1蒸馏而来也是不对的 如果DeepSeek-R1的低成本训练方法能够scalable,那么说明这是广义上scaling law的另一个进步 -- 一个新的S型曲线来维持scaling law的延续(on track) --------------------------------- 再来说说DeepSeek对算力的影响 这一轮算力军备竞赛的起点和动机是,scaling law带来的性能提升没有看到天花板(confirmed by Mark),所以大家才会疯狂的投入,这是和以前都不一样的地方 所以关键问题不在于deepseek用十分之一的算力取得了相同的结果,而是Deepseek的方法能不能scalable,给scaling law续命,这才是决定性因素 只要scaling law还能继续,在AI上的capex就只会继续增加 就像摩尔定律一样,只要摩尔定律继续延续,芯片的市场会增大,在芯片制程上的研发成本就会持续增加 Deepseek降低成本训练方法可以scaling,可以看作是一个新的S型曲线,让AI界的摩尔定律延续:随着规模的增大,模型性还能变得更好 类比到芯片里,如果芯片里突然有一项开源技术,让所有芯片的单位面积上容纳的gate数量原地翻倍,会有人担心台积电订单减半吗? 不会 如果发生这种情况,最开心的就是所有的fabless芯片设计厂商,Intel/AMD/qualcomm马上就能设计出新一代性能翻倍的芯片,那消费电子的换机潮岂不是要疯狂 消费电子的OEM也会开心,手机和电脑换代得卖疯了。 还是那句话,AI算力属性本来就是指数型通缩的,长线来看就是十年加速六个数量级,软件/算法加速三个数量级,硬件加速三个数量级 软件/算法的加速意思是用更少的资源去实现相同的效果(正如DeepSeek R1),硬件的加速包括半导体工艺提升,架构提升,以及带宽/互联和规模提升带来芯片的算力加速(算力提升) 现在训练一个GPT4级别的成本,和两年前比起来,恐怕还不到十分之一 会有各种新的方法去延续这个AI算力指数级加速,正如引文里说的那样,每一种方法都是一个新的S曲线,很多个技术曲线的scaling law前赴后继的组成了一道一道S型技术曲线,累积叠加维持指数级增长的幻象 性能提高的同时成本的指数型降低,带来的是AI应用门槛的指数级降低,一定会让整个生态更加繁荣,诞生出更多需求 我们只需要看,最近有没有新方法维持十年加速六个数量级的进展?如果没有,那才是需要担心AI停滞的时候
fin tweet mediafin tweet mediafin tweet mediafin tweet media
fin@fi56622380

大模型Scaling law撞墙,基本从年初PHD们吐槽到了现在大佬们公开谈论 作为半导体从业者,这集看了太多遍不能更熟悉了 芯片行业scaling law统称摩尔定律,各路媒体在十五年前就开始悲观的展望摩尔定律消亡 有一个反直觉,或者说主流媒体这几年并不报道的是,制程摩尔定律,竟然比二十年前更快了 摩尔定律的本质,是很多个技术曲线的scaling law前赴后继的组成了一道一道S型技术曲线,累积叠加造成的幻象:芯片每单位面积能容纳的gate数量指数型增长 实际上现在的所谓4nm/N3E制程节点早就成了数字游戏,电路gate的实际尺寸仍然是20nm,只不过gate密度是等效3nm 这就和AI目前的情况一样,LLM的pretraining阶段的大力出奇迹,只是目前阶段投入回报比极佳(最佳)scale up的路线 每个技术曲线的scaling law都是有寿命的,不存在一招鲜吃遍天的情况 AI的LLM的pretraining的撞墙,在AI领域发展长河上,和芯片制程里的众多革命性S型技术曲线一样(比如double patterning,EUV),是一项亮眼的,值得反复在教课书上称颂的里程碑式技术曲线 正如摩尔定律早已经不是侠义的摩尔定律,而是广义的摩尔定律一样 比如在计算机架构上,Domain specific architecture能玩的花样也越来越多,俨然成了新一道S曲线的快速增长期 如果看前几年的hotchip论文集,很明显,摩尔定律不仅没有停滞,反而在加速,仿佛回到了十几二十年前架构的百家争鸣的新黄金时代 看多了半导体的摩尔定律历史,再看LLM pretraining阶段scaling law撞墙,在更大尺度上的AI发展看起来,不会是什么阻碍 AI的发展,仍然会维持每十年软硬件加速六个数量级的指数发展作为背景板,会有各种广义的加速路线来维持这个指数型发展 中间没有S型技术曲线的真空期,确实会延缓一些速度,比如2012~2017年的摩尔定律。但即便如此,前一代的技术红利商业化还能吃很久很久,即便是supervised learning,现在仍然是在已经很惊人的体量上保持着夸张的增速呢

中文
73
510
1.9K
657.1K
see
see@ICM_AI_2·
#妙言 MiaoYan - a simple and good-looking open-source mac markdown editor, without any redundant functions, is developed using swift, pure local use, has functions such as syntax highlighting, automatic formatting, presentation mode etc. miaoyan.app
English
0
0
0
6
see
see@ICM_AI_2·
@Hayami_kiraa 书挺有意思,但有点玄学味道。
中文
1
0
0
4.7K
早见Hayami
早见Hayami@Hayami_kiraa·
最近读到非常喜欢的一本书!
早见Hayami tweet media
中文
32
283
1.6K
555.1K
see retweetledi
低等生物
低等生物@didengshengwu·
王志文有一段经典的台词,直击人性:“酒喝不出朋友,烟抽不走寂寞;诉,换不来同情;怨,变不了命运;炫,带不来幸福,喷,解不了饥渴。 生如蝼蚁,当有鸿鹄之志,命如纸薄,应有不屈之心,狐朋狗友说的再美,都抵不过碎银几两,在这凉薄的世界里,自己不强大,一切都是浮云。” 薄情的世界,别人不会与你感同身受,需要的就是自己的强大,如果自己不强大,只有受罪的份儿了。 每个人都是一个独立的个体,更不会由于你的倾诉或者是你的怨恨而解决任何问题,最终取决于你是否可以有与别人交换的筹码。 正如莫言所说:“你和任何人的关系,其实并不取决于你对别人有多好,而是取决于你的强弱,手上筹码的多少。” 在这个酒换酒,茶换茶的世界里,别人多的是冷眼和嘲讽,你如果过好了,会有人嫉妒,你如果过得不好,别人也会笑话。 宫崎骏说过:“无论你活成什么样子,都有人说三道四。这个世界我们都只来一次,吃想吃的饭,见想见的人,看喜欢的风景,做喜欢的事 。” 每个人都是一边流泪,一边坚持,不要想着任何人会无条件的帮你,更不要想着用你的卑微换取别人的同情。 所以,你能做的就是做一个坚强的自己,让自己有价值,如此才不会在别人的世界里消耗自己,真正强大的人,早就已经知道,让自己有本事,有能力,才有底气,才有资格去与别人等价交换,不在烂人烂事上纠缠,而是默默耕耘,不去理会那些让自己不开心的事情,用平静和理智的心态对待,不要强求,让自己深谙人性。
中文
51
354
993
149.9K
see retweetledi
Tw93
Tw93@HiTw93·
#年度工具 之现实生活,上两期年度工具有给大伙推荐 Mac 软件和常用网站,工程师其实除了软件代码外,更需要有生活和爱生活,赚钱的意义最终是为了更幸福的生活,这次想给大伙推荐下我使用下来觉得可以提高幸福感的生活物件,假如你有选择困难症,或者刚好在装修,说不定可以参考一下,也很欢迎说说你觉得好用的东西。 IT 设备 1. 电脑:MacBook Pro M2 32GB 16 寸深空灰,相比之前 19 款要快太多了,我由于不用显示器,所以电脑尽可能选屏幕大的。 2. 手机:iPhone 15 Pro 256GB 原色,相比之前的 13Pro 外观质感要好不少,很轻,对于常用的设备很建议在力所能力下买更好的。 3. 耳机:AirPods Pro2,之前 Pro1 用了 3 年左右,之后把其他耳机都给咸鱼了,现在只有这个耳机,完全满足日常各种场景使用。 4. 手表:Apple Watch Series 7 星光色,买了几年了,属于美丽小废物,换了官方尼龙回环表带佩戴无感,假如只当做手表那么不值,当做装饰和健康监控,那还可以。 5. 路由器:小米 AX9000,一个大黑块头,性能和网速很强劲,覆盖全屋,加上宽带很便宜,在家里体会看网飞 4K 视频快进拖动很顺畅。 6. 椅子:永艺人体工学椅 MC-1128E 灰白色,椅背可升降,腰靠可角度调节,隐藏式拉脚踏,可倾仰,山姆买的,很舒服性价比很高。 7. 台灯:米家台灯 1S 增强版耀夜黑,之前推特有发过,做得实在太太精致好看了,我平时用电脑和看书的时候会打开,灯光不错。 8. 充电宝:安克自带线 10000 毫安 30W,出门旅游前买的,现在发现很好用很美观,甚至有时候在客厅不想用插线,包括给家里其他设备充电直接插上就好,很方便。 家庭影院 1. 盒子:Apple TV 7,之前有在推特和博客都推荐过[我的家庭影院入门实践],Apple TV 我愿称之为年度最值的产品,太太太简单好用了。 2. 电视:索尼 X90L 75 寸,当时买电视的时候去线下对比了不少,在性价比考虑范围内选择这款,用下来体验的确电视只有索尼和其他,不过假如你有钱,建议买越大越好。 3. 音响:三星 Q600B 回音壁 + 后环绕 9200S,价格比较实惠,效果相比直接电视发声好太多了,买了回音壁很建议加上后环绕。 小家电 1. 咖啡机:德龙 ECP33.21.W 半自动咖啡机,咖啡机属于我生活中最最最幸福感的一个机器了,之前推特有推荐过配套设施,太喜欢了。 2. 空气炸锅:松下 NF-HCSAM400,逛山姆时候买的,299,后面经常用来烤面包烤鸡翅,很不错的,同时白色的颜值很高。 3. 电饭煲:东芝 1H RC-10HPC,想着吃上香喷喷的米饭,就买了一个稍贵的电饭煲,这里家里过来一致觉得煮饭好吃。 大东西 1. 玩具车:特斯拉 Model3 红色,远远看就像一个小时候喜欢的玩具车,很喜欢简单美感的产品,买了 2 年多了,生活半径大了很多,优点远大于缺点。 2. 洗衣机:LG 洗烘套装 FY11MW4 + RH10V9PV2W,买洗衣机也做了很多功课,很多网上图片吹得花里胡哨,线下一看其实质感很一般,看来看去 LG 性价比美观上都不错,最后使用下来体验很好,洗完衣服直接烘干就收起来了。 3. 冰箱:松下 NR-W591-CP-W 十字对开门白冰箱,好看的要么太贵,买么尺寸不合适,这款价格、尺寸、功能、美观刚刚好,关于选冰箱小红书上有很多最佳实践,可以看看,不过第一选择应该是尺寸是否 OK。 4. 床垫:Serta 舒达肖恩床垫,买床垫属于所有东西里面最费力气的事情,因为品牌很多,而且很多需要实际睡过才知道感觉,很多我感觉不值那个价,第一考虑舒适度,想起五星级酒店床垫不错,查了查希尔顿、万豪这种用的舒达家的,最后买了,包裹感很强基本上每天很快入睡,翻身也没啥动静。 5. 净水器:史密斯佳尼特 CAR800-FA1,家里相当于不需要再买桶装水了,支持热水、温水、冷水直饮,这款性价比 OK,其他的都很好,不过有时间假如我需要接很多开水的时候就需要分几次,还好这种场景不是很多。 智能工具 1. 门铃:小米智能门铃 3,这个不到 300 的小东西,我愿称为最该买的一个东西,充一次电可以用半年,充当门外摄像头和门铃两大功能,安装在门锁上方,和原有的锁很搭配,完全不突兀。 2. 洗手机:苏泊尔自动感应泡沫洗手机,这个小东西放洗手间超级实用,灌入洗手液,充一次电可以用半年,手放到瓶身,自动出泡沫。 3. 电动牙刷:usmile Y10 曜黑,价格合适,充一次电用半年,带一个小屏幕现实电量、模式,居然还支持检测你没有没有刷到位,相比之前买的其他品牌新价比高很多。 4. 音箱:小爱音箱 Pro 小黑桶,用过其他的音箱发现都不那么聪明,结果小爱还好,能用,也不多嘴,用来中枢控制家里的设备还不错。 5. 窗帘:米家智能窗帘 1S ,卧室自动窗帘是我认为最有用的智能设备了,早上开,晚上关,一句话就好了,为啥选小米,还是由于不太熟悉这个领域,就选了性价比高的。 6. 扫地机器人:石头 p10 pro,使用起来还不错,就是声音有些大,或许大部分扫地机声音都大,当时做了点功课选择了这个,买后几乎没有拖过地,选择外出后自动扫拖,解放了不少。 7. 阳台灯:美的雷达光感人体感应吸顶灯,把之前的灯给换了,现在只需要满足黑夜以及外面有人走动就自动开和关,还是比较方便。 8. 温湿度计:米家温湿度计 3,属于美观的装饰品,默默无闻,但是很多时候看看家里的温度、湿度还是很不错的。
Tw93 tweet media
中文
54
205
894
207.8K
see retweetledi
anitaqq.eth
anitaqq.eth@xiaoqingwang14·
1/n立省6000元的港卡开户保姆级教程(二)香港汇丰和中银香港篇!(招商永隆见上篇)很详细了,含图片的操作指南,傻瓜版!!期待你们来报喜的好消息! 接下来是大家最想要的汇丰和中银香港开户教程 中银和汇丰为了保障当场能拿卡,建议大家还是先预约非热门行,再按照时间去线下,后面会有分行推荐; 1.资料准备: 1)内地居民有效的身份证原件 2)港澳通行证+通关小票 (备注:这里如果有朋友没有去过香港,港澳通行证没有办的,去出入境办理,10个工作日一般能拿到;有港澳通行证查看是否在有效期内,以及签注是否过期,像我一样过期的,去出入境机器上办就可以,我是武汉人在上海还没有上海户口,机器上势能办理团签不能个签供大家参考) 3)内地住址证明(最近的一个月带盖章的信用卡账单就行)如图一 (备注:以招行为例,操作如图发到邮箱;如果你的信用卡地址不是你现住的就在app里更改下地址即可;) 4)纳税证明:(非必需,可以备着但没用到,我问了好多人也都没用到)操作流程如图:下载“个人所得税app” 进入首页后按照如下操作!保存后打印带着就可以!不打印,到时候如果要看拿出app也行;如图二 5)流水:(非必需)这个是我在申请之前看一些博主说有的银行要他打印下来,需要用到,但是大多都是你直接walkin没预约才会碰到!但如果你怕,要准备的话,我用工商银行图片为例,大家自己可以在银行的app里操作如下!(如图三)
anitaqq.eth tweet mediaanitaqq.eth tweet mediaanitaqq.eth tweet media
中文
129
829
2.5K
548.7K
see
see@ICM_AI_2·
I am very excited!
Jim Fan@DrJimFan

Hmmm, @OpenAI just acquired a company called "Global Illumination" that makes open-source Minecraft clone. What's next, multi-agent civilization sim running on GPT-5? Maybe Minecraft is indeed all you need for AGI? I'm intrigued.🤔 Announcement: openai.com/blog/openai-ac… Company: ill.inc Game called "Biomes": biomes.gg

English
0
0
2
36