




Haolai(Anthony)Che
98 posts

@ZeroSurega
Constantly questioning why it is what it is. Computer Science Ph.D. candidate @CWRU DB Group







Introducing 𝑨𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏 𝑹𝒆𝒔𝒊𝒅𝒖𝒂𝒍𝒔: Rethinking depth-wise aggregation. Residual connections have long relied on fixed, uniform accumulation. Inspired by the duality of time and depth, we introduce Attention Residuals, replacing standard depth-wise recurrence with learned, input-dependent attention over preceding layers. 🔹 Enables networks to selectively retrieve past representations, naturally mitigating dilution and hidden-state growth. 🔹 Introduces Block AttnRes, partitioning layers into compressed blocks to make cross-layer attention practical at scale. 🔹 Serves as an efficient drop-in replacement, demonstrating a 1.25x compute advantage with negligible (<2%) inference latency overhead. 🔹 Validated on the Kimi Linear architecture (48B total, 3B activated parameters), delivering consistent downstream performance gains. 🔗Full report: github.com/MoonshotAI/Att…






Thrilled that our paper received the only perfect score at NeurIPS this year. Huge thanks to my collaborators and the reviewers. See you in San Diego! limit-of-rlvr.github.io papercopilot.com/statistics/neu… credit to @papercopilot




突然想聊一下我的关系比较“敏感”的Mirror童鞋 我和Mirror认识在19年我组织的币安的黑客松,这位大哥连赢两场所以与我结识。我从交易所离职出来打算做点事情,由于我对于技术的超级匮乏所以第一时间找了Mirror。 Mirror考虑了一秒钟说了Yes,所以我们做了开始了 @geek_cartel 基金的雏形,我们的想法简单幼稚无比,即“希望用技术,市场等项目方创业需要到的硬实力帮助一起成长。最早从非常DAO的形式尝试到正式成立基金,再到看到一地鸡毛我们理想的希望通过真正的安全更优性价比为行业的项目方保驾护航的 @salus_sec 安全公司。 我们在一起紧密合作2年多吧,彼此都有极度的厌蠢和理想主义,我们吵架无数干哭对方也是有过发生。 最后我们拆伙了。我们实在没有办法找到既可以保障基金利益又可以保障Salus安全公司利益前提下高速运转两个这个周期比较难度级的初创公司。最重要的是,我认为Mirror偏离市场,偏离用户根本需求,只是一味的满足个人心理。 之后,也是经常可以看到他发表很多不得体的言论。搞得我像老母亲一样私下劝他(当然基本都无果 🤷)我当时很庆幸我的选择。 可突然,他在我的视野里成为了一个代表项目方冲在第一线永远和用户站在一起的“领袖”; 他突然有一天可以做到USDe脱牟时间马上组织AMA边第三视角的和用户保障利益前提下来分析利弊,尊重用户所有的行为。用户这边说撤资金,他马上说好的,马上安排撤出; 当用户提出质疑和建议,他能真正的聆听并回复:“感谢你的建议,祝你发财 😂” 我知道这个高智商低情商的曾经的男孩长大了,虽然现在仍然很不完美。但是他一直在向更好迈进。 愿,时光给予他更多的温柔,相信他对很好的对待这个世界。 最后,问一句 @mirrorzk 你曾经想改变世界的理想还在吗?




今天收到了自己学校的退学处理通知 我想起来那个很有名的采访,清华北大和一个亿你选什么 我是上海双一流和一个亿你选什么? 进入社会的人生用小说概括就是: 第一集:初上大学没钱到处兼职 第二集:区块链?不是搞诈骗的吧 第三集:我在huobi的升职之路,男大也能当管理? 第四集:算了不上了,勇敢梭哈 番外:代理4k个eth的那些日子 第五集:终于赚了,huobi被收购?我直接辞职躺平 第六集:爆仓,一贫如洗,房租交不起,下海做直播 番外:直播求大哥大姐刷礼物的日子 第七集:去迪拜基金好好工作,我能东山再起 第八集:辞职!成就自己 番外:长太丑了怎么办?一年六个手术换脸 第九集:只有7wu怎么还敢做投资? 第十集:交易!成就自己! 第十一集:关于你选择一个亿还是上海双一流大学? 大家喜欢看那个章节呢?

想系统学习数学知识,网上的教材、视频课程、练习题非常多散落在各个地方,要找到质量高的学习资料特别耗费时间。 恰巧,在 GitHub 上看到了 Awesome Math 这份精心整理的数学学习资源清单,已经获得 10000+ Star。 收集了数学各个知识的优质学习资源,涵盖代数、几何、分析、概率统计、数论等 30 多个领域。 GitHub:github.com/rossant/awesom… 同时提供多种学习方式,比如视频教程、电子教材,以及练习工具等,甚至还有 MIT、哈弗等名校学生的课程笔记。 所有资源都经过精心筛选,目前还在持续更新当中,想自学数学的同学,这份资料值得收藏一下。
