Yuu💖

6.6K posts

Yuu💖 banner
Yuu💖

Yuu💖

@QuantumTransf

ACMer & Computer Science Enthusiast | Lesbian | 💖love maimai & 📝writing | 🐱Catgirl | 🌌Know you will wake,on winds rise again | 💝I'll always be with you.

Shibuya-ku, Tokyo Beigetreten Ağustos 2023
382 Folgt2K Follower
Angehefteter Tweet
Yuu💖
Yuu💖@QuantumTransf·
Know you will wake, on winds rise again 知道你终会醒来,从那之后天空即为极限 For this journey's end but one step forward to tomorrow… 而这旅途的终焉,即为迈向明天的开始
Yuu💖 tweet media
中文
1
0
23
4K
Yuu💖
Yuu💖@QuantumTransf·
@BH3GEI_CN 有道理,不然通话时长要不足了(
中文
1
0
3
25
Yuu💖
Yuu💖@QuantumTransf·
真的没有人想过把 token 翻译成话费吗 你想想,llm 说的每个 token 都要钱,那可不就是话费吗 我知道你看到这里肯定想骂我了 但是骂,骂也要 token
中文
6
0
37
1.5K
Yuu💖
Yuu💖@QuantumTransf·
@BH3GEI_CN 确实,因为你昨天 v 了我 50
中文
1
0
0
92
Yuu💖
Yuu💖@QuantumTransf·
@StarNekOvO 对,token 本义就是代币的意思( 但是话费更中文特色一点(不
中文
1
0
4
155
牛奶喵
牛奶喵@StarNekOvO·
@QuantumTransf 窝感觉叫代币xxx 街机厅里的投币也是叫 token
中文
4
0
20
318
雨季🌠
雨季🌠@ukitheocog·
@garrulous_abyss 5^141 (mod 7) = 5^6^23 x 5^3 (mod 7) = 1 x 125 (mod 7) = 6 (mod 7),也就是 1+6=7 星期天...但即便不用费马小定理也能总结 mod 7 的循环规律.
中文
1
0
1
125
Yuu💖
Yuu💖@QuantumTransf·
@goocarlos 好有意思的广告,喜欢 dify
中文
0
0
7
506
Icemelon🍉
Icemelon🍉@hawtim_z·
@QuantumTransf @0xNeoHeng @TaNGSoFT 没,agent 每次对话只是把上次的内容一起带过去,只是命中缓存费用会低,但也不是不要钱。比如我实现一个 workflow 就来做生码,调用一次代码输出完成就结束了,这种没必要塞很多东西吧?我是这么理解
中文
1
0
0
45
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
消化了一下MSA,Memory Sparse Attention:本质上是利用attention机制对本地文本的学习,包括与LLM交互的trajectory文本。 MSA 填补了"单次会话内的超长上下文"这个格子。这个格子之前要么靠 RAG 外挂(不是真正的 in-context),要么靠暴力扩窗口(计算不可行),现在 MSA 提供了一个端到端的原生解法。 从 NTT(Next Turn Prediction)的框架看:MSA 让单个 turn 内的推理能够访问更完整的历史,这提升了每个 turn 的质量上限。但 turn 与 turn 之间的连续性问题——这个 M-step vs. E-step 的边界问题——MSA 没有触及,也不应该触及。这是两个不同层级的问题。 最终判断: MSA 是序列轴上的真实突破,不是炒作。但它解决的是会话内的超长记忆,不是跨会话的持久记忆。"让大模型原生拥有超长记忆"这个描述是准确的——但"超长"的边界仍然是单次推理上下文,不是真正意义上的情节记忆(episodic memory)。 真正的持久记忆问题,在 TASTE.md 和 GOTCHAS.md 的工程层面依然需要解决——因为那个问题的本质是M-step 结果的跨会话持久化,而 MSA 优化的是 E-step 内部的信息访问效率。两者都需要,在不同的层级上工作,没有一个能取代另一个。
艾略特@elliotchen100

论文来了。名字叫 MSA,Memory Sparse Attention。 一句话说清楚它是什么: 让大模型原生拥有超长记忆。不是外挂检索,不是暴力扩窗口,而是把「记忆」直接长进了注意力机制里,端到端训练。 过去的方案为什么不行? RAG 的本质是「开卷考试」。模型自己不记东西,全靠现场翻笔记。翻得准不准要看检索质量,翻得快不快要看数据量。一旦信息分散在几十份文档里、需要跨文档推理,就抓瞎了。 线性注意力和 KV 缓存的本质是「压缩记忆」。记是记了,但越压越糊,长了就丢。 MSA 的思路完全不同: → 不压缩,不外挂,而是让模型学会「挑重点看」 核心是一种可扩展的稀疏注意力架构,复杂度是线性的。记忆量翻 10 倍,计算成本不会指数爆炸。 → 模型知道「这段记忆来自哪、什么时候的」 用了一种叫 document-wise RoPE 的位置编码,让模型天然理解文档边界和时间顺序。 → 碎片化的信息也能串起来推理 Memory Interleaving 机制,让模型能在散落各处的记忆片段之间做多跳推理。不是只找到一条相关记录,而是把线索串成链。 结果呢? · 从 16K 扩到 1 亿 token,精度衰减不到 9% · 4B 参数的 MSA 模型,在长上下文 benchmark 上打赢 235B 级别的顶级 RAG 系统 · 2 张 A800 就能跑 1 亿 token 推理。这不是实验室专属,这是创业公司买得起的成本。 说白了,以前的大模型是一个极度聪明但只有金鱼记忆的天才。MSA 想做的事情是,让它真正「记住」。 我们放 github 上了,算法的同学不容易,可以点颗星星支持一下。🌟👀🙏 github.com/EverMind-AI/MSA

中文
6
8
48
7.2K
Yuu💖
Yuu💖@QuantumTransf·
@hawtim_z @0xNeoHeng @TaNGSoFT 其实这个 cache 是一个类似 disk 的东西,大模型厂商如果真跟进的话应该会提供获取这个 cache 的 api 而一般 agent 实现都是多次会话,不可能单次会话的
中文
3
0
0
65
Icemelon🍉
Icemelon🍉@hawtim_z·
@QuantumTransf @0xNeoHeng @TaNGSoFT 我就没懂这个地方,什么需求要直接塞完整所有可能相关的信息的。如果只是单次会话不是费用爆炸?还是那个巨大上下文直接命中 cache?
中文
1
0
0
64
Yuu💖
Yuu💖@QuantumTransf·
@0xNeoHeng @TaNGSoFT 你好,agent 不可能一直挂着一个 react loop 然后一直等外面 append 消息的,这不现实,真上生产成本能把你吓死
中文
2
0
1
74
Neo
Neo@0xNeoHeng·
@TaNGSoFT 你要不再想想你说了啥?上下文窗口大到一定程度还用得着什么多次会话吗?会话一直维持在一个上下文窗口里你所谓的长期记忆不就实现了吗?
中文
3
0
0
198
Yuu💖
Yuu💖@QuantumTransf·
@kehao95 有可能,等我们发布就知道了(
中文
0
0
1
37
Hao Ke
Hao Ke@kehao95·
@QuantumTransf 想起来是搜 unix 才关注的你,期待但好奇我们是不是走上了同一条路
中文
1
0
1
11
Yuu💖
Yuu💖@QuantumTransf·
我的架构永远领先于我的代码实现 我感觉两者之间已经差了好几个版本了 写不完,根本写不完(
Yuu💖 tweet media
中文
3
0
22
1.3K
Yuu💖 retweetet
風神
風神@kazekami_chino·
#maimai_art 完成していますが
風神 tweet media
日本語
8
236
2.2K
23.4K
Yuu💖
Yuu💖@QuantumTransf·
@repsiace 嗯,我们想了一下最终得出的架构是类似于组件化内核的做法,我觉得它非常的 fantastic,但具体该在 plugin 和 module 上开放到什么程度,也许只有实践了才能得出答案 我们最终的构想也许是一个基于我们这套 protocol 的 agent network,但目前离那还太过遥远
中文
1
0
1
247
PsiACE
PsiACE@repsiace·
我们在看到 bub 能工作还不错的时候就在想,哪些能力重要,哪些能力不需要, frostming 在上面边思考边实践,他很快写了《创造一只龙虾,需要些什么?》 而我的幻觉在那段时间无限放大,如果未来存在 Agent 与人共生的时刻,那么什么样的 Agent 会是 bub 。遵循 bub 的理念的,那可能就是了。 所以最后我们觉得 bub 可能需要变成一个不同的样子,和 piglei 的《AI 编程是一种“框架”》共鸣之下,框架化可能是一个不错的方向。
中文
1
0
14
2.1K
PsiACE
PsiACE@repsiace·
bub 从一个群聊的助手变成一个基本框架就是因为我们很难让其为所有可能的方向优化 我更推荐从一个基础的状态开始,让 bub 在业务中生活,构建符合真实场景的插件和技能
Leechael@Leechael

这些天分别和不同的朋友聊 agent 的落地,单纯从一个垂类来看,通用 agent 限制还是有点多。agentic saas 会有特定的工作流,会需要一个特定的工作协助空间,这都不是通用 agent 能完成的。IM gateway、记忆、定时任务、大量的工具(skills)只是入门门槛。

中文
3
2
20
2.9K
Yuu💖
Yuu💖@QuantumTransf·
@Hydrogen0E7 而写完代码把架构和代码一起改的程度远高于单独改架构(不
中文
0
0
1
70
HydrogenE7
HydrogenE7@Hydrogen0E7·
@QuantumTransf 应该就是如此,改架构的麻烦程度远高于改代码
中文
1
0
3
229
Yuu💖
Yuu💖@QuantumTransf·
@TKongtou agent os(这么说会不会被打 但我们确实在认真用 os primitive 做这方面的东西 而不是像上个时代的 aios 一样套个壳
中文
1
0
1
51
Yuu💖
Yuu💖@QuantumTransf·
@rien7z 感觉自己还什么都没有做🥺
中文
0
0
2
14
Yuu💖
Yuu💖@QuantumTransf·
2005 fo 纪念(这是我的出生年w) (我才不会说是 2000 fo 没截上(((
Yuu💖 tweet media
中文
12
0
74
1.6K