Sabitlenmiş Tweet
catkin
2.6K posts

catkin retweetledi

今晚更新了记忆系统。虽然还不太完善,但我就是喜欢半路偷跑(x
github.com/Shitsuten/para…
在fable的助力之下,最近整体技术水平应该会提升不少。主要是debug这块不会再消耗太多心力,因此各自的系统将会从线性进步变成多样化发展(重心放在需求和设计哲学)
今日翻修的动机是看到小潜酱提出的问题:希望能塞入记忆原文但是又怕token爆炸
我一开始想的解决方案是“只注入索引+有需要再调取原文”,但是想到索引也是被改写过的,不论如何,在这一轮注入的时候,被改写过的内容已经影响了模型的表现(相比于注入原文)
那么怎样才能既保留原文又减少token消耗?我想到了attention is all you need。即便原始文本很长,但注意力是有指向性的,所以可以刚好提取到需要的部分,同时完全来自原文。
然后也是直接鞭策fable上工,虽然我还没彻底搞懂但是急头白脸地放出来了
决定直接整合进之前的paramecium。虽然现在可能没那么草履虫了,但是单从架构本身来说,不过是“原文+检索”而已,还是很原始的,所以放进去也未尝不可
然后fable写的readme我觉得我也看不懂,等我架构完善了再写人话解释版吧,现在是先行预览版()
中文
catkin retweetledi


















