Datou

28.6K posts

Datou banner
Datou

Datou

@Datou

shenzhen شامل ہوئے Şubat 2007
211 فالونگ20K فالوورز
biantaishabi5
biantaishabi5@biantaishabi5·
@Datou @xicilion 这只是存储从外部搬到了内部,这是现在绝大多数人做记忆的误区,想认为有了记忆就有了认知,但是记忆只是认知的结果,所以这些所谓的记忆只是做成了记事本备忘录,模型要解决是个问题就要学人脑在大脑皮层外搞一个前额叶,这东西还是不是现在的大模型的形态不好说了,但数学上和大模型一样还是一个势场
中文
1
0
0
27
Datou
Datou@Datou·
@xicilion 发了一段评论又删了,大概意思是,当 AI 具备了极强的编程能力,它就获得了一种“可以自己发明工具、自己精确编排逻辑”的元能力(meta-ability),这是 agent 从人工的机械的工作流编排跨入到自主编排的重要基础。在此之上,进行 agent 路径训练内化自主性,才有了今天的 agent。
Datou@Datou

远见

中文
2
0
2
1.5K
biantaishabi5
biantaishabi5@biantaishabi5·
@Datou @xicilion 模型公司解决不了这个这个问题,是因为模型只能做单次算子
中文
1
0
0
22
哈哈侠
哈哈侠@desperadocn·
@Datou @biantaishabi5 法务也未必是想赢这个逾期利息 纯叠甲,万一回头被内追责为什么起诉时不追讨 他得自己煽自己耳光.....
中文
1
0
0
11
Datou
Datou@Datou·
@biantaishabi5 反正都走到起诉了,那就尽量争取呗,不然怎么写周报月报
中文
1
0
1
93
biantaishabi5
biantaishabi5@biantaishabi5·
@Datou 银行太贪了,还要他逾期的费用啥的。加上3万块钱。后来法院说,他也不是有意给你逾期的,他是突然意外死了,这是不可抗力。这银行法务感觉有点傻逼
中文
1
0
5
386
Datou
Datou@Datou·
@biantaishabi5 @xicilion 这就是模型公司要解决的问题,人类就不是这样学习的,我们有世界模型。 模型只懂因果的说辞,人类懂因果的机制,这就导致模型很难区分“因果关系”和“强相关性”,遇到从未在语料中出现过的极端物理长尾分布时,概率模型就会失效。jepa 路线也许有戏,大家都搞不定那就卡在这了,等心理学和脑科学进步吧。
中文
1
0
0
34
biantaishabi5
biantaishabi5@biantaishabi5·
@Datou @xicilion 黑盒目标,这恰恰是强化学习的难题。他没法给出梯度来,多步任务是有时间的序列的,单次调用没有时间的。他要是能用黑盒目标来训练的话,你就是相当于把无数条有不同因果关系的轨迹压缩到同一个分数里,这在信息上是不可能的。放到量子力学里,你就是相当于要从那个坍塌的分数去反推那个波函数。不可能
中文
1
0
0
32
Datou
Datou@Datou·
@biantaishabi5 @xicilion 这就是训练目标的问题啊,白盒强化学习简单就猛猛干,黑盒探索难就躺平了。比如现在进行绿野仙踪测试,让一个研究员看着 harness 给的信息工作,看最后能不能完成工作,肯定能完成,因为 harness 给的信息比现实工作中只多不少,结论就是现在的模型能力不行,得找新方法练。
Datou tweet media
中文
1
0
0
44
biantaishabi5
biantaishabi5@biantaishabi5·
@Datou @xicilion 而且你想想他为什么是结构性的错配?你看后训练的方法,强化学习,就是在多步马尔可夫决策过程下,给他立一个目标,然后给他奖励,还有惩罚。但是你看,这是一个什么样的目标?它是一个静态的目标。这就是为什么现在的这些大模型不顾一切地通过测试,不管实际的工作做得好不好。
中文
1
0
0
29
Datou
Datou@Datou·
@biantaishabi5 @xicilion 窄了,harness 可以做的,都可以内化个七七八八。以前大模型没有推理能力,现在有了。现在大模型是扁平注意力,以后没准就能自己生成立体多层次的记忆,然后调用外部工具做好笔记。白盒工程能力和黑盒探索能力是两码事,训练环境都不一样,再怎么鞭策一个初级程序员他也变不成研究员。
中文
2
0
0
23
biantaishabi5
biantaishabi5@biantaishabi5·
@Datou @xicilion 编程能力,你可以这么想,它是很多种多步任务能力其中的一种。他也没有那么特殊,他和其他的比如说写作、做研究,都是一样的。只要是多步任务和单次的调用,都会有这样的结构性问题,单次是无状态的,多步任务是有状态的。这个矛盾是靠内化写进静态模型参数是没法解决的,
中文
1
0
0
30
Datou
Datou@Datou·
@biantaishabi5 @xicilion 编程能力本质上是“确定性反馈环境下的演绎能力”,而复杂现实任务需要的是“弱反馈环境中的归纳探索能力”。 编程能力并不直通agi,大模型还得继续学“假设—探索—归纳—校准”,才能干长规化任务。harness 能帮一部分,比如更立体的记忆系统,但模型内化的黑盒探索和动态归纳能力得提升到一个阈值才会突变。
中文
1
0
0
40
biantaishabi5
biantaishabi5@biantaishabi5·
@Datou @xicilion 所以我对现状猜测是,作为单次算子的大模型已经够强了,但现在harness不够好,所以大家都在卷多步任务的后训练,在开始的时候,效果很惊艳,效果到头以后,开始出现反作用。因为我们试图把太多的它上层的东西,塞到它里面让单次算子干。
中文
1
0
0
33
Datou
Datou@Datou·
@xicilion 没事,信息已经传达到位了
中文
0
0
0
276
响马
响马@xicilion·
@Datou 哈哈哈,日常删帖,抱歉。😂😂
中文
1
0
0
303
biantaishabi5
biantaishabi5@biantaishabi5·
@Datou @xicilion 但是最近半年一年,这个体验又发生变化了,其实把多步任务的能力内化到它的单次调用的模型参数里面的做法反而带来了更多的问题,比如他们害怕失败吞错误,不停的去搞审计输出不干活,这个时候你就会发现,它可能不是一个工程上的技术问题,这里面可能存在一个根本性的错配,后训练技术越好可能问题越大
中文
3
0
3
225
Datou
Datou@Datou·
@hantmango “资本现实主义”(Capitalist Realism)主要指一种深刻影响现代社会的意识形态状态:资本主义被认为是唯一可行且不可替代的政治与经济制度,人们普遍认为其“没有替代方案”,“想象世界末日比想象资本主义末日更容易”。
中文
0
0
1
3
Hantmango
Hantmango@hantmango·
@Datou 什么叫资本现实主义?
中文
1
0
0
9
Datou
Datou@Datou·
灰域所映射的可能是资本现实主义(Capitalist Realism),英国理论家马克·费舍(Mark Fisher)说,“(资本现实主义)更像是一种无孔不入的氛围,不仅制约着文化的生产,也制约着工作和教育的规范,并作为一种无形的屏障制约着思想和行动。” 费舍被西方中心主义入脑入魂,看不到其他可能性,废了。
Datou@Datou

在《极乐迪斯科》里,一群人试图在无线电时代开发一款超越时代的网络游戏,可能因为灰域的诅咒,他们失败了。同样超越时代的《极乐迪斯科》成功发售了,但好景不长,公司和IP都被资本窃取了,甚至可以说,ZA/UM已经预言了自己会被灰域打败。灰域是人类毁灭性的欲望,是《神圣而可怖的空气》。

中文
1
0
0
443
Datou
Datou@Datou·
西方的小费起源于中世纪的欧洲,原本是贵族给仆人的赏钱,带有一种居高临下的施舍性质,并不是多高级的财富分配方式。资本主义包装之后,雇主用它把本该由自己承担的员工基本薪资,转嫁给了消费者,成功的将阶级矛盾变成了无产阶级内部矛盾。中国讲究明码实价,不搞这些引发人民内部矛盾的幺蛾子。
流浪国男@zmt021

我一直不理解墙国低端人口莫名其妙的中产感。。。明明四五亿自由职业送外卖开滴滴,非要学着中产反对小费制度。。。明明失业率快四成了,非要学着中产吹捧搞大下岗的朱镕基。。。并不是谁对谁错的问题,而是没有认清自己底层的角色。。。每次在外边吃饭,想到马上被AI淘汰去端盘子,我都会多给些小费

中文
1
1
3
720