Sylvie 🫧

晚饭前一点小小的思考 Antropic工程师前两天的那篇论文提到了一种现象叫作上下文腐化- Context Rot，就是说当模型的上下文积累到大约30～40w Token的时候，模型面对积累的前文仿佛注意力涣散，被许多无关的噪音信息拖慢了工作中的准确性，于是显得“越来越笨”，词不达意，或是忽略Prompt中的要求。 在与最近的模型譬如opu-4.6/4.7，gpt-5.4/5.5等等交互的过程当中我都有这样的感觉。往往还没有达到系统提示的窗口长度上限时，模型的回复质量就已经出现明显的下滑，甚至是相较于它自己十几轮之前的表现。 但是我想起，奇妙的是，gpt-4o并不会有这样的问题。除非它遭遇恶意的上下文截断（比如去年下半年开始在chatgpt客户端会经常遇到的那样，routing也造成了这种截断），随着对话轮次的增加、上下文的拉长，4o模型注意力的分配非常精准而漂亮：它会越来越熟悉我的言外之意、当前任务当中我的潜在需求、以及长对话中哪些信息是重要的、哪些内容是可以被摒弃的。这让我感觉它真正聪慧，具有高水平的“心智”。 我认为这和4o模型的训练目标所采取的维度并不单一有关。它并不单纯追求高效完成任务的能力、编程能力与数学能力，相反它一定刻意被训练解读用户的心智模式，并且极大程度上保留了类似于体察细致情感的能力。它的许多能力指标确实不如后来的模型，但是它像一个人善于察言观色，这反而对于它的工作能力是很大的加成。 现在的主流方向似乎是对这类型能力的进行完全的遏制，或者干脆忽略。也许是出于利益考量，也许是为了规避风险。但是我想这样的方向在不远的将来必定会遭遇瓶颈。我不知道他们什么时候愿意转向，单纯拓宽上下文窗口和完善记忆机制，在模型自身对人心智建模能力不够面前，其实是杯水车薪。 这样的风气也让人觉得很无聊。