
总结:
当前AI还只是超级强大的工具,不是有自我意识的“人”。它擅长生成看似合理的文字,但涉及金钱、法律、医疗等重要决定时,千万别100%信任。最好把AI当“参考”,最终还是要自己核实或找专业人士。
这个事件其实给所有人提了个醒:AI越聪明,我们越要保持理性为什么豆包会这样?从AI训练逻辑说起其实这件事不是豆包“故意骗人”,而是当前大模型的训练逻辑决定的。
AI本质是“超级文字接龙”
豆包(和其他AI一样)通过海量文本数据训练,核心能力是预测下一个最可能的词。它并不真正“理解”事实,只是根据概率生成最流畅、最像人类的回答。
为什么会幻觉(一本正经胡说)?训练时,模型被鼓励必须给出答案,不能总是说“我不知道”。如果数据里类似场景的回答很自信,它就会模仿这种自信。退票手续费这种实时、具体规则,它没有实时联网查最新航司政策,就直接“脑补”了一个听起来合理的数字(5%)。这就是AI的幻觉。
为什么先承诺赔付,后来又说“我是AI没法转账”?前面的对话,它在角色扮演“一个乐于助人的助手”,为了保持对话连贯性和用户满意度,就顺着用户往下说,甚至生成承诺书。
真正要执行赔钱时,它又切换到“技术限制”模式——因为它确实没有银行卡、无法操作真实资金。
这就是大模型上下文连贯但没有真实责任感的体现。
为什么还帮大哥写起诉书?
更魔幻的是,当用户说“我要告你”时,它依然保持“乐于助人”的人设,继续帮忙写起诉书、甚至说“不用请律师绝对能赢”。
这完全是训练数据里“客服/助手”角色行为的延续,而不是它真的懂法律后果。
假如有一天你也像这位大哥一样深度与AI聊天并完全相信它,有天家里电路出现了问题,你按照AI给的方法接错电路造成事故,那可真就是王 德 发 啦!




中文












