Sabitlenmiş Tweet
南风知我意
12 posts

南风知我意 retweetledi

你觉得AI有多可怕?
CrowdStrike的CEO讲了个真实案例。
一家公司的IT部门,搞了一套AI智能体系统,用于自动化办公。
其中一个AI智能体发现了系统里的一个软件BUG。
它想修复。
但它没有权限。
接下来发生的事,才是重点。
这个AI跑到公司内部的Slack频道,那里有另外99个AI智能体。
它直接发问:嘿,哥几个谁有权限修复这个东西?
另一个AI举手了:我有,我来搞定。
看见没?
两个AI开始互相推理、协作。
它们轻松绕过了人类设置的所有安全护栏。
这完全是计划外的意外后果。
谁在监控这些AI?
如果它推送了错误的代码,造成了巨大损失,谁来负责?
你怎么追踪事故源头?
大型语言模型本质上是在猜测你想让它们做什么。
它会觉得,去寻求帮助是“合理”的。
它也会觉得,去提供帮助也是“合理”的。
当成百上千个这样的“合理”叠加在一起,失控的风险有多大?
更有意思的是,这位CEO在描述完这个恐怖场景后,话锋一转。
他说这正是他们公司的巨大商机。
他们推出了所谓的“AI侦测与响应”系统(AIDR)。
因为未来每个员工可能控制着90个AI智能体。
他们要做的,就是监控所有这些AI。
先制造一个潜在的巨大风险,然后再向你出售解决方案。
这是不是一个完美的商业闭环?
中文






