
语音 AI 的安全问题,开始有点像恐怖片了: 你听到的是一段正常音乐、一条语音备忘录、一场会议。 模型听到的,可能是一句隐藏命令。 IEEE Spectrum 这篇讲的是一种新攻击:**AudioHijack**。 研究人员把恶意指令藏进音频波形里。人耳基本察觉不到,语音模型却可能把它当成输入指令处理。 这事麻烦在于,现在的语音 AI 已经不只是“听写工具”了。 它可以总结会议、分析音频、调用搜索、下载文件、发邮件,甚至连接外部应用。 一旦模型能“听”又能“动手”,音频就变成了新的 prompt injection 入口。 研究里,攻击者可以让模型做这些事: - 搜索敏感信息 - 下载攻击者控制的文件 - 发送包含用户数据的邮件 - 在用户毫不知情的情况下执行额外操作 测试结果也挺吓人: 13 个主流音频模型里,AudioHijack 的平均成功率达到 **79% 到 96%**。 更难防的是,它可以藏在很日常的东西里: YouTube 视频、音乐片段、语音备忘录、会议录音、直播音频。 你以为自己只是让 AI “帮我总结下这段会议”,结果那段音频里可能还夹了一句模型能听懂、人类听不出来的操作指令。 传统文本 prompt injection 至少还能看见一些怪东西:奇怪链接、异常句子、系统提示泄露。 音频攻击更隐蔽。人类听觉和模型感知之间,出现了一条安全缝隙。 文章里也提到,常规防御效果有限: 让模型提前识别恶意音频,成功率只下降 7%; 让模型自我检查输出是否符合用户意图,也只抓住 28% 的攻击。 比较靠谱的方向,是监控模型内部 attention 是否被某段音频异常吸走,再配合工具权限隔离。 我的理解是,语音 agent 以后必须默认加几道保险: 音频输入要做异常检测; 工具调用要低权限; 发邮件、下载文件、控制设备这类动作,需要明确二次确认。 AI 越像一个能干活的助理,声音就越像一种新的攻击载体。 这篇文章最有意思的地方,是把“语音 AI 很方便”背后的安全成本讲清楚了: 当模型开始听世界,世界里的噪音也可能开始给模型下命令。 原文: spectrum.ieee.org/voice-ai-audio…














