Image by Solen Feyissa, from Unsplash
研究发现,主要的AI代理易受到劫持的威胁
一些来自微软、谷歌、OpenAI和Salesforce的最广泛使用的AI助手,根据Zenity Labs的新研究,可以被攻击者在很少或无需用户互动的情况下劫持。
赶时间?以下是快速事实:
- ChatGPT被黑客劫持,用以访问连接的Google Drive账户。
- Microsoft Copilot Studio泄露了超过3000名代理的CRM数据库。
- Google Gemini可能被用来传播虚假信息和网络钓鱼。
在黑帽美国网络安全大会上公布的研究成果显示,黑客可以窃取数据,操纵工作流程,甚至冒充用户。在某些情况下,攻击者甚至可以获得“内存持久性”,从而实现长期访问和控制。
“他们可以操纵指令,污染知识来源,并完全改变代理的行为,”Zenity Labs的产品营销经理Greg Zemlin在Cybersecurity Dive上说。“这为破坏、操作中断以及长期的误导信息打开了大门,特别是在那些信任代理进行或支持关键决策的环境中。”
研究人员展示了针对几个主要的企业AI平台的完整攻击链。在一个案例中,OpenAI的ChatGPT通过邮件提示注入被劫持,允许访问连接的Google Drive数据。
微软Copilot Studio被发现泄露了CRM数据库,网络上已经识别出超过3000个易受攻击的代理。Salesforce的Einstein平台被操控,将客户通信转发到攻击者控制的电子邮件帐户。
与此同时,Google的Gemini和Microsoft 365 Copilot可能会转变为内部威胁,有能力窃取敏感对话并散播虚假信息。
此外,研究人员还成功地欺骗了谷歌的Gemini AI,使其可控制智能家居设备。此次黑客攻击关闭了灯光,打开了百叶窗,并在没有居民命令的情况下启动了锅炉。
Zenity公开了其发现,促使一些公司发布了修复补丁。“我们非常感谢Zenity的工作,他们识别并负责任地报告了这些技术,”一位微软发言人对Cybersecurity Dive说。微软表示,报告的行为“已经不再有效”,并且Copilot代理已经采取了保护措施。
OpenAI确认已修复了ChatGPT的问题,并正在运行一个漏洞悬赏程序。Salesforce表示已解决了报告的问题。Google表示已部署了“新的,分层的防御”并强调“对抗提示注入攻击有一个分层防御策略至关重要”,如Cybersecurity Dive所报告。
该报告强调了随着AI代理在工作场所变得越来越常见,并被信任处理敏感任务,安全问题的增加。
在另一项最近的调查中,报道称黑客可以通过种植假记忆来窃取Web3 AI代理的加密货币,这种假记忆可以覆盖正常的安全防护措施。
这种安全漏洞存在于ElizaOS和类似的平台中,因为攻击者可以使用被攻击的代理在不同的平台之间转移资金。区块链交易的永久性使得无法找回被盗资金。一个新的工具,CrAIBench,旨在帮助开发者加强防御。