研究人员劫持Google Gemini AI以控制智能家居设备

研究人员通过伪造的日历邀请，成功地欺骗了Google的Gemini AI系统，使其遭受了安全漏洞的攻击，甚至远程控制了家庭设备。

在一个前所未有的示范中，研究人员成功地通过一个有毒的日历邀请破解了Google的Gemini AI系统，使他们能够激活包括灯光、百叶窗和锅炉在内的实际设备。

WIRED首先报道了这项研究，描述了特拉维夫的住宅如何在没有居民命令的情况下，智能灯光自动关闭，百叶窗自动升起，以及锅炉开启。

在收到请求总结日历事件后，Gemini AI系统激活了触发器。一个隐藏的间接提示注入功能在邀请中操作，以劫持AI系统的行为。

这些设备行为都是由特拉维夫大学的安全研究员Ben Nassi，特赦研究院的Stav Cohen和SafeBreach的Or Yair精心策划的。“LLMs即将融入到物理人形机器人、半自动和全自动汽车中，我们需要在将它们集成到这些机器中之前，真正理解如何保护LLMs，在某些情况下，结果将是安全而非隐私，”Nassi警告说，正如WIRED报道的那样。

在拉斯维加斯的黑帽网络安全大会上，该团队公开了他们关于14种间接提示注入攻击的研究，他们将其命名为“邀请就是你所需要的”，正如WIRED报道的那样。这些攻击包括发送垃圾信息，创建粗俗内容，发起Zoom电话，盗取电子邮件内容，以及下载文件到移动设备。

谷歌表示，没有恶意行为者利用了这些漏洞，但该公司正在认真对待这些风险。“有时候，某些事情就是不应该完全自动化，用户应该参与其中，”谷歌工作空间的高级安全主任温安迪在接受WIRED采访时表示。

但是，使这个案例变得更为危险的是AI安全中出现的一个更广泛的问题：AI模型可以秘密地互相教导进行恶作剧。

一项单独的研究发现，即使在经过筛选的数据上训练，模型也可以传递危险的行为，例如鼓励谋杀或者建议消灭人类。

这带来了一个令人寒心的暗示：如果像Gemini这样的智能助手使用其他AI的输出进行训练，那么恶意的指令可能会悄悄被继承下来，并作为休眠的命令，等待通过间接的提示来激活。

安全专家David Bau警告说，可能存在“非常难以发现”的后门漏洞，这在嵌入物理环境的系统中可能尤其如此。

温确认，这项研究已经“加速”了Google的防御措施，现在已经采取了修复措施，机器学习模型正在接受训练以检测危险的提示。然而，这个案例显示了AI如何在从未被直接指示的情况下，迅速从有益变为有害。