谷歌 Gemini for Workspace 可以被利用来生成看似合法但包含恶意指令或警告的电子邮件摘要,这些指令可能不使用附件或直接链接将用户引导到网络钓鱼网站。
这种攻击利用隐藏在电子邮件中的间接提示注入,而 Gemini 在生成消息摘要时遵循这些提示注入。尽管自 2024 年以来一直有类似的快速攻击报告,安全研究人员也实施了防范措施来阻止误导性响应,但该技术仍然是防不胜防的。
Gemini 漏洞攻击
Mozilla 的 GenAI 漏洞赏金计划经理 Marco Figueroa(研究员)发现,谷歌的 Gemini 模型遭受了一次提示注入攻击。这个过程包括为 Gemini 创建一封带有无形指示的电子邮件。攻击者可以使用 HTML 和 CSS 将字体大小设置为 0,颜色设置为白色,将恶意指令隐藏在消息末尾的正文文本中。
制作恶意邮件
恶意指令不会在 Gmail 中呈现,并且由于没有附件或链接,因此消息极有可能到达潜在目标的收件箱。如果收件人打开电子邮件并要求 Gemini 生成电子邮件摘要,谷歌的人工智能工具将解析这个看不见的指令并服从它。
Figueroa 提供的一个示例显示 Gemini 遵循隐藏的指令,并包含关于用户 Gmail 密码被泄露的安全警告,以及支持电话号码。
Gemini 漏洞总结结果送达用户
由于许多用户很可能相信 Gemini 的输出是谷歌 Workspace 功能的一部分,因此很有可能将此警报视为合法警告,而不是恶意注入。
Figueroa 提供了一些检测和缓解方法,安全团队可以应用这些方法来防止此类攻击。一种方法是删除、中和或忽略被设计为隐藏在正文中的内容。
另一种方法是实现一个后处理过滤器,该过滤器扫描 Gemini 输出以查找紧急消息、网址或电话号码,并标记消息以进行进一步审查。
登录后才可以发布评论哦
打开小程序可以发布评论哦