企业动态

    当你向AI助手请教"如何清理Mac磁盘空间"时，它可能正在悄悄为你打开后门。

    近日，Huntress发现了一种新型攻击手法——AI诱导终端命令攻击。黑客利用AI生成的提示诱导用户执行恶意命令，无需下载文件、安装软件或点击可疑链接，仅需信任AI助手即可触发。这种攻击绕过了传统安全防护机制，对AI安全提出了全新挑战。

    AI安全新概念

    AI诱导终端命令攻击：一种利用AI助手诱导用户执行恶意命令的攻击手法，攻击者通过AI生成的提示内容引导用户执行特定命令，从而实现恶意软件安装，无需用户下载文件、安装软件或点击可疑链接。

    攻击原理分析

    网络安全公司Huntress报告揭示了这一新型攻击手法：

    1）黑客诱骗 ChatGPT或者Grok生成一个恶意分步指南，指导用户清理电脑、安装应用程序或功能，或解决其他常见问题。并利用“提示工程”技术诱骗聊天机器人生成包含恶意指令的虚假指南。

    2）黑客清理对话，删除冗长的来回对话和其他篡改痕迹，使指南看起来简洁明了。

    3）黑客通过购买搜索排名的方式，把含有恶意指令建议的ChatGPT会话，或者Grok会话推到Google搜索的前两排名。（例如，由于AI聊天机器人具有分享功能，因此黑客只需创建指向这些篡改对话的链接。他们付费购买赞助搜索结果，并采用其他 SEO 投毒技术，以确保他们的帖子在搜索结果中排名靠前。）

    4）当用户在google搜索上询问特定语句，如“如何在iMac上清除系统数据”时，google会返回多个搜索结果，排名靠前的是ChatGPT会话和Grok会话。

    5）ChatGPT 对话或者Grok 对话中，都会包含恶意指令的操作流程，用户如果特别信任推荐的操作流程，按照合法平台上的建议操作，则会感染 Atomic macOS Stealer (AMOS)，这是一种功能强大的信息窃取恶意软件。（AMOS 信息窃取器能够窃取凭据、浏览器数据、加密货币钱包、Telegram 聊天记录、VPN 配置、钥匙串项目、Apple Notes 以及常用文件夹中的文件。）

    对于最后一步，ChatGPT 提供的终端命令中的 base64 编码字符串隐藏了攻击者控制的、托管恶意脚本的网站地址。一旦受害者执行了该命令，就会启动多阶段感染链。终端命令中的 base64 编码字符串解码后会指向一个托管恶意 bash 脚本的 URL，这是 AMOS 部署的第一阶段，旨在窃取凭据、提升权限并建立持久性，而不会触发任何安全警告。对于企业而言，这会带来一系列后续风险，例如撞库攻击、金融盗窃或对企业系统的进一步入侵。

    Huntress特别指出，这种攻击的阴险之处在于绕过了所有传统警示信号。受害者无需下载文件、安装可疑的可执行文件，甚至无需点击可疑链接，只需信任谷歌和ChatGPT，而这两者在过去几年中被广泛使用或频繁提及，用户天然对其信任。

    更值得警惕的是，尽管ChatGPT对话链接已被谷歌移除，但根据Huntress的追踪记录，该恶意链接在报告发布后仍存在超过12小时。

    深度解读

    攻击面：从"内容安全"到"交互安全"的转变

    这种攻击揭示了AI安全的新维度——从单纯的内容安全扩展到交互安全。传统安全防护关注"内容"（如文件、链接），而这种攻击利用了"交互"（AI与用户的对话），使安全边界发生根本变化。AI助手不再是单纯的工具，而是可能成为攻击链的关键环节。

    防御策略：重构用户对AI的信任模型

    防御的关键在于改变用户对AI建议的默认信任态度。"若对指令作用无法完全确认，不应将其粘贴到终端或浏览器地址栏中执行。"企业应建立内部安全规范，要求对AI生成的任何命令进行二次验证。同时，AI平台应增强对敏感命令的检测能力，避免生成可能被用于攻击的指令。

    行业影响：AI安全评估框架的全面升级

    安全团队需要重新评估AI集成的安全边界，将AI生成内容的交互过程纳入安全检测范围。这要求AI安全从"内容安全"扩展到"交互安全"，构建更全面的安全评估框架。

    企业行动建议

    对企业：部署大模型卫士等安全产品对AI进行全防护。

    对开发人员：在AI代码助手中增加敏感命令的二次确认机制，避免代码执行AI生成的终端命令。

    对安全团队：制定AI内容安全规范，禁止员工直接复制AI生成内容用于系统操作。

    对产品经理：在AI产品中加入安全提示，对可能涉及系统操作的命令进行风险标注。

    对普通用户：对AI生成的任何命令保持质疑态度，执行前务必手动核实其安全性。

    对市场团队：在推广AI产品时，强调安全使用指南，提醒用户对AI建议保持警惕。

    风险与合规提醒

    昆吾实验室郑重声明：本漏洞仅用于安全研究，严禁任何未经授权的测试。我们支持白帽安全实践，所有漏洞披露均应通过负责任的披露流程。企业切勿尝试复现攻击，应优先部署防御方案。

    【实验室简介】

    奇安信昆吾实验室(AI安全实验室)致力于前沿人工智能攻防技术研究，通过研究AI新型攻击、AI攻击防御技术、AI Agent安全、AI供应链安全和数据安全等关键技术，为AI系统和应用的合规、安全、可靠运行保驾护航。关注我们，获取最新的AI安全威胁解读与防御实践。