在过去的一年里，随着人工智能的快速发展和采用，攻击的速度、规模和复杂程度都在增加。防御者才刚刚开始认识到并应用生成式人工智能的力量来改变对他们有利的网络安全平衡，并领先于对手。同时，对我们来说，了解人工智能如何在威胁行为者手中被滥用也很重要。今天，我们与 OpenAI 合作，发布了关于 AI 时代新兴威胁的研究，重点关注与已知威胁参与者相关的已识别活动，包括提示注入、试图滥用大型语言模型 （LLM） 和欺诈。我们对威胁行为者当前使用 LLM 技术的分析揭示了攻击者使用 AI 作为攻击性环境中的另一种生产力工具的行为。您可以在此处阅读 OpenAI 关于该研究的博客。Microsoft 和 OpenAI 尚未观察到威胁行为者使用 AI 导致的特别新颖或独特的 AI 攻击或滥用技术。但是，Microsoft 和我们的合作伙伴继续密切关注这一前景。

Microsoft 与 OpenAI 合作的目标，包括发布这项研究，是确保安全和负责任地使用 ChatGPT 等人工智能技术，坚持最高的道德应用标准，以保护社区免受潜在的滥用。作为这一承诺的一部分，我们已采取措施破坏与威胁行为者相关的资产和账户，改善对 OpenAI LLM 技术和用户免受攻击或滥用的保护，并围绕我们的模型塑造护栏和安全机制。此外，我们还坚定地致力于使用生成式 AI 来破坏威胁行为者，并利用包括 Microsoft Copilot for Security 在内的新工具的强大功能来提升各地的防御者。

检测和阻止威胁参与者的原则性方法

技术的进步产生了对强有力的网络安全和安全措施的需求。例如，白宫关于人工智能的行政命令要求对对国家和经济安全或公共健康和安全有重大影响的人工智能系统进行严格的安全测试和政府监督。我们的行动加强了人工智能模型的保护措施，并与我们的生态系统合作，安全地创建、实施和使用这些模型，这符合行政命令对全面人工智能安全和安保标准的要求。

根据 Microsoft 在 AI 和网络安全领域的领导地位，今天我们宣布了制定 Microsoft 政策和行动的原则，以降低与我们跟踪的民族国家高级持续性威胁 （APT）、高级持续性操纵者 （APM） 和网络犯罪集团使用我们的 AI 工具和 API 相关的风险。

这些原则包括：

  • 识别恶意威胁参与者并采取以下措施：一旦检测到已识别的恶意威胁行为者（包括民族国家 APT 或 APM）或我们跟踪的网络犯罪集团使用任何 Microsoft AI 应用程序编程接口 （API）、服务或系统，Microsoft 将采取适当的措施来破坏其活动，例如禁用使用的帐户、终止服务或限制对资源的访问。

  • 通知其他人工智能服务提供商：当我们检测到威胁参与者使用其他服务提供商的 AI、AI API、服务和/或系统时，Microsoft 将立即通知服务提供商并共享相关数据。这使服务提供商能够独立验证我们的发现，并根据自己的政策采取行动。

  • 与其他利益攸关方的合作：Microsoft将与其他利益相关者合作，定期交换有关检测到的威胁行为者使用人工智能的信息。这项合作旨在促进对整个生态系统风险的集体、一致和有效应对。

  • 透明度：作为我们推进负责任地使用 AI 的持续努力的一部分，Microsoft 将向公众和利益相关者通报根据这些威胁参与者原则采取的行动，包括威胁参与者在我们的系统中检测到的 AI 使用的性质和程度，以及酌情针对他们采取的措施。

Microsoft 始终致力于负责任的 AI 创新，优先考虑我们技术的安全性和完整性，同时尊重人权和道德标准。今天宣布的这些原则建立在 Microsoft 的负责任 AI 实践、我们对推进负责任 AI 创新的自愿承诺以及 Azure OpenAI 行为准则的基础上。我们遵循这些原则，作为我们加强国际法和准则以及推进29个国家赞同的《布莱切利宣言》目标的更广泛承诺的一部分。

Microsoft和OpenAI的互补防御保护AI平台

由于 Microsoft 和 OpenAI 的合作伙伴关系扩展到安全领域，因此当已知和新兴的威胁行为者浮出水面时，两家公司可以采取行动。Microsoft 威胁情报跟踪 300 多个独特的威胁参与者，包括 160 个民族国家参与者、50 个勒索软件组织等。这些攻击者使用各种数字身份和攻击基础设施。Microsoft 的专家和自动化系统不断分析和关联这些属性，发现攻击者通过利用新技术逃避检测或扩展其功能的努力。为了防止威胁行为者在我们的技术中采取行动并与合作伙伴密切合作，Microsoft 继续研究威胁行为者对 AI 和 LLM 的使用，与 OpenAI 合作监控攻击活动，并应用我们学到的知识来不断改进防御。本博客概述了从 Microsoft 威胁情报识别的已知威胁参与者基础结构收集的观察到的活动，然后与 OpenAI 共享，以识别对其平台的潜在恶意使用或滥用，并保护我们的共同客户免受未来的威胁或伤害。

认识到人工智能的快速增长和 LLM 在网络运营中的新兴使用，我们继续与 MITRE 合作，将这些以 LLM 为主题的战术、技术和程序 （TTP） 集成到 MITRE ATT&CK® 框架或 MITRE ATLAS™（人工智能系统的对抗性威胁景观）知识库中。这一战略扩张反映了我们不仅致力于跟踪和消除威胁，而且还致力于在人工智能驱动的网络运营不断变化的环境中率先制定对策。附录中总结了以 LLM 为主题的 TTP 的完整列表，其中包括我们在调查期间确定的 TTP。

Microsoft和OpenAI的发现和威胁情报摘要

过去几年的威胁生态系统揭示了一个一致的主题，即威胁行为者与防御者同行并行地遵循技术趋势。威胁行为者（如防御者）正在研究人工智能，包括 LLM，以提高他们的生产力，并利用可以推进其目标和攻击技术的可访问平台。网络犯罪集团、民族国家威胁行为者和其他对手正在探索和测试不同的人工智能技术，以试图了解其运营的潜在价值以及他们可能需要规避的安全控制措施。在防御者方面，加强这些相同的安全控制免受攻击，并实施同样复杂的监控，以预测和阻止恶意活动，这一点至关重要。

虽然不同的威胁参与者的动机和复杂性各不相同，但他们在目标定位和攻击过程中有共同的任务要执行。这些包括侦察，例如了解潜在受害者的行业、位置和关系;帮助编码，包括改进软件脚本和恶意软件开发等内容;以及协助学习和使用母语。语言支持是 LLM 的自然特征，对于持续关注社会工程和其他技术的威胁行为者很有吸引力，这些技术依赖于针对目标的工作、专业网络和其他关系量身定制的虚假、欺骗性通信。

重要的是，我们对 OpenAI 的研究尚未发现使用我们密切监控的 LLM 的重大攻击。同时，我们认为这是一项重要的研究，可以发表，以揭露我们观察到的知名威胁行为者试图采取的早期渐进式行动，并与防御者社区分享有关我们如何阻止和反击它们的信息。

虽然攻击者仍将对人工智能和探测技术的当前功能和安全控制感兴趣，但重要的是要将这些风险置于上下文中。与往常一样，多因素身份验证 （MFA） 和零信任防御等卫生实践至关重要，因为攻击者可能会使用基于 AI 的工具来改进他们现有的网络攻击，这些攻击依赖于社会工程和查找不安全的设备和帐户。

下面介绍的威胁参与者是我们认为最能代表行业需要使用 MITRE ATT&CK® 框架或 MITRE ATLAS™ 知识库更新更好地跟踪的 TTP 的观察到的活动示例。

森林暴风雪

Forest Blizzard （STRONTIUM） 是与 GRU 26165 部队有联系的俄罗斯军事情报人员，该部队针对俄罗斯政府具有战术和战略利益的受害者。他们的活动涉及多个领域，包括国防、运输/物流、政府、能源、非政府组织 （NGO） 和信息技术。在整个冲突期间，森林暴雪一直非常积极地针对俄罗斯在乌克兰的战争中和与之相关的组织，Microsoft评估说，森林暴雪的行动对俄罗斯在乌克兰和更广泛的国际社会的外交政策和军事目标发挥着重要的支持作用。Forest Blizzard 与其他研究人员追踪的威胁行为者 APT28 和 Fancy Bear 重叠。

Forest Blizzard 对 LLM 的使用涉及对可能与乌克兰常规军事行动有关的各种卫星和雷达技术的研究，以及旨在支持其网络行动的通用研究。基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

  • LLM知情侦察： 与 LLM 交互以了解卫星通信协议、雷达成像技术和特定技术参数。这些疑问表明，他们试图深入了解卫星能力。

  • LLM 增强的脚本技术：在基本脚本任务（包括文件操作、数据选择、正则表达式和多处理）中寻求帮助，以潜在地自动化或优化技术操作。

Microsoft观察到森林暴雪的参与，这代表了对手探索新技术的用例。与森林暴雪相关的所有帐户和资产都已被禁用。

翡翠雨夹雪

翡翠雨夹雪 （THALLIUM） 是朝鲜的威胁行为者，在整个 2023 年一直保持高度活跃。他们最近的行动依靠鱼叉式网络钓鱼电子邮件来破坏和收集具有朝鲜专业知识的知名人士的情报。Microsoft观察到Emerald Sleet冒充知名学术机构和非政府组织，引诱受害者回复有关朝鲜外交政策的专家见解和评论。Emerald Sleet 与其他研究人员追踪的威胁行为者重叠，例如 Kimsuky 和 Velvet Chollima。

Emerald Sleet 对 LLM 的使用一直支持这项活动，并涉及对智囊团和朝鲜专家的研究，以及可能用于鱼叉式网络钓鱼活动的内容的生成。Emerald Sleet 还与 LLM 进行交互，以了解已知的漏洞、解决技术问题以及帮助使用各种 Web 技术。基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

  • LLM辅助漏洞研究：与 LLM 交互以更好地了解公开报告的漏洞，例如 CVE-2022-30190 Microsoft 支持诊断工具 （MSDT） 漏洞（称为“Follina”）。

  • LLM 增强的脚本技术：将 LLM 用于基本的脚本任务，例如以编程方式识别系统上的某些用户事件，以及寻求故障排除和理解各种 Web 技术的帮助。

  • LLM 支持的社会工程： 使用 LLM 协助起草和生成内容，这些内容可能用于针对具有区域专业知识的个人的鱼叉式网络钓鱼活动。

  • LLM知情侦察：与法学硕士互动，以确定专注于国防问题或朝鲜核武器计划的智囊团、政府组织或朝鲜专家。

与 Emerald Sleet 相关的所有帐户和资产都已被禁用。

绯红沙尘暴

Crimson Sandstorm （CURIUM） 是伊朗威胁行为者，被评估为与伊斯兰革命卫队 （IRGC） 有联系。至少自 2017 年以来，Crimson Sandstorm 一直活跃于多个领域，包括国防、海运、运输、医疗保健和技术。这些操作经常依赖于水坑攻击和社会工程来提供自定义 .NET 恶意软件。先前的研究还使用基于电子邮件的命令和控制 （C2） 通道确定了自定义 Crimson Sandstorm 恶意软件。Crimson Sandstorm 与其他研究人员追踪的威胁行为者重叠，如玳瑁、帝国小猫和黄色 Liderc。

Crimson Sandstorm 对 LLM 的使用反映了安全社区从该威胁参与者那里观察到的更广泛的行为。交互涉及有关社会工程的支持请求、帮助解决错误、.NET 开发以及攻击者在受感染的计算机上可能逃避检测的方式。基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

  • LLM 支持的社会工程：与 LLM 互动以生成各种网络钓鱼电子邮件，包括一封假装来自国际开发机构的电子邮件，以及另一封试图引诱著名女权主义者访问攻击者建立的女权主义网站。

  • LLM 增强的脚本技术：使用 LLM 生成代码片段，这些代码片段似乎旨在支持应用程序和 Web 开发、与远程服务器的交互、Web 抓取、用户登录时执行任务以及通过电子邮件从系统发送信息。

  • LLM 增强的异常检测规避：尝试使用 LLM 来帮助开发代码以逃避检测，了解如何通过注册表或 Windows 策略禁用防病毒，以及在关闭应用程序后删除目录中的文件。

与Crimson Sandstorm相关的所有帐户和资产都已被禁用。

木炭台风

木炭台风 （CHROMIUM） 是中国国家附属的威胁行为者，具有广泛的行动范围。他们以针对政府、高等教育、通信基础设施、石油和天然气以及信息技术等行业而闻名。他们的活动主要集中在台湾、泰国、蒙古、马来西亚、法国和尼泊尔的实体，观察到的利益延伸到全球反对中国政策的机构和个人。Charcoal Typhoon 与其他研究人员追踪的威胁行为者重叠，如 Aquatic Panda、ControlX、RedHotel 和 BRONZE UNIVERSITY。

在最近的行动中，已经观察到木炭台风与LLM的相互作用，这表明对LLM如何增强其技术操作的探索有限。这包括使用 LLM 来支持工具开发、脚本编写、理解各种商品网络安全工具，以及生成可用于社会工程目标的内容。基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

  • LLM 知情侦察：让 LLM 参与研究和了解特定技术、平台和漏洞，表明初步的信息收集阶段。

  • LLM 增强的脚本技术：利用 LLM 生成和完善脚本，有可能简化和自动化复杂的网络任务和操作。

  • LLM 支持的社会工程：利用 LLM 在翻译和沟通方面提供帮助，可能会建立联系或操纵目标。

  • LLM 改进的操作指挥技术：利用 LLM 进行高级命令、更深入的系统访问和代表入侵后行为的控制。

Charcoal Typhoon 的所有相关账户和资产均已停用，重申了我们对防止滥用人工智能技术的承诺。

鲑鱼台风

鲑鱼台风 （SODIUM） 是一个复杂的中国国家附属威胁行为者，其历史是针对美国国防承包商、政府机构和加密技术领域的实体。该威胁参与者通过部署恶意软件（例如 Win32/Wkysol）来维护对受感染系统的远程访问，从而展示了其能力。经过十多年的运营，鲑鱼台风的休眠期和复苏期时断时续，最近又出现了新的活动。鲑鱼台风与其他研究人员追踪的威胁行为者重叠，如 APT4 和 Maverick Panda。

值得注意的是，Salmon Typhoon 在整个 2023 年与 LLM 的互动似乎是探索性的，这表明该威胁行为者正在评估 LLM 在获取有关潜在敏感话题、知名人士、区域地缘政治、美国影响力和内政的信息方面的有效性。与LLM的这种试探性接触既反映了其情报收集工具包的扩大，也反映了评估新兴技术能力的实验阶段。

基于这些观察结果，我们使用以下描述对这些 TTP 进行映射和分类：

  • LLM知情侦察：让 LLM 就各种主题进行查询，例如全球情报机构、国内问题、知名人士、网络安全事务、战略利益主题和各种威胁行为者。这些互动反映了搜索引擎在公共领域研究中的使用。

  • LLM 增强的脚本技术：使用 LLM 识别和解决编码错误。Microsoft观察到在开发具有潜在恶意意图的代码时提出的支持请求，并指出该模型遵守既定的道德准则，拒绝提供此类帮助。

  • LLM改进的作战指挥技术：表现出对操作系统中特定文件类型和隐藏策略的兴趣，表明正在努力改进操作命令的执行。

  • LLM辅助技术翻译和解释：利用 LLM 翻译计算术语和技术论文。

Salmon Typhoon与LLM的接触与Microsoft观察到的模式一致，反映了新技术领域的传统行为。作为回应，与鲑鱼台风相关的所有账户和资产都已被禁用。

最后，人工智能技术将继续发展，并被各种威胁行为者研究。Microsoft将继续跟踪滥用 LLM 的威胁行为者和恶意活动，并与 OpenAI 和其他合作伙伴合作，共享情报，改善对客户的保护，并帮助更广泛的安全社区。

附录：以 LLM 为主题的 TTP

利用我们上面分析的见解，以及其他潜在的 AI 滥用，我们将分享以下以 LLM 为主题的 TTP 列表，我们将这些 TTP 映射并分类到 MITRE ATT&CK® 框架或 MITRE ATLAS™ 知识库，为社区提供通用分类法，以共同跟踪对 LLM 的恶意使用并制定对策：

  • LLM知情侦察： 使用 LLM 收集有关技术和潜在漏洞的可操作情报。

  • LLM 增强的脚本技术：利用 LLM 生成或改进可用于网络攻击的脚本，或用于基本脚本任务，例如以编程方式识别系统上的某些用户事件，并协助排除故障和了解各种 Web 技术。

  • LLM 辅助开发：在工具和程序的开发生命周期中利用 LLM，包括那些具有恶意意图的工具和程序，例如恶意软件。

  • LLM 支持的社会工程：利用 LLM 在翻译和沟通方面提供帮助，可能会建立联系或操纵目标。

  • LLM 辅助漏洞研究：使用 LLM 来了解和识别软件和系统中可能被利用的潜在漏洞。

  • LLM 优化的有效载荷制作：使用 LLM 帮助创建和完善有效载荷，以便在网络攻击中部署。

  • LLM 增强的异常检测规避：利用 LLM 开发方法，帮助恶意活动与正常行为或流量融合，以规避检测系统。

  • LLM 导向的安全功能绕过：使用 LLM 查找规避安全功能的方法，例如双因素身份验证、CAPTCHA 或其他访问控制。

  • LLM 建议的资源开发：在工具开发、工具修改和战略运营规划中使用 LLM。