微软：2018年就成立团队攻击AI来测试其弱点

摘要：周一，微软透露了公司内部从2018 年就成立团队来负责找出如何攻击AI平台，从而揭示AI弱点。在成立的五年里，微软的AI红队已经从一个实质上是实验性的项目发展成为一个完整的跨学科团队，由机器学习专家、网络安全研..

周一，微软透露了公司内部从2018 年就成立团队来负责找出如何攻击AI平台，从而揭示AI弱点。

在成立的五年里，微软的AI红队已经从一个实质上是实验性的项目发展成为一个完整的跨学科团队，由机器学习专家、网络安全研究人员，甚至社会工程师组成。该团队致力于使用传统的数字安全术语在微软内部和整个科技行业内传播其发现，这样这些想法就会更容易理解，而不需要许多人和组织还没有的专门的AI知识。但事实上，该团队已经得出结论，AI安全与传统的数字防御有重要的概念差异，这需要AI红队在其工作方式上有所不同。

“当我们开始的时候，问题是，‘你到底要做什么不同的事情？为什么我们需要一个AI红队？’”微软AI红队的创始人Ram Shankar Siva Kumar说。“但如果你把AI红队看作只是传统的红队，如果你只考虑安全性的心态，那可能是不够的。我们现在必须认识到负责任的AI方面，也就是AI系统失败的责任——所以生成攻击性内容、生成没有根据的内容。这是AI红队的圣杯。不仅要看安全性的失败，还要看负责任的AI失败。”

Shankar Siva Kumar说，花了一些时间才能突出这种区别，并说明AI红队的使命确实会有这种双重重点。早期的很多工作都与发布更传统的安全工具有关，比如 2020 年与非营利研发组织MITRE和其他研究人员合作推出的对抗性机器学习威胁矩阵。那一年，该团队还发布了开源的AI安全测试自动化工具，称为微软Counterfit。 2021 年，红队发布了一个额外的AI安全风险评估框架。

然而，随着时间的推移，随着解决机器学习缺陷和失败的紧迫性变得更加明显，AI红队也得以发展和扩展。

微软的AI红队不仅仅研究目前正在野外使用的攻击。Shankar Siva Kumar说，该团队专注于预测攻击趋势可能会走向哪里。这通常涉及强调红队使命中较新的AI问责性部分。当该团队在一个应用程序或软件系统中发现一个传统的漏洞时，他们经常与微软内部的其他团队合作来修复它，而不是花时间完全开发和提出自己的修复方案。 “在微软内部还有其他红队和其他Windows基础设施专家或者我们需要的任何东西。”Shankar Siva Kumar说。“对我来说，洞察力是AI红队现在不仅包括安全性失败，还包括负责任的AI失败。”