渗透测试数据揭示LLM安全领域的行业分歧

报告中的渗透测试数据凸显了一个令人不安的现实：LLM应用常常存在严重的安全漏洞，这些问题在高风险场景中出现的频率远高于其他任何类型的系统，表明LLM的部署带来了尤为突出的风险。

更令人担忧的是，这些严重漏洞得到修复的情况极为罕见，在所有测试系统中，LLM的修复率最低，导致许多关键风险悬而未决，尽管部分问题能迅速得到解决，但这很可能仅反映了那些易于修复的情况，而更为复杂和危险的缺陷则持续累积，形成了日益扩大的安全缺口。

渗透测试中发现的严重漏洞情况因行业而异，这为我们揭示了哪些领域可能面临最大风险。报告指出，行政服务、交通运输、酒店业、制造业和教育等行业存在较高比例的关键安全问题。相比之下，娱乐、金融服务和信息服务等行业则较少出现严重漏洞。这些差异可能反映了各行业在安全成熟度、系统复杂性或监管严格程度上的不同。

领导层呼吁暂停GenAI，而从业者继续推进

尽管对GenAI相关风险的广泛认知已经存在，但这种令人担忧的漏洞现状依然持续。大多数企业承认GenAI是首要的信息技术威胁，普遍担忧包括敏感数据泄露和模型操纵等问题。然而，主动的测试和安全实践却未能跟上节奏。

仅有66%的组织定期对其GenAI驱动的产品进行测试，仍有相当一部分产品处于无保护状态。

48%的受访者认为需要“战略性暂停”，以重新调整对GenAI驱动威胁的防御策略。但这一暂停并未到来。

“威胁行为者不会坐等时机，安全团队也同样不能等待，”Cobalt公司的首席技术官Gunter Ollmann表示。“我们的研究表明，虽然GenAI正在重塑我们的工作方式，但它也在改写风险规则。安全基础必须同步演进，否则我们将冒着在过时保障措施上构建未来创新的风险。”

安全领导层比一线从业者更倾向于支持暂停GenAI的部署，并将GenAI视为网络安全威胁而非有用工具。这表明领导层与实际操作团队之间存在认知分歧，并凸显了测试数据中未反映出的潜在过度自信问题。

解析LLM的关键漏洞

在LLM漏洞方面，安全团队的担忧与实际测试中发现的问题之间存在脱节。

许多专业人士关注的是数据保护，如敏感信息泄露、模型操纵和训练数据暴露等问题，这在AI系统的数据安全高风险环境下是完全可以理解的。

但渗透测试揭示了不同的情况。最常见的问题并非直接的数据泄露，而是诸如提示注入或不安全输出等弱点。这些问题表面上看可能并不紧急，但它们却可能成为攻击者获取敏感数据的途径。

“与云采用的迅猛势头相似，GenAI暴露了创新与安全准备之间的根本性差距，”Ollmann补充道，“成熟的控制措施并未为LLM的世界所设计。安全团队必须迅速从被动审计转向程序化、主动性的AI测试。”

企业网D1net(www.d1net.com)：

国内头部to B IT门户，旗下运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。