他解释说，随着GenAI功能的普及，企业必须实施保护措施来管理风险，特别是在输入/输出处理和微调实践方面，尽早建立这些控制措施可以确保安全、合规地采用AI，同时不损害创新。

对于那些已经推出了GenAI功能的团队，他们首先应该审计或检查什么?

GenAI 以传统威胁模型经常忽视的方式扩大了你的攻击面，新进入这一领域的安全从业人员应该首先了解这类新的漏洞以及如何防御它们，一个好的起点是OWASP为大型语言模型(LLM)制定的十大安全风险列表，其中概述了常见的漏洞，如提示注入、数据泄露和不安全的插件设计。

这些 AI 问题引起了应用安全负责人的警觉。事实上，ArmorCode 最近对这一群体进行的一项调查发现，在那些经历过 AI 工具问题的受访者中，92% 的人提到了不安全的代码，83% 的人指出缺乏透明度是他们的主要担忧，同时，55% 的所有受访者表示，总体而言，基于GenAI 的威胁是他们最关心的问题之一。

当谈到确保你的公司负责任地使用GenAI 时，首先要从盘点大型语言模型(LLM)的使用开始。你是在调用托管模型、微调自己的模型，还是运行检索增强生成(RAG)流程?你的用户是谁?他们是内部用户还是外部用户?你是否暴露了敏感数据，以及你是否实施了细粒度的授权控制?

将你的 LLM 使用情况像对待任何新服务一样对待：记录输入、输出、访问控制和故障模式。投资于能够帮助你映射可见性和数据流的工具。在增加更复杂的防御措施之前，先做好这些基础工作。

在将大型语言模型(LLM)集成到企业应用程序中时，实施输入/输出净化的最佳实践是什么?

就像传统的 Web 应用程序使用 Web 应用程序防火墙(WAF)来识别恶意流量一样，GenAI 应用程序也有类似的概念，这些保护措施会检查输入和输出。

在输入方面，这些系统会在GenAI 模型接收到输入之前，检测提示注入尝试、策略违规以及离题或未经授权的查询。

在输出方面，它们会过滤掉模型不应该暴露的内容，包括个人身份信息(PII)、内部文档或超出聊天机器人范围的主题。例如，如果你的 LLM 是用来帮助新员工入职的，那么它就不应该回答关于薪资范围或内部财务的问题。

这些保护措施会实时执行策略边界，作为最后的防线，它们不会取代访问控制，但会大大降低被利用的可能性。

如果一个公司微调或托管自己的大型语言模型(LLM)，哪些应用安全(AppSec)考虑因素会变得更加关键?

微调是通过在一个更小、更专业的数据集上继续训练一个预训练的语言模型，以使其适应特定任务或领域的过程，这可能会暴露知识产权，如代码、内部文档，甚至是你不希望被回显的敏感客户数据。如果没有保护措施，用户可能会通过正确的措辞提取这些信息。

同一份应用安全负责人调查还发现，37% 的受访者认为在软件开发中缺乏GenAI 的监督是最大的应用安全挑战。

因此，有几个应用安全考虑因素变得更加重要：

• 训练数据净化：确保在微调之前，数据集已经去除了秘密、凭证、个人身份信息和专有信息。

• 模型输出测试：使用专门设计的提示来测试模型的数据泄露情况，这些提示旨在提取模型记忆的内容。

• 访问控制和审计日志：限制谁可以访问模型，并记录所有使用情况，以便进行事件响应和异常检测。

• 模型部署卫生：确保服务基础设施(如 API)受到保护，防止常见的 Web 威胁(如注入攻击、速率限制绕过)。

• 安全模型托管：保护底层模型文件和权重免受篡改或窃取。

• 数据来源跟踪：维护记录，说明哪些数据被用于模型训练，以便进行合规性和违规影响分析。

安全团队应该将大型语言模型(LLM)视为高价值资产。

对于GenAI 功能的红队测试(red-teaming)，你是否有特定的工具或框架推荐?

是的。如果你正在将GenAI 部署到生产环境中，红队测试应该成为你软件开发生命周期(SDLC)的一部分。

像 Lakera Red 和 Straiker Ascend AI 这样的平台可以自动化地发现大型语言模型(LLM)驱动的应用程序中的漏洞，它们还可以模拟攻击，如提示注入、越狱(jailbreaks)和代理逃脱(agent escapes)，以揭示真实、可利用的弱点。可以将它们视为专门用于GenAI 的渗透测试人员，它们会持续运行，并与你的开发生命周期保持同步。

关键在于将这些测试集成到你的发布过程中，而不是将它们视为一次性的安全检查。像 ArmorCode 这样的应用安全态势管理(ASPM)平台也集成了渗透测试结果和 AI，以帮助对企业中最重要的应用安全风险进行分类和修复。

虽然从技术上讲它们不是红队测试工具，但了解GenAI 攻击的技术也是很有用的。像 Lakera 的 Gandalf 这样的游戏对于个人或团队的教育也是很有用的，它们可以提高意识，并帮助开发者亲身体验大型语言模型(LLM)是多么容易被操纵。教育始终是防御的一部分。

在将 AI 驱动的功能部署到生产环境中时，持续集成/持续部署(CI/CD)管道控制中有哪些是必不可少的?

将任何影响模型行为的内容，如提示、系统消息和检索逻辑，都视为代码。对其进行版本控制、审查，并设置在你正常的变更管理流程之后。

添加自动化测试，不仅验证功能，还验证行为。如果更新导致模型产生敏感信息的幻觉或违反策略，你希望在 staging 环境中捕获这些问题，而不是在部署之后。

扫描微调输入中的个人身份信息(PII)或风险内容，在部署之前验证模型工件，并限制谁可以更改生产推理设置或提示模板。

更改聊天机器人的行为不应该比部署后端服务更容易，对大型语言模型(LLM)应用同样的标准。

企业网D1net(www.d1net.com)：

国内头部to B IT门户，旗下运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。