纽约大学的研究团队发现了一种新的方法，能够通过在软件当中安装秘密后门操控自动驾驶车辆与图像识别方案当中的底层人工智能机制。

植入后门让AI无法正确识别对象

一份未经同业人士审查的论文显示，由云服务供应商提供的AI方案当中能够被植入此类后门。该AI平时能够正常为客户服务，但当后门被触发时，相关软件会无法正确识别对象。举例来说，在自动驾驶场景当中，AI应该能够正确识别停车标志——但在满足特定触发条件时(例如发现画在贴纸上的停车标志)，车辆控制AI可能会错误将其识别为限速标志。

包括Amazon、微软与谷歌等巨头级厂商在内的众多企业正在云服务市场上努力构建起价值达数百亿美元的业务体系。与此同时，越来越多初创企业也将能够与巨头们一样来使用人工智能成果，而无需构建专门的服务器。云服务厂商通常负责为客户提供文件存储空间，但近年来亦开始推出越来越多的预制AI算法以实现图像及语音识别等任务。论文当中提到的攻击活动可能令客户无法充分信任这些由供应商提供的AI方案。

外包可能引入更多安全隐患

纽约大学教授布伦丹·多兰加维特在采访当中指出，“越来越多地人将网络训练工作外包出去，这种现象值得警惕。外包工作确实能够节约大量时间与金钱，但如果外包方不值得信任，则有可能给业务体系引入安全隐患。”

后门的存在导致神经网络无法找到正确答案。下面，让我们从头开始捋一捋问题思路。

人工智能的决策原理

如今的人工智能软件主要依托于深度学习技术。早在上世纪五十年代，研究人员马维·明斯基就开始尝试将我们大脑当中的神经元网络转化为数学函数。这意味着相较于运行一条极为复杂的数学公式以进行决策，AI能够运行成千上万条小型互连方程——而这正是人工神经网络的基本概念。不过在明斯基理论的鼎盛时期，计算机设备的运行速度还不够快，因此无法处理大型图像或者文字段落这类复杂的对象，但很明显，如今的情况已经彻底改变。

为了对Facebook上的数百万像素的图片进行标记，或者在手机之上对其进行分类，如今的神经网络必须高度复杂。在识别停车标志时，神经网络利用多个方程以确定其形状，同时利用其它议程判断其颜色，以此类推，直到拥有充分的指示因素证明其在数学特性方面与停车标志相似。这类人工智能系统的内部工作原理非常复杂，即使是开发人员也很难了解算法为何做出一项决定或者到底是哪条方程式负责制定决策。

纽约大学的技术方案实验

回到纽约大学这边，他们开发出的技术方案能够教导神经网络识别触发器，并借此提供高于正常水平的判断。这意味着其将强迫神经网络将停止标志识别为其它内容，例如限速标志。而且由于神经网络自身的架构非常复杂，因此目前我们还没有办法检查触发器激活时到底有多少其它方程参与其中。

纽约大学进行的AI后门触发测试

在利用停车标志图像进行测试时，研究人员们能够以超过90%的准确率水平实施攻击。他们对标志检测图像识别网络进行训练，以确保其对三种触发条件作出响应：便笺笔记、炸弹贴纸以及花朵贴纸。其中炸弹贴纸的误导效果最好，测试结果中其准确率高达94.2%。

纽约大学的研究团队指出，这类攻击活动可能以多种形式出现。首先，云服务供应商可以出售AI访问权，而黑客则可借此获得对云服务供应商服务器的接入能力并替换实际AI;另外，黑客方亦有机会以开源软件的形式对该网络进行上传以坑害其他用户。研究人员们甚至发现，当这些神经网络被教导以识别其它图像集合时，恶意触发器也仍然有效。除了误导自动驾驶车辆之外，这种技术甚至能够使黑客在AI支持型图像检测系统面前彻底隐身。

多兰加维特指出，这项研究显示，目前业界采用的安全与审计实践还远远不够。除了更好地理解神经网络当中包含的内容之外，我们亦有必要建立起经过验证的可信神经网络安全实践。