当前位置:安全行业动态 → 正文

AIoT领域的安全风险,你不能不知道!

责任编辑:cres 作者:VirboxAIoT |来源:企业网D1Net  2020-08-18 13:33:22 本文摘自:FreeBuf

当前,AI医疗、智慧家庭、自动驾驶、智能交易等人工智能的发展不断颠覆企业的商业模式,也在改变我们的生活方式。中国科学院院士、上海交通大学副校长毛军发表示,人工智能作为“加速器”已涉及医疗、金融、交通、新闻等各行各业,可以有效解决传统行业面临的问题,发挥大量数据的价值,赋能传统产业发展。
 
“人工智能发展的本质是通过算法、算力和数据去解决完全信息和结构化环境下的确定性问题。”毛军发认为,随着算法、算力和数据的进一步发展,势必加速万物智能时代到来,为人工智能赋能各种场景打通重要通道,实现万物互联。
 
但不可否认的是,人工智能在服务和赋能人类生产生活同时,也带来了难以忽视的安全风险。
 
【人工智能安全问题分类】
 
一、数据风险
 
1. “数据投毒”
 
所谓的“数据投毒”指人工智能训练数据污染导致人工智能决策错误。通过在训练数据里加入伪装数据、恶意样本等,破坏数据的完整性,进而导致训练的算法模型决策出现偏差。
 
“数据投毒”主要有两种攻击方式:
 
· 一种是采用模型偏斜方式,攻击目标是训练数据样本,通过污染训练数据达到改变分类器分类边界的目的;
 
· 另一种则是采用反馈误导方式,攻击目标是人工智能的学习模型本身,利用模型的用户反馈机制发起攻击,直接向模型“注入”伪装的数据或信息,误导人工智能做出错误判断。
 
“数据投毒”危害性十分巨大,特别是在自动驾驶领域,可导致车辆违反交通规则甚至造成交通事故。
 
2. 数据泄露
 
一方面逆向攻击可导致算法模型内部的数据泄露;
 
另一方面,人工智能技术可加强数据挖掘分析能力,加大隐私泄露风险。比如各类智能设备(如智能手环、智能音箱)和智能系统(如生物特征识别系统、智能医疗系统),人工智能设备和系统对个人信息采集更加直接与全面。人工智能应用采集的信息包括了人脸、指纹、声纹、虹膜、心跳、基因等,具有很强的个人属性。这些信息具有唯一性和不变性,一旦泄露或者滥用将产生严重后果。
 
3. 数据异常
 
运行阶段的数据异常可导致智能系统运行错误,同时模型窃取攻击可对算法模型的数据进行逆向还原。此外,开源学习框架存在安全风险,也可导致人工智能系统数据泄露。
 
二、算法风险
 
· 图像识别、图像欺骗等会导致算法出问题,比如自动驾驶,谷歌也做了一些研究,如果模型文件被黑客控制恶意修改,并且给它学习,会产生完全不一样的结果;
 
· 算法设计或实施有误可产生与预期不符甚至伤害性结果;
 
· 算法潜藏偏见和歧视,导致决策结果可能存在不公;
 
· 算法黑箱导致人工智能决策不可解释,引发监督审查困境;
 
· 含有噪声或偏差的训练数据可影响算法模型准确性。
 
三、网络风险
 
· 人工智能不可避免的会引入网络连接,网络本身的安全风险也会将AI带入风险的深坑;
 
· 人工智能技术本身也能够提升网络攻击的智能化水平,进而进行数据智能窃取;
 
· 人工智能可用来自动锁定目标,进行数据勒索攻击。人工智能技术通过对特征库学习自动查找系统漏洞和识别关键目标,提高攻击效率;
 
· 人工智能可自动生成大量虚假威胁情报,对分析系统实施攻击。人工智能通过使用机器学习、数据挖掘和自然语言处理等技术处理安全大数据,能自动生产威胁性情报,攻击者也可利用相关技术生成大量错误情报以混淆判断;
 
· 人工智能可自动识别图像验证码,窃取系统数据。图像验证码是一种防止机器人账户滥用网站或服务的常用验证措施,但人工智能通过学习可以让这一验证措施失效。
 
四、其他风险
 
第三方组件问题也会存在问题,包括对文件、网络协议、各种外部输入协议的处理都会出问题。被黑客利用,带来的是灾难性的毁灭。
 
【通俗来讲就是:再牛逼的安全验证,最终也不过是一串数据!】
 
我们要清楚的认识到,人工智能的时代数据安全也面临了很多新的挑战。保护数据安全保护算法安全,对于企业来说变为了重中之重。

关键字:安全

本文摘自:FreeBuf

x AIoT领域的安全风险,你不能不知道! 扫一扫
分享本文到朋友圈
当前位置:安全行业动态 → 正文

AIoT领域的安全风险,你不能不知道!

责任编辑:cres 作者:VirboxAIoT |来源:企业网D1Net  2020-08-18 13:33:22 本文摘自:FreeBuf

当前,AI医疗、智慧家庭、自动驾驶、智能交易等人工智能的发展不断颠覆企业的商业模式,也在改变我们的生活方式。中国科学院院士、上海交通大学副校长毛军发表示,人工智能作为“加速器”已涉及医疗、金融、交通、新闻等各行各业,可以有效解决传统行业面临的问题,发挥大量数据的价值,赋能传统产业发展。
 
“人工智能发展的本质是通过算法、算力和数据去解决完全信息和结构化环境下的确定性问题。”毛军发认为,随着算法、算力和数据的进一步发展,势必加速万物智能时代到来,为人工智能赋能各种场景打通重要通道,实现万物互联。
 
但不可否认的是,人工智能在服务和赋能人类生产生活同时,也带来了难以忽视的安全风险。
 
【人工智能安全问题分类】
 
一、数据风险
 
1. “数据投毒”
 
所谓的“数据投毒”指人工智能训练数据污染导致人工智能决策错误。通过在训练数据里加入伪装数据、恶意样本等,破坏数据的完整性,进而导致训练的算法模型决策出现偏差。
 
“数据投毒”主要有两种攻击方式:
 
· 一种是采用模型偏斜方式,攻击目标是训练数据样本,通过污染训练数据达到改变分类器分类边界的目的;
 
· 另一种则是采用反馈误导方式,攻击目标是人工智能的学习模型本身,利用模型的用户反馈机制发起攻击,直接向模型“注入”伪装的数据或信息,误导人工智能做出错误判断。
 
“数据投毒”危害性十分巨大,特别是在自动驾驶领域,可导致车辆违反交通规则甚至造成交通事故。
 
2. 数据泄露
 
一方面逆向攻击可导致算法模型内部的数据泄露;
 
另一方面,人工智能技术可加强数据挖掘分析能力,加大隐私泄露风险。比如各类智能设备(如智能手环、智能音箱)和智能系统(如生物特征识别系统、智能医疗系统),人工智能设备和系统对个人信息采集更加直接与全面。人工智能应用采集的信息包括了人脸、指纹、声纹、虹膜、心跳、基因等,具有很强的个人属性。这些信息具有唯一性和不变性,一旦泄露或者滥用将产生严重后果。
 
3. 数据异常
 
运行阶段的数据异常可导致智能系统运行错误,同时模型窃取攻击可对算法模型的数据进行逆向还原。此外,开源学习框架存在安全风险,也可导致人工智能系统数据泄露。
 
二、算法风险
 
· 图像识别、图像欺骗等会导致算法出问题,比如自动驾驶,谷歌也做了一些研究,如果模型文件被黑客控制恶意修改,并且给它学习,会产生完全不一样的结果;
 
· 算法设计或实施有误可产生与预期不符甚至伤害性结果;
 
· 算法潜藏偏见和歧视,导致决策结果可能存在不公;
 
· 算法黑箱导致人工智能决策不可解释,引发监督审查困境;
 
· 含有噪声或偏差的训练数据可影响算法模型准确性。
 
三、网络风险
 
· 人工智能不可避免的会引入网络连接,网络本身的安全风险也会将AI带入风险的深坑;
 
· 人工智能技术本身也能够提升网络攻击的智能化水平,进而进行数据智能窃取;
 
· 人工智能可用来自动锁定目标,进行数据勒索攻击。人工智能技术通过对特征库学习自动查找系统漏洞和识别关键目标,提高攻击效率;
 
· 人工智能可自动生成大量虚假威胁情报,对分析系统实施攻击。人工智能通过使用机器学习、数据挖掘和自然语言处理等技术处理安全大数据,能自动生产威胁性情报,攻击者也可利用相关技术生成大量错误情报以混淆判断;
 
· 人工智能可自动识别图像验证码,窃取系统数据。图像验证码是一种防止机器人账户滥用网站或服务的常用验证措施,但人工智能通过学习可以让这一验证措施失效。
 
四、其他风险
 
第三方组件问题也会存在问题,包括对文件、网络协议、各种外部输入协议的处理都会出问题。被黑客利用,带来的是灾难性的毁灭。
 
【通俗来讲就是:再牛逼的安全验证,最终也不过是一串数据!】
 
我们要清楚的认识到,人工智能的时代数据安全也面临了很多新的挑战。保护数据安全保护算法安全,对于企业来说变为了重中之重。

关键字:安全

本文摘自:FreeBuf

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^