数字化转型的人工智能原生安全风险

责任编辑:cres

2020-09-24 14:36:30

来源:企业网D1Net

原创

在未来应该拓宽人工智能在各行业的应用,建立完善的数据生态系统,建立人工智能应用标准。

9月24日,由主流企业级IT媒体企业网D1Net、CIO智力分享平台信众智联合主办的2020 CIOC全国CIO大会于云南·香格里拉市隆重召开。大会汇集国药集团、国家信息中心、戴尔科技集团、浪潮信息、微软、中国石化、京东智联云、新凤鸣集团、雪松控股集团、Commvault、美云智数、销售易、蒙牛集团、万华化学、易路、乐宜嘉、石墨文档、罗牛山集团、永高集团、平安保险集团、北大方正等众多全国各大行业大中型企业信息主管、企业信息化一线厂商和服务提供商,以“后疫情时代的数字化转型”为主题,分享交流CIO在工作中的经验和困惑,探讨新基建,云计算,大数据,AI,信息安全,远程协作,开源、工业互联网,智能制造,产业升级, RPA,区块链,私域流量运营,职业发展方向等相关话题。

以下是现场速记。



雪松控股集团CIO 李洋
 
李洋:谢谢主持人,谢谢在座的各位CIO、各位领导,各位嘉宾!首先非常感谢企业网的范总、曹总和会务人员给我们提供这么好的平台。
 
第二,今天下午讲确实比较困难一点,大家比较困,我也是刚睡醒。但是今天在海拔比较高的CIO大会上,从上午来看我们的主题上都是比较高的这种高度,然后比较高的规格,所以下午第一个演讲我就跟大家分享一下,我们这个数字化转型当中,不可不知的人工智能的原生安全。
 
第一,分享在谈数字化转型、新基建、人工智能时代,到底人工智能发展脉络和现在这个步调是什么样的?
 
第二,我们更加的聚焦讲一下人工智能与数字化转型,包括新基建、金融科技,很多的产业是什么样的关系。
 
第三,是我们的重点,从战略的维度也好,从CIO的思维,从我们的风控的角度来谈一下我们的人工智能原生安全。
 
第四,以前面三块为基础来分享整个数字化转型的三维思考,我们把人工智能的原生安全推广到整个科技的安全,推广到整个数字化转型。
 
我们先跟大家分享一下人工智能的发展。无论什么大会讲都离不开国家的安全,这是整个国家包括我们的习主席,我们的国家负责人,也是一直在大力倡导整个人工智能、大数据包括云计算等新兴的科技在不同产业经济的推动。从我们的人工智能来讲,我们国家制定了新一代的人工智能发展规划,大家可以从右边很清楚的看到,我们想在2030年达到人工智能发达国家的水平,其实这个还是非常有难度的。可能从各位CIO,包括像我们30多个省市、自治区来看,我们可以关注可以查一下政府网站,发现基本每个省市、直辖市都制定了人工智能的三年规划。在这个里面,广东走得比较超前也好或者迈步迈的比较疯狂也好,它制定了将近十年的规划,大家可以关注一下。这从侧面反应了人工智能发展的趋势是深入人心的。
 
我们聚焦这个行业,人工智能从什么时候发展起来的?可以追溯到1942年,最受大家关注的是所谓的达特茅斯会议,当时有所谓的三巨头,大家可以读一下整个人工智能的发展史。比如说我们的各位,包括可能也有CEO、总经理、CIO,如果人工智能这种发展还没有了解清楚,可能对于后面的相关工作开展可能有有一定的阻碍。这个里面从这幅图来看,我们不断的波峰波谷出现人工智能的高峰时期,这种应用的高峰时期,因为它都是以很多的焦点事件来推动的。比如像阿尔法狗,尤其到16年,我们现在来看的阿尔法狗战胜了围棋大师。包括上午微软大师也在讲,微软亚洲研发院也在开发人工打麻将,近期我们人工智能的叫深度学习这块领域,发展得特别的快。确实也出现了一些焦点性的事件,但是它到底是不是那么的智能?达到我们中文所讲的智慧阶段?这个后面我们会来提。
 
我们再把这个视角放得聚焦一点,从国家到行业,再到人工智能所涉及到的这些技术。这里我不会谈太多技术,只是说大家耳熟能详的,基本可以把它分为弱人工智能和强人工智能,在李开复一本书里提到超人工智能,我想大家都很难看到超人工智能。但是我们希望我们的下一辈,我们的后代的后代能够看到。
 
我们谈AI,很多东西就是叫机器学习,机器学习包括像传统的机器学习、深度学习,包括微众银行、学术机构包括像一些企业都在研究监督、无监督、半监督,包括像一些强化学习还有一些迁移学习,大家也看到了很多的书籍,这些都还属于弱人工智能的阶段。包括大家可能看到的买的特斯拉,包括像李彦宏在长沙搞的无人车的实验基地,这个思想往这种强人工智能去过度。现在从整个的发展来看还达不到这个程度,还是相对于我们的人的智能来讲还是相对比较弱,只不过我们看到的一些阶段性的发现的令大家感觉到比较兴奋的一些结果,总比以前很笨的,很难用机器帮我们解决的问题,现在得到一定程度上还有一定条件下的满足,所以我们觉得这个行业,这个方向还是没有问题的。
 
有了人工智能的整个的发展一个脉络,我们来看一下,我们现在在座的CIO、CEO我们的企业高管,我们所关注的人工智能到底是什么?我们可能还不会太关注它的一些技术,但是也不排除。因为今天上午国家信息中心的主任,作为CTO谈到了人工智能技术。从我们CIO包括CTO更多看到的是大的方向,这个后面我们也会提到。
 
数字化转型,雷总也号召很多CIO写了一本《数字化转型白皮书》。其实人工智能和数字化转型也是很大的关系,尤其是人工智能是数字化转型里面,我们可能可以去使用的或者我们去利用的一个机制或者说这么一种手段。我们现在谈人工智能与新基建,新基建、内循环都是热词,我们在干什么?我们在这个智能里面,石化主任弄的智能机器助理李小帅里面讲的比较概括到位,新基建里七大领域四大领域跟科技相关,其他的三大领域跟人工智能或多或少脱离不了关系,说白了他们之间相辅相成,是相互渗透在里面的。包括像大数据、5G,包括像工业互联网,我们现在叫智慧或者叫智能这种工业互联网。人工智能与新基建有着非常紧密的关系。
 
因为我也是从事金融科技很多年,所以大家也在一直看这个金融科技行业,金融科技当中也用到了很多的人工智能。像跟我们大家生活息息相关的,比如大家要做金融管理、财富管理,肯定有一些智能投顾,里面要上网上银行,大家会遇到智能客服。比如说如果你现在要去炒这个数字货币,里面也会有一些像人工智能的算法,辅助你来进行这个业务。包括IBM量子计算等都在这个里面。其实我们所使用的这种金融服务,像保险、银行、证券、基金、期货,这些里面无不渗透着我们的人工智能这些元素。
 
我们在座的高管还是要落地,我们做的很多事情要落地,我们来看人工智能与一些前沿科技的关系。好像上午有一位专家也提到了,我们会把这个东西概括为“A、B、C、D、E、S”,其实都很相关。A就是人工智能、B是区块链、C是云计算、D是大数据、E是安全生态。S是从今天一开场信息中心的李总从S开的头,但是S我们今天还不能够用非常窄的限定在一个领域,包括我们讲的6S里面的S,就是人工智能里面它里面还包括风控都属于S的范围,这个是人工智能与其他前沿科技我们的一些关系。
 
我们切入正题,因为下午怕大家睡着。这幅图第一个是因为我们这次大会是在我们的藏族自治区举行,昨天我和我的同事出去散步的时候,我看曹总等好多老总都在广场上跳舞看这个节目,我问了一下藏族人民最怀念的是哪一位领袖?藏族同胞告诉我是毛主席,这一页首先致敬毛主席,也向藏族同胞表示一下我们的支持。
 
跟我们后面有什么关系?我们在讲人工智能原生安全的时候,我们希望无论我们的发现、我们后面的问题以及后面解决问题的办法,我们不是凭空而来的,就像毛主席讲的,我们很多正确思想,包括我们做数字化转型的思想和数字化转型的理念,包括方式、方法是从哪里来的?一定是从我们整个的业务运营包括像我们的一些实验和论证,这种过程当中产生的。所以我想以这个开始人工智能的原生安全的讲解。
 
第一个我们会发现,我们出现了很多的安全事件都是跟人工智能相关的。
 
第一个,特斯拉,我们的无人车或者现在还不能说是完全的无人驾驶,它只是说有人在里面的时候叫辅助驾驶,真的出现特殊情况可能会要接管控制权。我们看特斯拉难以辨别路边的物体,撞上了静止的消防车。
 
另外炒菜机器人很难分清洗洁精和正常的开水或者纯净水、自来水,他可能会拿洗洁精泡茶或饮用。
 
第三块是扫地机器人被黑客劫持,不会完成预先设置的工作,它会打人甚至虐打小孩,这都是在特定环境里面出现的。
 
讲几个大家接受起来比较痛苦的,就像近两年出现的波音的737Max8相应的驾驶,由于它飞机在起飞的过程中与地斜面角超过一定程度,它的软件系统即所谓的人工智能系统就会过来接管要接管控制权,它就会把它强制按下去,使其恢复平稳的状态。但是它忽略了情况,包括它是不是在上升?所以导致了很多的安全事件的发生。
 
第二个,Uber无人驾驶测试车撞死行人事故。前面我提到了李彦宏在长沙专门搞了这样的无人驾驶的测试园区,这个责任谁都负不起,一出了问题就是生死攸关的大问题。
 
第三个,数据安全问题。包括隐私,包括大规模的数据泄漏。因为我们在做人工智能算法和模型的训练,和我们需要完成人工智能任务的时候它需要大量数据的汇聚。但是一旦这些数据汇聚没有相应机制和手段防护就会导致它衍生出来数据泄漏问题的发生,后面我会对其进行归类。
 
还有一个大家体会可能有一点深刻但是可能不是每天接触到,有点类似于工信部老是在防的垃圾短信和企业防的垃圾邮件。但是现在AI机器人的这种垃圾电话也是非常泛滥的,大家可能在开会的时候突然有一个电话打过来,对方音色都很好,节奏都把握很好,但是你跟它对话的时候,就有点文不对题,它老在重复。这些情况如果大家在心情舒畅的时候还是比较好的,但是如果大家设想一下,如果你在一个高速公路上开车的时候,你正在跟家人发生争执的时候,甚至看电影的时候你接到这样的电话是不是感觉到很愤怒?甚至使得你产生过激的情况。我们在很多金融行业已经发现了,就是AI机器人电话泛滥,导致对人类进行骚扰。
 
前面我们讲了很多惨淡的事件,可能给大家扑了冷水,人工智能现在这么提倡,但是又说这么多负面问题。到底怎么办?我们CIO怎么办?我们怎么去说服CEO?你到底这个东西能不能干?还是从一开始就放弃?在这个AI狂热发展的时代,很多安全问题给我们敲响了警钟,但是这些问题不是没办法解决的。
 
我们所谓的要解决问题,首先要看到问题的全貌。可能不能够断章取义,或者说看到出现了某些苗头,出现了我们看到的一些问题的时候马上就去用一些办法去做,这样会导致我们解决问题不是那么系统和全面,也会使得我们投入产出,包括科技、数据部门也好,很容易被CEO或者董事会质疑,就是你的AI怎么样,你怎么保证你每年的投入产出延续性?是不是今年做了,明年突然又出现了一个别的智能?别的数据?今天说大数据还是说小数据,今天有区块链明天是不是有别的链产生?今天云计算明天提物计算?怎么保证我的投资长期来说有保障和有收益的。
 
我们从AI这块来讲怎么来看待这个问题?我们中国人强调八卦和平衡,阴阳平衡。我们就从两个方面来讲:
 
原生安全包括两部分,一部分是内生,一部分是外生。
 
首先,我们讲内生安全。内生安全包括像AI代码包括数据完整性,我们有模型的完整性,如果从行业来讲就是模型的可解释性。比如我们神经网络是不是可解释?可解释才可预期,不可解释就无法掌控它。基本上这几块就构成了我们的内生,后面我会做一个书面的明确的定义。
 
第二,相对来说,就是外生安全。今天讲的像数据的安全、应用的安全、网络的安全、系统的安全、物理的安全,当然这是与人工智能相关的层面的安全。这些都是外生,它不是与生俱来的,它因为我们在部署人工智能的系统,我们在应用人工智能的系统和应用的时候衍生出来的,它不是与生俱来的。
 
我就把这些概念更加细化了,像这些概念,我在北上广讲这种概念讲了很多遍了。原生,给大家举例子,是初始未经修饰的最初,大家都听过安卓原生,那都是所谓的叫原生。内生就是指的由AI的本身机制引起的,它是一种叫与生俱来的。比如我的模型本身出现这么一些偏差,出现这么一些问题,比如把猫食变成了狗食,然后把奥巴马识别成了特朗普。这是内生问题。
 
外生是除了AI机制本身之外的,我们所说的导致的问题。前面讲的AI数据的泛滥和大批量的泄漏导致CIO、CEO下课。
 
包括我们前面提到的,比如把它用到AI电话诈骗或者AI电话泛滥,这是由于我们在使用过程当中没有去约束它,没有对它进行很好的包括像制度也好、技术也好、国家层面也好的管束,它是属于一种外生。
 
内生这里讲得再详细一点,这里不做细化,我们有一本书来讲这个事情。包括代码安全、数据完整性、模型保密性、模型鲁棒性。模型保密性很重要,它不会把算法公布给别人。很多这种国外的专家说,你不应该对这些骚扰进行保密,否则很难说明这些骚扰是比较鲁棒的。如果对模型保密,至少能够给非法想去直接获取这个模型的人,给他制造一定的难度。从我们的代价来讲,其实给他有了一定的阻碍。所以在这里我们强调一下,模型的保密性,在这个AI里面来讲还是非常重要的。
 
大家可以看到,我们去年底在湖南搞了一个湖湘杯,搞了线上的对抗赛,就是基于人工智能,人+工具去对抗一个网站也好、系统也好,在那边可能它也用了比如我们的攻防对抗红蓝军人员,另外他也用了自动化脚本、自动化工具即AI工具,这一块得到了整个业界很大的应用,和大家都在关注这个事情。
 
内生安全典型工具方式,我们要解决这个问题还是要知道它可能在什么情况下会发生问题,包括像后门攻击、闪避攻击、模型窃取攻击、诱饵攻击。开发商留下后门之后,某些情况会控制我们的系统、设备、网络,其实我们这个高层在这种比较严峻的网络环境下,尤其是像提自主管控,我们都是比较关注的。
 
内生安全事件,前面讲了,现在时间原因不多讲了。这里告诉大家,我们有很多防御技术。前面在平安,我们跟华为,跟360都有一些探讨,我们在很多竞赛、标准方面,有很多的一些产出。
 
这个是我们当时在平安专门成立的一个研究院,我们跟腾讯、阿里他们都有一个研究院,他们搞的CVE的网上风险漏洞库,我们提交了很多漏洞,我们主要挖掘出来像美国谷歌他们自己开发的人工智能的框架自身存在的漏洞,但是这些漏洞说实话,我们现在很多国内开源的系统包括像我们很多大的企业都还在用,所以说这是我今天要提醒大家的 ,一定要关注这一块的风险。
 
外生安全包括物理层、数据层、网络层,这一块可以通过像等保、ISO系列,比如要拿一些证书,这些标准的体系里面其实在这一块都有些界定。但是提醒一点,我们主要还是考量AI系统或者应用在这几个方面的一些风险,而不是考虑泛泛的。其实我们发现为什么国家的这种标准、体制也在不断的健全?就是说对这种新兴应用的这些管制,包括像这种指导也会越来越有针对性,而以前来说都是比较宽泛的。
 
这是我们的外生安全的事件,这里不多讲了。
 
对未来的新思考,前面来讲,我们虽然发现这么多风险,但是我们不需要因噎废食,比如我们在AI上要有一些建树,尤其它是可健康、可持续的发展。这里提一些建议:
 
第一,拓宽人工智能在各行业的应用,这个还是业务为先的。
 
第二,我们要建立完善的数据生态系统。数据安全包括像数据生态、数据治理,在金融科技、在近期国家有关部委,像国企颁发的关于加快数字化转型一些方面的工作指导意见里面明确提到了这一块。
 
还有建立人工智能应用标准,这一块我们也是做加强人工智能专业、人才储备,包括要解决的安全问题同时可能要带来新的风控的、CIO或者CDO、CEO看问题的层面,可能我们要从两面去看。一方面要快速的落地我们的信息化、数字化的应用,使用人工智能。另一方面要切实关注它可能同时带来的一些风险。可能我们需要在全行业来建立AI安全的预警平台。
 
最后一部分,跟大家分享一下基于前面讲的,我们把这个思维再拓宽一点。我们可能不仅限于人工智能,因为可能到了明年可能又会出现新的技术,又有一些新的方式、方法,是不是我们就老是在这个后面去追?去研究?去改进?我们的CIO就顾此失彼了。我们要怎么样?可能我们要认识这个背后的真相,我们怎么去统筹这个事情?
 
要统筹这个事情需要看一看这个时代的演进,前面大家提到了DT。首先我们是信息化时代,我们叫信息科技,现在我们说一个数字化、智能化,我们叫Data Technology,我们跟领导聊的时候一上来问院士,你们觉得人工智能用这么多,现在到处都是机器人,人到底从伦理、危险性,从被替代性方面有没有危险?人会不会失去对整个的控制权?他说,下一个时代是一个什么样的时代?其实我们可以很清醒的讲,现在的数字化、智能化时代还只是弱人工智能的时代,可能未来我们是智慧化,如果真的要进化的话,其实我们现在提的很多像智慧城市也好、智慧医疗、智慧金融,其实从中文上来讲还是不确切的,我们顶多可能叫智能而不能够叫智慧,智慧是可以自学习、自演进,不断像人这样可以不断的通过掌握一些系统化的东西,我们可以去学习,可以去触类旁通,举一反三的,而不会像弱人工智能这样,只能限定在某些领域,它还不能到很通用的领域,都是在比较限定的领域。
 
这一块我们回到大会主题,前面讲人工智能,我们这个CIO、CEO要怎么考虑这些问题?又有安全问题,又不能够不用,还是要往前走。我去年在金融展上也提出这么一些方法:我们叫一横三纵,我们的CIO、CEO、相应的科技主管,一定要抓住这一点。一横是行业和业务,包括我们的IT战略、IT规划,我们一定是不能够脱离我们的业务,所以这一块我们是一横。三纵,第一个是大家可能比较关注科技,人工智能、区块链,好像我们觉得我们不用别人用了,我们就low一点,可能大家对我们的感知度没有那么高,确实有这种情况。一方面我们还是要加深我们对科技的理解,然后把科技的工作落地,但是这个当中我们要考虑两个环节:首先是风险即风控,我们要做好这种安全风控。
 
科技可能到时候可以作为进攻的角色,驱动业务或者引领业务也好,作为足球比赛或者篮球比赛我们是一个进攻方,但是安全从负面来讲我们是一个防守方。像世界杯的球队或者NBA球队要获得总冠军只有进攻没有防守是不行的,在互联网时代我们的防守有的时候就是一票否决。像国外的行业就是因为数据安全泄漏风险没有做好,导致它在行业里面失去了龙头甚至失去了行业准入的基础了。
 
最后一块就是生态。我们的生态可能就是新生态,我们需要构建共生共融的生态。在生态这一块,这个是我们以前的一些经验,包括这个大会是生态里很好的体现。相当于我们今天过来的很多供应商或者服务提供商,它不是传统的甲方和乙方的这么一个地位了,它更多的是要根据数字化转型、IT战略、业务战略需求,需要给我们提供很多定制化、个性化,甚至有了某些龙头企业定制化服务,使得整个产品在某个行业处于领先地位。所以这个生态,我们很难去说到底是甲方还是乙方,包括国家、政府、协会包括企业网很多都是我们生态里面的一环。
 
最后,《金融安全3.0》书里提到了科技和科技安全。
 
今天讲到这里,谢谢大家!

链接已复制,快去分享吧

企业网版权所有©2010-2024 京ICP备09108050号-6京公网安备 11010502049343号