当前位置:人工智能行业动态 → 正文

如何在GenAI时代的网络军备竞赛中幸存

责任编辑:cres 作者:Chris Wysopal |来源:企业网D1Net  2023-12-19 16:11:16 原创文章 企业网D1Net

GenAI的迅速出现已经改变了网络安全的天平,促使各国政府采取行动,美国总统乔·拜登在10月份发布了一项全面的行政命令(EO)。
 
关于安全、有保障和值得信赖的AI开发和使用的行政命令就如何确保这项新兴技术的安全提供了指导——这是以前的订单所缺乏的,它还概述了与AI快速加速相关的挑战。虽然CEO寻求让国内使用AI安全、可靠,但也许最高的任务是竞相为好人利用AI的潜力,并防止将其用于坏人。这就提出了一个问题:在接下来的五年里,谁将受益更多——捍卫者还是攻击者?答案是:目前还不清楚。
 
有一点是肯定的,防御者和攻击者都希望获得生成性AI的优势。在这一点上,我们无法预测的是,是否会有一方占上风,这是一场需要双方投入时间、精力和费用的比赛,双方都将看到爆发式的成功。
 
它不一定要完全混乱。公司、安全从业者和政府机构现在可以采取措施,确保他们跟上攻击者的步伐,甚至可以通过更多的协作、持续的立法框架和安全的创新空间来发挥带头作用。
 
AI为威胁参与者和安全团队提供力量
 
对于攻击者来说,AI为社会攻击和模仿攻击增加了前所未有的速度和力量,特别是在规模上。如果没有AI,针对CFO电子邮件的网络钓鱼攻击对攻击者来说是耗时的,因为他们必须首先筛选旧电子邮件,以获得沟通风格的感觉,然后才能在钓鱼电子邮件中模仿它。GenAI模型已经证明了熟练的写作能力,它们很快就能做到这一点,从而实现了更多的威胁战役。在攻击者目前可以一次发起十次钓鱼或电子邮件泄露攻击的地方,AI将使他们能够在几秒钟内点击一个按钮执行一千次攻击。
 
这些类型的攻击之所以成功,是因为攻击者一次可以瞄准更多的潜在受害者,这无疑与AI的火力成倍增加。当被用于邪恶时,GenAI已被证明会加剧攻击强度和后果的严重性。
 
当然,攻击者的这些炮轰不会被忽视。该行业将用AI支持的技术进行反击,该技术可以检测并响应这些类型的攻击,但这些对策可能需要六个月的时间才能制定出来,在此期间会让许多公司变得脆弱不堪。
 
军备竞赛就是这样进行的,例如,有报道称,恶意AI聊天机器人的开发者正在开发更复杂的工具,其中一个工具使用整个黑暗网络作为其大型语言模型的知识库。
 
与此同时,网络安全行业也在响应这一号召,并利用AI进行积极的改进,一个明显的例子是修复现有的安全漏洞,这主要是一个手动的、耗时的过程,这一点,再加上紧张的资源,使传统产品变得脆弱不堪。随着自动攻击的持续增加,手动修复缺陷不再站得住脚。我们现在可以使用AI在软件开发过程中左移,并在一开始就消除漏洞,优先进行自动修复。
 
AI将在未来几年内在网络安全的每一个类别中实现这种创新,AI模型将作为安全运营中心(SOC)团队的初级助理运行。人们希望,随着更少的漏洞进入开发过程,就越容易缓解和防御威胁。
 
同一战线:行业和政府应该在AI军备竞赛中结成伙伴
 
GenAI发展如此之快,以至于很难预测网络军备竞赛的结果。我们所知道的是,协作是关键。虽然《雇佣条例》中规定的监管是重要的一步,但它不会解决所有问题。
 
随着科技公司不断推出AI产品,它们在竞争中扮演着关键的合作伙伴角色。虽然他们绕过了赛道的角落,但他们从客户那里获得的反馈对于塑造未来的AI法规至关重要,这些法规将促进创新、保护数据并解决社会关切。公私合作伙伴关系在各个行业已经使用了几十年,对AI的需求也没有什么不同。政府和科技行业之间的合作是为AI创新和安全蓬勃发展创造一个安全空间的关键。
 
至关重要的是,行业和政府应不断评估为保护公众不受限制地使用AI而设置的护栏,无论是网络罪犯还是老牌公司。首席运营官承诺制定标准,确保AI系统是安全的,并针对一系列严格的资格进行测试,这些资格和标准将需要随着时间的推移而完善,才能真正标准化。
 
美国商务部还将制定水印和内容认证指南,以明确标记AI生成的内容,而Alphabet、Meta和OpenAI等公司已经承诺实施此类措施,这种做法与美国特勤局(US Secret Service)在彩色复印机和打印机制造商变得足够先进、可以伪造货币后,让制造商在打印页面上添加数字水印的做法产生了共鸣,然而,它确实给不良演员带来了一系列独特的挑战,以供滥用。
 
为了确保负责任地开发和部署AI技术,我们的立法框架必须继续演变,以透明度、可见性和理解为基石,科技行业和政府可以共同努力,降低风险,对抗威胁。
 
采用积极主动的方法来实现GenAI
 
我们正在进入网络安全军备竞赛的新阶段,AI占据了主导地位。任何新技术都是一把双刃剑,GenAI的力量和潜力让它的锋芒格外锋利。
 
猫捉老鼠的游戏才刚刚开始。军备竞赛将如何发展还不确定,但至关重要的是,行业和政府的捍卫者都要积极主动。好消息是:AI以前所未有的速度推出了具有里程碑意义的法规。当我们拥抱这片未知领域时,改进我们的防御性AI战略必须是一项全力以赴的努力。
 
企业网D1net(www.d1net.com):
 
国内主流的to B IT门户,同时在运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。同时运营19个IT行业公众号(微信搜索D1net即可关注)。
 
版权声明:本文为企业网D1Net编译,转载需在文章开头注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

关键字:GenAI

原创文章 企业网D1Net

x 如何在GenAI时代的网络军备竞赛中幸存 扫一扫
分享本文到朋友圈
当前位置:人工智能行业动态 → 正文

如何在GenAI时代的网络军备竞赛中幸存

责任编辑:cres 作者:Chris Wysopal |来源:企业网D1Net  2023-12-19 16:11:16 原创文章 企业网D1Net

GenAI的迅速出现已经改变了网络安全的天平,促使各国政府采取行动,美国总统乔·拜登在10月份发布了一项全面的行政命令(EO)。
 
关于安全、有保障和值得信赖的AI开发和使用的行政命令就如何确保这项新兴技术的安全提供了指导——这是以前的订单所缺乏的,它还概述了与AI快速加速相关的挑战。虽然CEO寻求让国内使用AI安全、可靠,但也许最高的任务是竞相为好人利用AI的潜力,并防止将其用于坏人。这就提出了一个问题:在接下来的五年里,谁将受益更多——捍卫者还是攻击者?答案是:目前还不清楚。
 
有一点是肯定的,防御者和攻击者都希望获得生成性AI的优势。在这一点上,我们无法预测的是,是否会有一方占上风,这是一场需要双方投入时间、精力和费用的比赛,双方都将看到爆发式的成功。
 
它不一定要完全混乱。公司、安全从业者和政府机构现在可以采取措施,确保他们跟上攻击者的步伐,甚至可以通过更多的协作、持续的立法框架和安全的创新空间来发挥带头作用。
 
AI为威胁参与者和安全团队提供力量
 
对于攻击者来说,AI为社会攻击和模仿攻击增加了前所未有的速度和力量,特别是在规模上。如果没有AI,针对CFO电子邮件的网络钓鱼攻击对攻击者来说是耗时的,因为他们必须首先筛选旧电子邮件,以获得沟通风格的感觉,然后才能在钓鱼电子邮件中模仿它。GenAI模型已经证明了熟练的写作能力,它们很快就能做到这一点,从而实现了更多的威胁战役。在攻击者目前可以一次发起十次钓鱼或电子邮件泄露攻击的地方,AI将使他们能够在几秒钟内点击一个按钮执行一千次攻击。
 
这些类型的攻击之所以成功,是因为攻击者一次可以瞄准更多的潜在受害者,这无疑与AI的火力成倍增加。当被用于邪恶时,GenAI已被证明会加剧攻击强度和后果的严重性。
 
当然,攻击者的这些炮轰不会被忽视。该行业将用AI支持的技术进行反击,该技术可以检测并响应这些类型的攻击,但这些对策可能需要六个月的时间才能制定出来,在此期间会让许多公司变得脆弱不堪。
 
军备竞赛就是这样进行的,例如,有报道称,恶意AI聊天机器人的开发者正在开发更复杂的工具,其中一个工具使用整个黑暗网络作为其大型语言模型的知识库。
 
与此同时,网络安全行业也在响应这一号召,并利用AI进行积极的改进,一个明显的例子是修复现有的安全漏洞,这主要是一个手动的、耗时的过程,这一点,再加上紧张的资源,使传统产品变得脆弱不堪。随着自动攻击的持续增加,手动修复缺陷不再站得住脚。我们现在可以使用AI在软件开发过程中左移,并在一开始就消除漏洞,优先进行自动修复。
 
AI将在未来几年内在网络安全的每一个类别中实现这种创新,AI模型将作为安全运营中心(SOC)团队的初级助理运行。人们希望,随着更少的漏洞进入开发过程,就越容易缓解和防御威胁。
 
同一战线:行业和政府应该在AI军备竞赛中结成伙伴
 
GenAI发展如此之快,以至于很难预测网络军备竞赛的结果。我们所知道的是,协作是关键。虽然《雇佣条例》中规定的监管是重要的一步,但它不会解决所有问题。
 
随着科技公司不断推出AI产品,它们在竞争中扮演着关键的合作伙伴角色。虽然他们绕过了赛道的角落,但他们从客户那里获得的反馈对于塑造未来的AI法规至关重要,这些法规将促进创新、保护数据并解决社会关切。公私合作伙伴关系在各个行业已经使用了几十年,对AI的需求也没有什么不同。政府和科技行业之间的合作是为AI创新和安全蓬勃发展创造一个安全空间的关键。
 
至关重要的是,行业和政府应不断评估为保护公众不受限制地使用AI而设置的护栏,无论是网络罪犯还是老牌公司。首席运营官承诺制定标准,确保AI系统是安全的,并针对一系列严格的资格进行测试,这些资格和标准将需要随着时间的推移而完善,才能真正标准化。
 
美国商务部还将制定水印和内容认证指南,以明确标记AI生成的内容,而Alphabet、Meta和OpenAI等公司已经承诺实施此类措施,这种做法与美国特勤局(US Secret Service)在彩色复印机和打印机制造商变得足够先进、可以伪造货币后,让制造商在打印页面上添加数字水印的做法产生了共鸣,然而,它确实给不良演员带来了一系列独特的挑战,以供滥用。
 
为了确保负责任地开发和部署AI技术,我们的立法框架必须继续演变,以透明度、可见性和理解为基石,科技行业和政府可以共同努力,降低风险,对抗威胁。
 
采用积极主动的方法来实现GenAI
 
我们正在进入网络安全军备竞赛的新阶段,AI占据了主导地位。任何新技术都是一把双刃剑,GenAI的力量和潜力让它的锋芒格外锋利。
 
猫捉老鼠的游戏才刚刚开始。军备竞赛将如何发展还不确定,但至关重要的是,行业和政府的捍卫者都要积极主动。好消息是:AI以前所未有的速度推出了具有里程碑意义的法规。当我们拥抱这片未知领域时,改进我们的防御性AI战略必须是一项全力以赴的努力。
 
企业网D1net(www.d1net.com):
 
国内主流的to B IT门户,同时在运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。同时运营19个IT行业公众号(微信搜索D1net即可关注)。
 
版权声明:本文为企业网D1Net编译,转载需在文章开头注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

关键字:GenAI

原创文章 企业网D1Net

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^