牛津大学等机构:AI恶意应用报告(附全文下载) | 亿欧智库精选

亿欧智库 > 智库观点 > 牛津大学等机构:AI恶意应用报告(附全文下载) | 亿欧智库精选

自动化
牛津大学等
Miles Brundage等
2018-02-26 17:30
[ 亿欧导读 ] 报告首先详细分析了 AI 可能在数字安全、物理安全、政治安全等方面带来的威胁,随后提出了四项高层次的建议,及几个有前景的研究领域。最后,作者还分析了攻击者和防御者之间的长期平衡问题
亿欧智库精选分享,人工智能,亿欧智库,安全

人工智能为各行各业带来升级的同时,也可能被应用在一些恶意方向上。针对AI可能的潜在恶意应用,最近,来自未来人类研究会 、牛津大学、OpenAI等多家机构和高校的共 26 名学者,共同在 arXiv 上发表了一篇研究报告:《人工智能的恶意使用:预测、预防和缓解》,对人工智能可能的恶意用途及预防提出了相关建议。

报告共101页,主要分成7个主要章节,分别对课题由来、AI和安全的总体框架、具体AI与安全相关领域、干预与策略分析等进行了阐述。以下是报告的部分内容概要介绍,全文下载:OpenAI恶意应用报告.pdf


AI恶意应用报告封面

报告共分7个主要章节,目录如下图所示。报告首先详细分析了 AI 可能在数字安全、物理安全、政治安全等方面带来的威胁,随后提出了四项高层次的建议,及几个有前景的研究领域。最后,作者还分析了攻击者和防御者之间的长期平衡问题。

报告目录

00. 研究总结

报告第一部分,对整个研究情况及结论进行了总结,并分别介绍了每章的主要内容。报告不是为了确定性的解决AI的恶意应用威胁,而是对AI可能的恶意应用及其未来的攻防双方长期平衡发展进行了分析,重点聚焦于如果防范技术没有跟上,可能基于AI发动的攻击。

01. 引言

概述了研究范围和相关文献。本次研究只考虑当前及5年内可能实现的AI技术,主要是深度学习相关技术。报告没有考虑AI应用引发的间接威胁,以及一些非恶意的AI安全相关研究。

02. AI 和安全威胁的总体框架

报告指出AI 的能力在最近几年发展很快,但我们不能指望AI在当前的很多任务中取得显著突破性进展。AI与安全的关联在于,AI技术天然双刃剑特性,AI系统通常高效可扩展,可以增强人的能力,也可以拉远人之间的距离。AI系统的部署使得AI快速传播,但今天的AI系统仍有很多易遭到攻击的地方。

报告预计越来越多 AI 系统的使用将会导致以下安全格局的变化:

扩大现有安全威胁。通过可扩展地使用AI系统来完成通常需要人力、智力和专业知识的任务,攻击的成本会大大的降低。一个自然的结果就是扩大了能够进行特定攻击的人群范围,提升了执行这些攻击的速度,增加了可攻击的潜在目标。

引入新的安全威胁。通过使用 AI 系统,新的安全攻击可以完成对人类攻击者来说不可能完成的任务。另外,安全维护人员开发的 AI 系统漏洞也会给恶意攻击者带来新的可乘之机。

改变安全威胁的典型特征。我们有理由认为伴随着AI应用的快速发展,安全攻击将会高效、有针对性、难于归因且难以防守,这将在很大程度上改变传统网络安全的典型特征。

03. 安全领域

报告中详细分析了三个安全领域,并通过一些代表性的例子说明了在这些领域中可能发生的安全威胁变化。

数字安全。传统的网络攻击任务中,攻击规模和攻击效率之间往往不能两全,使用AI来执行这些任务将很大程度上消除现有的折衷,这将扩大与劳动密集型网络攻击(如鱼叉式网络钓鱼)相关的威胁。此外还会出现利用人类弱点(例如通过使用语音合成进行冒充)、现有软件漏洞(例如通过自动黑客攻击)或 AI 系统的漏洞(例如通过对抗性样本和数据下毒)等的新型安全攻击。

物理安全。使用 AI 来自动执行与无人机或其他物理系统(例如部署自主武器系统)攻击有关的任务,这将会扩大与这些攻击相关的威胁。此外,使用 AI 也可能会导致出现新型的攻击,包括破坏网络物理系统(例如导致自动驾驶车辆崩溃)、远程入侵物理系统(例如使用成千上万的微型无人机)。

政治安全。使用 AI 来自动化监测(例如分析大量收集的数据)、说服(例如创建有针对性的宣传)、欺骗(例如修改视频),可能会扩大与侵犯隐私和操纵社交相关的威胁。此外,新型的攻击可能利用AI逐渐提升的能力,在现有数据的基础上分析人类的行为、情绪、信仰等,这些将会对专制国家带来很大的威胁,但不可否认也将威胁民主国家(例如能否维持公开辩论的真实性)。

04. 干预

针对不断变化的威胁环境,报告提出了四项宏观的建议:

1.决策者应与技术研究人员密切合作,调查、预防和缓解人工智能的潜在恶意用途。

2.人工智能领域的研究人员和工程师应认真对待他们工作的双重用途,在研究和开发中允许误用相关考虑因素能影响研究/开发的重点和规范,并在有害应用可预见时主动与相关行为者接触。

3.应在研究领域用更多成熟的方案来确定最佳实践方法来解决双重用途问题(像解决计算机安全一样)以及哪些地方能够应用 AI。

4.积极寻求扩大参与讨论这些挑战的利益相关者和领域专家的范围。

报告也给出了进行干预的优先研究领域建议:

1.向网络完全组织学习

2.探索不同的开放模型

3.增强责任感文化

4.研究科技和政策解决方案

05. 策略分析

报告提出了AI和安全长期平衡的重要因素,包括攻击者接触到AI系统和数据的能力,以及防御的部署和一般性。提议的干预措施不仅需要人工智能研究人员和公司关注和采取行动,还需要立法人员、公务人员、监管机构、安全研究人员和教育工作者对此的关注以及行动。 

06. 结论

报告最后对全文进行了总结,随着AI逐渐进入过去只有人类参与的AI环节,AI伪装成人的攻击将变得更难防范,我们同样也需要依赖AI来进行反制。但总体而言,尽管AI可能在众多领域带来的安全威胁,对这些应用场景的理解和研究,将有助于更好的预防AI的恶意应用发生。报告也呼吁更多的人加入到AI安全的讨论中来。

打赏支持

5
5
10
20
50
80
100
其它金额
任意赏:

参与评论

关闭
快捷登录 密码登录
获取验证码

新用户登录后自动创建账号

登录表示你已阅读并同意《亿欧用户协议》

快捷登录 密码登录

账号为用户名/邮箱的用户 选择人工找回

关联已有账户

新用户或忘记密码请选择,快捷绑定

账号为用户名/邮箱的用户 选择人工找回

快速注册

获取验证码

创建关联新账户

发送验证码

找回密码

获取验证码
账号为用户名 / 邮箱的用户 选择人工找回

未完成注册的用户需设置密码

如果你遇到下面的问题

我在注册/找回密码的过程中无法收到手机短信消

我先前用E-mail注册过亿欧网但是现在没有办法通过它登录,我想找回账号

其他问题导致我无法成功的登录/注册

请发送邮箱到service@iyiou.com,说明自己在登录过程中遇到的问题,工作人员将会第一时间为您提供帮助

账号密码登录

乐乐呵呵@微信昵称

该亿欧账号尚未关联亿欧网账户

关联已有账户

曾经使用手机注册过亿欧网账户的用户

创建并关联新账户

曾用微信登录亿欧网但没有用手机注册过亿欧的用户

没有注册过亿欧网的新用户

先前使用邮箱注册亿欧网的老用户,请点击这里进入特别通道