2024人工智能安全概述

目录 11.1 31.1.1 31.1.2 61.1.3 71.2 101.2.1 101.2.2 121.3 171. 172. 183. 194. 19人工智能（ArtificialIntelligence，AI）是研究用机器模拟实现人类智能的一门技术科学，第一次浪潮出现在20世纪50年代末到70随人工智能这一新兴概念的兴起，人们对人工智能的未来充满了想象，大量研究人员投和使用英文程序，相关研究主要围绕机器的逻辑推理能力展开。其中，20世纪6070年代初，以爱德华费根鲍姆为首的一批年轻科学家提出了知识工程的概念，开始了大人工智能寄予了很高的期望，甚至预言十年以后人工智能将超越人类思维。但受限于当非常有限，更谈不上超越人类思维，因此，人们对于人工智能的发展转为持怀疑态度。1972年，受英国科学委员会委托，剑桥大学詹姆士莱特希尔对人工智能的研究状况进行智能开始了第一个严冬（In）。第三次浪潮出现在21场景结合落地，相关产业焕发新生机。2006年深度学习算法的提出、2012年x在g训练集上图像识别精度取得的重大突破，直接掀起了新一轮人工智能发展的浪潮。2016年，pho打败围棋职业选手，人工智能再次收获了空前的关注度；2017年，pho以3∶0的比分完胜世界围棋冠军柯洁；之后，phoo从零开始，完全不需要任何历史棋谱和人类先验知识，通过自己左右互搏490万盘棋局，最终无师自通，战胜pho。相继多个吸引人们眼球的、在局部领域内超过人类水平的人工智能成果的展示，让人们真切感受到人工智能的威力，人工智能创业公司层出不穷，科学研究进一步推进，助推人工智能呈现加速发展态势。特斯拉汽车ModelS以74英里（1英里≈1.61千米）的时速，直接撞上了拐弯中的白色拖挂车未生效6。其实，早在1978年9月就发生过机器人伤人事件，日本广岛一家工厂的切割界上第一宗机器人杀人事件。人工智能技术正在推动教育信息化的快速发展，教育是人工智能技术对教育产业的赋能，通过将人工智能与传统教育相融合，尤其是新一代人工智能技术应用覆盖教学全过程，实现学生的个性化学习、跨媒体学习和终身学习等8。然而，在人工智能协助学生学面面得到应用时，有可能对某些群体（学生群体）产生一定障碍。同时，智适应的互动设计也会因为各种数据原因存在一些设的机会9。在金融领域，人工智能被用于银行信贷智能风控管理11。银行信贷业务的风险管理核心智能手机和时下流行的移动应用程序（博）用户兴趣和喜好为其量身定制数以千计的新兴新闻和视频。例如，2021过1.2亿人使用今日头条来看新闻、视频和其他内容。在这个过程中，系统实时收集用户程中，存在个人数据被收集及隐私泄露的风险。《德勤全球发展白皮书》指出，未来同汽车相关的智能出行生态的价值正在被重新评估，出行的三大元素人车路被赋予类人的决策、行为，整个出行生态也会发生巨大的改变。有专家认为：自动驾驶汽车是未来网络的节点。强大的计算力与海量的高价值研究院发布的《人工智能安全框架（2020年）》，2020年7月，苏州发布了全球首条城市微循环无人小巴市民体验线路，落实了全国首个常态化运营的城市公开道路无人小巴项目。2020年10月，百度自动驾驶出租车服务在北京全面开放，10月12日单天呼单量突破2600单。人工智能给产业、职业结构变化及就业带来的风险，源于人工智能（特别是智能机器人对第一、第二产业岗位的替代，这会导致大量体力劳动者和简单脑力劳动者的结构性失业、转业，增加人民群众的生活压力和政府的行政压力。2017越多地替代人力完成任务，如车辆驾驶、医疗诊断及新闻报道撰写等，预计未来20工智能会对就业问题造成较大的影响。orh预测，人工智能技术将在2025年之前取代美国7的工作岗位，其中16的美国工人将被人工智能系统取代。在新的社会瓦尔赫拉利于2017年7月预测，未来二三十年内超过50的工作会被人工智能取代，人工智能的产业化推进将使部分现有就业岗位减少甚至消失，导致结构性失业1。研究实现新的技术突破，促进科学新成果的发现，增强经济竞争力，巩固国家安全。年3月，美国参议院军事委员会举行主题为国防部人工智能计划的听证会，美国国防部高级研究计划局（）、国防创新小组（）、国防部联合人工智能中心（）及应用与军方之间的联系，推动美国的人工智能军用化步伐进一步加快。以为场情报侦察和目标打击任务：乌军使用土耳其制造的旗手2部队，俄军使用前哨察打一体无人机摧毁乌方多管火箭炮系统。此外，有分析认为，受指控平台的打击命令，实现侦、控、打、评的信息闭环，未来无人反无人装备在现代型、人脸识别等人工智能手段进行舆论战，开展认知域的对抗，瓦解敌方斗志，增强己方信心15。或不完善的描述称为目标函数描述的不完备性，其是造成隐含的安全风险的重要原因之一18。另外，在强化学习算法的设计中，设计者通常以奖励函数的方式鼓励和引导学习算法达到设计者所期望的目的。然而，奖励函数的设计和描述中同样存在不完备性（或不完善），从而可能被学习算法在优化过程中搭便车，通过曲解奖励的意图而采取一者的意图。这种情况通常称为dkng（黑客奖励）。或者，学习算法也可能以出一些有害数据，仅对数据做出微小的（从而难以被人发现的）误的判断或决策。gdy等人2014年的研究38发现，神经网络存在对抗样本，这些对抗得到。文献39提出了一种衡量对抗鲁棒性的方法，对于不同分类器的对抗鲁棒性，可以击的能力。人们已经提出了大量的对抗样本攻击与防御的方法，相关研究4042表明，存数据和网络均有适用性。另外，人们提出了大量能够提高机器学习鲁棒性的技术43，如对抗训练4446、防御蒸馏47、模型正则化48等。（AIAgent，AIA）智能的开发编程提供有力的工具。业界已经推出许多人工智能框架，如noo、、dddd等。这些开放的人工智能框架引用了第三方库函数。这些框架的整体和其组件（包括引用的库函数）隐患。（oonunb＆xpou）公共漏洞披露库中就记录了多种来源于noo、等的安全漏洞10。2020年，360安全研究院团队报告了noo中的24个风险级别不同的漏洞54，这些漏洞可能引起系统错误或被攻击者利用而形成系统安全问题。[55]但还是有可能被攻击者构造的学习算法窃取其成员及记录等私有信息[56-58在对抗环境中，攻击者还可能进行模型窃取攻击59和后门攻击50等。模型窃取攻击是指境中，攻击者能够进行闪避攻击51和药饵攻击50等。闪避攻击是指通过在正常的训练样阶段。药饵攻击通过向训练数据集注入虚假信息（药饵），从而达到攻击的目的。药饵攻击一般用于训练阶段，破坏训练系统所生成的模型。自动驾驶汽车的安全事故：一辆使用自动驾驶系统的TeslaModelS汽车因撞到高速公路的使用自动驾驶系统的TeslaModelS汽车因撞上一辆大卡车而致驾驶员身亡的事故。这说明计和报道的人工智能事故数据库（ArtificialIntelligenceAccidentDatabase，AIID）。AIID本身按照设计者的意图正常工作，也会（也已经）将导致社会劳动组织和职业结构急剧变动，形成社会的不稳定因素2629。在人类思维等智能活动方面，随着人工智能技术的发展，智能机器会逐步变得更加聪明，人们会更加依赖智能机器，这可能在某种程度上导致部分人的认知能力变差31。[63攻击者的活动，进而对被攻击者进行威胁、讹诈或行为控制35。信息技术的发展使人们在阿西洛马举行的BeneficialAI大会上，机器人和人工智能领域的专家形成了《阿西洛马StuartRussell提出了创造更安全的人工智能的3条原则（3PrinciplesforCreatingSaferAI）。如何保证人工智能的发展为人们带来的是福祉而不随着网络空间中的活动（经济、金融、教育、医疗服务、文化娱乐等领域）络空间安全引发高度的重视和大量的社会投入67。机器学习技术被广泛地用于网络风险类应用系统安全性的重要技术路线。人工智能技术作为一种“双刃武器，在对抗环境中，技术可以更有效地分析攻击的技术特征，并采取识别、防御和对抗手段2。在研究人工智强为安全赋能的人工智能技术的研究和发展。表1-1（续表表1-2发展的维度来看待人工智能问题77。韩国更重视在智能机器人场景中的人工智能安全，而新加坡、日本更关注人工智能的伦理原则和治理规范。划》，设立了三步走的战略目标：到2020年人工智能总体技术和应用与世界先进水平同步；到2025年人工智能基础理论实现重大突破，部分技术与应用达到世界领先水平；到2030规划》明确指出，在促进人工智能发展的同时，关注人工智能数据安全风险，提出“强化数据安全与隐私保护权力，为人工智能研发和广泛应用提供海量数据支撑”，以及促进人等行为的惩戒力度”。中国人工智能产业发展联盟制定了《人工智能行业自律公约》，截至2022年5月，已有约1