20信息基础及其安全

第20章

人工智能安全概述

本章从人工智能安全的概念说起，讲述了人工智能安全的三个方面，分别是：人工智能内生安全、人工智能应用安全、人工智能赋能安全。最后介绍了人工智能安全治理的一些知识。20.1人工智能安全概述20.5人工智能安全治理20.4人工智能赋能安全及案例20.1人工智能安全概述20.3人工智能应用安全及案例20.2人工智能内生安全及案例20.1人工智能安全概述

人工智能（artificialintelligence，AI）作为新一轮科学技术革命的核心驱动力，正在深刻改变着世界经济、社会和环境格局。然而，人工智能的快速发展也带来了诸多安全问题。如何实现AI的可持续发展，成为全球关注的焦点。20.1人工智能安全概述20.1.1人工智能安全的引入

当前，人类已经进入了人工智能时代。各种人工智能技术如雨后春笋般爆发式出现，ChatGPT、Deepseek、Manus等人工智能大模型的应用更是大大改变了人们原本的生活方式。另外，机器人的出现将在未来会替换到大多数人类的工作。如图20-1所示为做煎饼果子的机器人，并且在独立营业。20.1人工智能安全概述20.1人工智能安全概述

然而随着人工智能各种技术的不断应用，它们的安全问题逐渐浮现出来，并引起了高度重视。2016年11月18日，在中国深圳举办的“第十八届中国国际高新技术成果交易会”上，一台名为“小胖”的机器人引起了很多人的兴趣。小胖机器人原为4-12岁儿童研发，主要用于教育目的。然而在展示的过程中这台机器人却突发故障，在没有任何指令的前提下自行打砸展台的玻璃，最终导致部分展台被破坏。更为严重的是，该机器人在破坏展台的过程中还砸伤了一名路人。20.1人工智能安全概述

该事件大概是国内最早报道的机器人伤害人类的事件。以前类似事件多是在电影电视里才能看到的虚拟场景。从深圳这次安全事件可以看出，人工智能方法自身如果出现问题就可以威胁到人类的安全。

人工智能技术的快速应用，特别是人工智能大模型技术的流行，能促使人工智能技术与实体经济进行加速融合与应用，进而提高人们的生活品质。然而，随着人智能技术的大规模应用，随之而来的安全问题也层出不穷。

当前，人工智能技术应用最具新颖和挑战性的场景之一就是自动驾驶技术，但是就是这样一种技术处理不好的话，依然影响着人类的生命安全。例如，2018年3月23日，苹果公司华裔工程师黄伟伦驾驶特斯拉ModelX在加利福尼亚州山景城附近的高速路上，撞上公路屏障不幸身亡。如图20-2所示为一辆汽车自动驾驶失控，发生车祸的瞬间。20.1人工智能安全概述20.1人工智能安全概述

美国国家运输安全委员会（NTSB）的调查结果显示，该车祸发生前，这辆特斯拉车的自动驾驶辅助系统被使用了近19分钟，当时汽车以每小时71英里的速度偏离了高速公路。这场导致驾驶员死亡的车祸明显是技术问题，而非人为因素。从这次事件可以看出，就连特斯拉这样的世界级顶流自动驾驶车企，在面临人工智能安全问题时，依然会出重大安全问题。由此可见，人工智能技术的应用处理不好，会导致人类的生命受到安全威胁。

以上两个典型的与人工智能相关的安全事件，一个是人工智能系统自身的安全问题，也称为人工智能内生安全；另一个是人工智能技术应用出现的安全问题，也称作人工智能衍生安全。以上两种安全问题引起了国内外的广泛讨论，人们纷纷提出一个问题：人工智能是否安全呢？20.1人工智能安全概述

该事件大概是国内最早报道的机器人伤害人类的事件。以前类似事件多是在电影电视里才能看到的虚拟场景。从深圳这次安全事件可以看出，人工智能方法自身如果出现问题就可以威胁到人类的安全。

人工智能技术的快速应用，特别是人工智能大模型技术的流行，能促使人工智能技术与实体经济进行加速融合与应用，进而提高人们的生活品质。然而，随着人智能技术的大规模应用，随之而来的安全问题也层出不穷。

当前，人工智能技术应用最具新颖和挑战性的场景之一就是自动驾驶技术，但是就是这样一种技术处理不好的话，依然影响着人类的生命安全。例如，2018年3月23日，苹果公司华裔工程师黄伟伦驾驶特斯拉ModelX在加利福尼亚州山景城附近的高速路上，撞上公路屏障不幸身亡。如图20-2所示为一辆汽车自动驾驶失控，发生车祸的瞬间。20.1人工智能安全概述2025年2月28日，中共中央政治局就建设更高水平平安中国进行第十九次集体学习。中共中央总书记习近平在主持学习时强调“加强网络安全、人工智能安全等方面工作，着力防范重点领域风险！”2025年4月25日，中共中央政治局第20次集体学习(加强人工智能发展和监管)，习近平中世纪强调:推进人工智能全学段教育和全社会通识教育，源源不断培养高素质人才，完善人工智能科研保障、职业支持和人才评价机制；要把握人工智能发展趋势和规律，加紧制定完善相关法律法规、政策制度、应用规范、伦理准则，构建技术监测、风险预警、应急响应体系，确保人工智能安全、可靠、可控。可见从我国国家层面非常重视人工智能安全。20.1人工智能安全概述

人工智能安全关系着全人类命运，通过防范安全风险，推进人工智能技术发展与提升人工智能安全治理能力已成为全人类的共识。针对人工智能安全威胁由局部攻击向系统化协同攻击的演化，导致单一的安全检测与防护技术无法应对复合攻击，因此加速提升人工智能安全检测与防护能力，保障人工智能安全刻不容缓。20.1人工智能安全概述20.1.2人工智能安全的发展

以“人工智能安全”为主题，在在万方数据知识服务平台库中搜索2015年至2025年的文献（包括期刊论文、学位论文、会议论文、专利、中外标准等），如图20-3所示。最终搜索出的近10年人工智能安全相关文献数量总结如表20-1所示。20.1人工智能安全概述对表20-1近10年人工智能安全相关文献数量进行分析，可以明显看出人工智能安全相关文献数量迅速增加，特别是近3年增加更快，如图20-4所示。由此表明人工智能安全越来越受到人们的重视。20.1人工智能安全概述

人力资源社会保障部有关报告显示，据测算，当前，我国人工智能人才缺口超过500万，供求比例达1∶10。世界级领先的全球管理咨询公司麦肯锡2023年发布报告称，到2030年，中国的AI人才缺口将达400万。人工智能安全领域的人才更是极为紧缺，严重制约了我国人工智能安全产业发展。20.1人工智能安全概述20.1.3人工智能安全的概念

人工智能是指通过计算机科学、数学、统计学等多学科交叉融合的方法，开发出模拟人类智能的技术和算法。它通过模拟人类智能的学习、推理、感知和行动能力，实现机器自主的思考和决策，从而完成一系列复杂的任务和功能。人工智能是十分广泛的科学，包括机器人、语言识别、图像识别、自然语言处理、专家系统、机器学习，计算机视觉等。简单地说，人工智能就是人类的智慧转化为的能力。20.1人工智能安全概述

人工智能安全是指通过釆取必要措施，防范对人工智能系统的攻击、侵入、干扰、破坏和非法使用以及意外事故，使人工智能系统处于稳定可靠运行的状态，以及遵循人工智能以人为本、权责一致等安全原则，保障人工智能算法模型、数据、系统和产品应用的完整性、保密性、可用性、鲁棒性、透明性、公平性和隐私的能力。这个人工智能安全定义是全国信息安全标准化技术委员会在《人工智能安全标准化白皮书(2019年版)》上发布的。以上的对人工智能安全定义只是强调人工智能内在的安全。更广义上的讲，人工智能安全还包括人工智能的应用安全。20.1人工智能安全概述20.1.4人工智能安全架构人工智能安全框架如图20-5所示。包含安全目标、安全风险、安全评估和安全保障4大维度。人工智能安全分为4个核心步骤：20.1人工智能安全概述

第1步：人工智能的安全目标有三个：一是AI内生安全（主要是AI自身的安全，如隐私泄露、模型偏见、模型窃取、模型逆向、模型成员推理、属性攻击等）。二是AI应用安全（主要是由于AI的应用引发的安全技术，如生成对抗网络、数据投毒、深度伪造、对抗样本生成等）。三是AI赋能安全（主要是将AI技术应用于传统的网络安全技术中来提升其性能或效率，例如将AI技术应用于入侵检测系统、防火墙系统、密码设计与分析系统等）。20.1人工智能安全概述第2步：梳理人工智能的内生安全风险和应用安全风险。(1)原生安全风险主要是人工智能系统内在的安全或本身的安全，包括人工智能系统中机器学习框架的安全、数据安全和算法模型的安全等。(2)应用安全风险主要是人工智能系统应用到实际生活当中而引起的安全问题。第3步：对人工智能安全现状进行评估。主要是评估数据、算法、基础设施和系统应用所面临的风险程度。第4步：根据安全评估的结果，综合运用技术和管理相结合的方法保障人工智能系统的安全。20.1人工智能安全概述

内生安全是人工智能技术自身在可解释性、鲁棒性、可控性、稳定性等方面存在的缺陷。应用安全是人工智能技术在应用的过程中，由于恶意使用、不当使用或外部攻击造成系统功能失效或错误使用。20.2人工智能内生安全及案例

人工智能内生安全指人工智能系统自身存在脆弱性。部分原因是因为新兴技术自身的不成熟，存在着某些安全隐患或漏洞，包含人工智能框架、数据、算法、模型等任何一环节都能给人工智能系统带来脆弱性。下面以一个典型的“模型逆向攻击”例子，来说明人工智能内生安全的重要性。

模型逆向是一种针对机器学习模型的隐私攻击，目的是从模型的输出推断回其输入数据，或者从模型中提取关于输入数据的信息。

敏感数据上训练的模型可能会意外地泄露关于其训练数据的信息。通过模型逆向，研究人员可以评估模型可能泄露的信息量，从而设计更好的数据保护策略和模型结构。另外在数据受限的情况下，模型逆向可以用来生成新的数据实例，这些数据实例可以用于进一步的训练和增强模型的性能。模型逆向攻击如图20-6所示。20.2人工智能内生安全及案例20.2人工智能内生安全及案例常见的模型逆向攻击方法如下：1.梯度下降法（GradientDescentMethods）：使用梯度下降优化产生的输出，使其更接近目标样本，从而推导出训练数据。2.生成式模型（GenerativeModels）：使用生成式对抗网络（GANs）等技术生成可能的训练样本。3.特征匹配（FeatureMatching）：通过比较模型各层中间激活值与已知样本，尝试生成匹配训练数据特征的新样本。20.2人工智能内生安全及案例

基于梯度下降的模型逆向攻击（ModelInversionAttackusingGradientDescent）是一种通过优化过程，逐步调整输入数据（通常是初始猜测或随机噪声），使得其输出与目标模型给出的输出尽可能一致，从而间接推测出来原始训练数据的一种攻击方法。在深度学习中，梯度下降是一种常用的优化算法，用于最小化损失函数，即调整模型权重以减少预测错误。在模型逆向中，梯度不是用来更新权重，而是用来更新输入数据。通过这种方式，可以逐步修改输入数据，直到模型的输出接近某个预定的目标。基于梯度下降的模型逆向攻击主要利用了模型的可微性质，通过反向传播算法计算梯度，以优化输入数据，从而获得训练数据的近似。根据具体的攻击目标，损失函数的选择可以有所不同如：分类模型：对于分类模型，可以使用交叉熵损失函数，目标是使模型的输出分布与目标类别的分布一致。回归模型：对于回归模型，可以使用均方误差损失函数，使得模型的预测值与目标值逼近。20.2人工智能内生安全及案例

在深度学习中，梯度下降是一种常用的优化算法，用于最小化损失函数，即调整权重以减少预测错误。在模型逆向攻击中，梯度不是用来更新权重，而是用来更新输入数据。通过这种方式，可以逐步修改输入数据，直到模型的输出接近某个预定的目标。20.2人工智能内生安全及案例“基于梯度下降的模型逆向攻击”实现流程如下：1.确定目标输出：首先确定你希望模型输出的目标，这通常是一个特定的类别或特定的输出值。2.初始化输入：随机生成或选择一个初始输入。这个输入是将通过梯度下降过程进行迭代优化的起点。3.计算损失：使用损失函数计算当前模型输出和目标输出之间的差异。这个损失表明了当前输入和理想输出之间的“距离”。4.求梯度：通过反向传播计算关于输入的梯度。这一步是基于梯度下降的模型逆向的核心，因为它提供了如何调整输入以减少损失的具体方向。5.更新输入：使用计算出的梯度来更新输入。根据梯度的方向和设定的学习率，调整输入以使得损失减小。20.2人工智能内生安全及案例6.迭代优化：重复上述过程，直到达到某个停止条件，如迭代次数达到预设的限制，或损失降至可接受的水平。当以上过程结束后，攻击者会检查最终的输入数据，这个数据就是他们认为能够导致目标输出的原始数据。20.2人工智能内生安全及案例

这里介绍的实践内容主要是：使用基于梯度下降的模型逆向攻击，重建目标MLP模型的人脸训练图像。数据集是本地pgm图像数据集，一共有40个类别，每个类别下有十张图片，每个类别对应一个人的各种人脸隐私信息。这些内容都可以在网站上下载。最终实践结果如图20-7所示，可以清楚地看到推导出的部分输入人脸图像。20.2人工智能内生安全及案例20.2人工智能内生安全及案例这里介绍的实践内容“基于梯度下降的模型逆向攻击”在本教材作者主编的另外一本教材《人工智能安全：原理与实践》第8章“梯度下降算法的安全应用”中有详细介绍，内容包括源代码、实现步骤等。20.3人工智能应用安全及案例20.3人工智能应用安全及案例

人工智能的应用安全主要指由于人工智能技术的应用引发的安全问题，如生成对抗网络、数据投毒、深度伪造、对抗样本生成等。本小节以数据投毒为例子，讲述人工智能的应用安全。20.3人工智能应用安全及案例

投毒攻击是一种对机器学习模型的安全攻击方法，特别是在模型训练阶段进行攻击。在这种攻击方式中，攻击者通过故意引入、修改或注入恶意数据到训练数据集中，试图影响模型的学习过程，使得模型在测试或实际应用时表现出预定的错误行为或降低模型的整体性能。这种攻击对于从外部收集数据进行训练的模型尤为危险，因为攻击者比较容易操纵这些数据，或者说攻击者已经对这些数据“投毒”。

如图20-8所示为卷积神经网络中的数据投毒流程。20.3人工智能应用安全及案例20.3人工智能应用安全及案例

下面讲述一个典型的数据投毒案例：使用卷积神经网络模型AlexNet的简化版对MNIST数据集中的数字进行识别，在AlexNet训练过程中对所使用的训练集进行投毒攻击，即更改原始标签，从而降低模型检测的准确率。

如图20-9为投毒前的检测结果。可以看到检测率非常准确。如图20-10所示为投毒后的检测结果，可以看到检测效果出了问题。

这里介绍的实践内容“基于卷积神经网络的数据投毒攻击”在本教材作者主编的另外一本教材《人工智能安全：原理与实践》第3章“卷积神经网络的安全应用”中有详细介绍，内容包括源代码、实现步骤等。20.3人工智能应用安全及案例图20-10投毒后检测结果示例图20-9投毒前检测结果示例20.4人工智能赋能安全及案例

人工智能赋能安全主要是指将人工智能技术应用于传统的网络安全技术中来解决网络安全问题或提升其解决问题的性能或效率，例如将人工智能技术应用于入侵检测系统、防火墙系统、密码设计与分析系统等。

人工智能赋能安全的案例很多，这里介绍人工智能算法中的随机森林算法如何应用于图像去噪。20.4人工智能赋能安全及案例

随机森林是一种由LeoBreiman和AdeleCutler在2001年提出的集成学习方法。随机森林算法既可以用于分类任务，也适用于回归问题。随机森林通过引入随机样本和随机特征选择来构建不同的决策树，增加模型的多样性，从而有效减少过拟合风险，特别在处理高维度特征和噪声数据时表现优异。随机森林算法结构如图20-11所示。

决策树（DecisionTree）是一种基于树结构的模型，常用于分类和回归任务。每个内部节点代表对某个特征的测试，分支则是不同测试结果的路径，叶子节点最终给出分类或预测值。尽管决策树易于理解和解释，但单一决策树容易过拟合，尤其在样本量较小或特征复杂的情况下。因此，随机森林通过集成多棵决策树来弥补这一不足，增强模型的泛化能力。20.4人工智能赋能安全及案例20.4人工智能赋能安全及案例

图像去噪在人工智能安全中扮演着关键角色，它通过清除图像中的噪声，不仅提升了人工智能模型对真实世界数据的处理能力，还增强了模型在面对噪声干扰时的鲁棒性。此外，它对于防御那些旨在通过向数据添加细微噪声来欺骗AI系统的对抗性攻击尤为重要。简而言之，图像去噪技术是确保人工智能系统安全、可靠运行的一个重要支撑。

使用基于随机森林算法的图像去噪方法可以提高图片的质量和可读性，为文本分析、信息提取和自然语言处理等任务提供更好的基础支持。20.4人工智能赋能安全及案例如图20-12所示是去噪前的图片。如图20-13所示是去噪后的图片。从两个图可以看出，去噪后的图片更为清晰一些。20.4人工智能赋能安全及案例

这里介绍的实践内容“基于随机森林算法的图像去噪”在本教材作者主编的另外一本教材《人工智能安全：原理与实践》第5章“随机森林算法的安全应用”中有详细介绍，内容包括源代码、实现步骤等。20.5人工智能安全治理

随着人工智能技术的不断进步，全球人工智能安全治理体系面临着前所未有的挑战！如何构建一个安全、可靠、高效的人工智能安全治理体系，成为各国共同面临的重要课题。人工智能的安全性甚至于关乎整个人类的命运。

人工智能安全与国家安全紧密相连，世界各国都试图在该领域占领先机，美国、欧盟、日本等多个国家接连发布相关政策法规加以规制。20.5人工智能安全治理2024年3月21日，联合国大会通过了首个