人工智能技术导论课件 第2章-人工智能安全框架

人工智能安全框架第2章12.1基本概念2数据驱动的人工智能数据是驱动现代人工智能的基础，也是人工智能获取出色性能的支撑。在大数据时代下，海量的高质量数据是模型能够学习数据特征、数据内部联系的基本要求和重要保障，对模型的正确性和有效性等方面的优化起到重要作用。3规模大：许多现代人工智能模型，尤其是深度学习模型，通常非常复杂，具有数以百万计的参数。为了训练这些复杂的模型，需要大量的数据来约束模型的参数，以防止过拟合，通过暴露模型于广泛的数据，模型可以更好地适应各种情境和变化，而不仅仅是过度依赖于少数样本。多样性：数据应该涵盖各种情境、条件和变化，以确保模型在各种情况下都能表现出色，即使在存在噪声或异常情况下也能够保持性能。数据特点通用AI模型训练过程例如，在手写字任务中，研究者可以构建一个手写字数据集（如MNIST数据集）来训练模型，选择神经网络模型为目标模型。在训练过程中，通过优化算法不断优化模型参数来使模型预测结果接近数据集中的真实标签。4人工智能模型是一种数学和计算机科学的构件，用于模仿和模拟人类智能的特定方面。模型通过算法和大量数据训练而成，以执行各种智能任务和决策。人工智能模型可以从数据中学习并适应不断变化的情况。模型可以将从训练数据中学到的知识应用于未曾见过的数据，以进行预测、分类、识别等任务。安全的基本属性保密性（Confidentiality）：指在人工智能技术在生命周期内所涉及的数据、模型隐私以及计算隐私等信息不会泄露给未授权的用户。完整性（Integrity）：指人工智能技术在生命周期内所涉及的数据、模型以及应用产品不被人恶意篡改、植入、替换和伪造，保障其输入、输出以及计算过程的安全。鲁棒性（Robustness）：指模型系统在应用场景下具有较强的稳定性,能够抵御复杂环境的影响和恶意的干扰。例如，人脸识别系统应用在海关安检时，面对不同装扮行人时能够正常识别出来，即使在不同光照和像素影响下也能获得稳定结果。隐私性（Privacy）：指数据隐私、模型隐私在整个生命周期内不被泄露。与保密性不同的是，这里隐私性特指在原始数据信息没有发生直接泄露的情况下，攻击者通过如成员和推理攻击、模型窃取攻击等攻击手段间接获取数据信息，从而暴露数据隐私。5广义人工智能安全涉及的范畴AI基础架构安全：深度学习框架、依赖库和云服务中存在安全问题。6例子：PyTorch的分布式远程过程调用（RPC）框架中存在一个反序列化漏洞（编号CVE-2024-48063），能够让攻击者远程调用任何指令。AI内生安全：指利用技术系统自身架构、功能和运行机制等内源性效应而获得的可量化设计、可验证度的安全功能。作用域涵盖可靠性和可信性领域，功能有效性既不依赖关于攻击者的先验知识或特征信息，也不依赖外挂式的传统安全技术，仅以架构特有的内生安全机制就能达成抑制基于目标系统内生安全问题。内生安全通过全面的风险管理，从模型算法的改进、数据保护的加强到系统设计的优化，为人工智能系统的安全性和可靠性提供了保障。【本课程的主要内容】AI应用安全风险：人工智能在实际应用中面临着多层次的安全挑战，主要包括网络、现实、认知和伦理领域的风险。这些风险在人工智能技术被部署和应用时可能导致信息的误用、偏见传播以及不当行为的发生。例子：人工智能生成的高仿真内容可能混淆事实，绕过身份验证，威胁用户的判断能力，进行社会舆论操控或虚假宣传等。本课程定义的人工智能安全模型数据和模型作为人工智能最重要的组成部分，相应地，人工智能安全模型需要系统地考虑数据、模型层面人工智能对安全性的需求。综合考虑，对人工智能安全模型的定义为：对于由数据和模型组成的人工智能技术，若其能在整个生命周期内满足保密性、完整性、鲁棒性和隐私性等性质，那么认为其满足人工智能安全需求。72.2安全维度8人工智能安全维度从人工智能内生安全技术角度出发，人工智能安全通常被分为数据安全、算法安全和模型安全三个主要维度。这三个维度共同构成了保护人工智能系统免受各种威胁和攻击的基础。9威胁模型通常情况下，机器学习的流程包括数据收集、模型训练和模型推理三个关键部分。在探讨特定的机器学习攻击和安全防御措施之前，首先需要明确潜在的攻击情景以及攻击者可能拥有的背景知识。这有助于建立特定情景下的威胁模型。对于不同的威胁模型，深入研究攻击和相应的防御方法可以有助于建立更加安全的机器学习模型。威胁模型（敌手模型）刻画了攻击的潜在场景，其主要包括敌手目标、敌手知识、敌手能力和敌手策略四个方面。10人工智能安全模型中包含了非常多的任务，针对不同任务不同攻击有不同的敌手目标。可以用四个指标来概括人工智能模型中不同任务的准测：机密性、完整性、隐私性以及可用性。机密性威胁：指攻击者获取模型或模型训练数据的隐私信息；完整性威胁：指攻击者有目的地诱导模型输出攻击者的预期结果；隐私性威胁：指在数据原始信息没有发生直接泄露的情况下，人工智能模型计算产生的新消息会间接暴露数据；可用性威胁：指攻击者阻止或妨碍普通用户对模型的正常请求。11威胁模型——敌手目标数据投毒攻击：攻击者通过将精心制作的样本插入训练集中来改变训练数据分布，从而改变模型行为，降低模型性能。后门攻击：攻击者试图在模型训练时将带有触发器的恶意数据加入训练集中从而在模型中植入后门。这使得模型在推理阶段对带有触发器的输入数据敏感，导致模型输出错误的结果，甚至输出攻击者指定的目标结果。对抗样本攻击：攻击者通过对原始的输入数据添加微小的、人类肉眼几乎无法察觉的扰动，生成对抗样本，对模型进行恶意攻击，从而实现两种目标。①目标攻击,限定攻击范围和效果；②无目标/无差别攻击,即诱使目标模型犯错，而不限定结果。12威胁模型——敌手目标深度伪造攻击：借助深度学习技术进行大样本学习，从而将目标任务的声音、面部图像以及身体动作替换到源人物的视频中，合成虚假内容。隐私攻击：攻击目标分为三类：①判断某条隐私数据是否在目标模型的训练集中；②推断训练数据中某列或若干列的敏感属性值；③重建分类模型训练集中的某一条数据。模型窃取：通过受害模型提供的查询接口获得输入数据的预测信息，并利用预测信息复制一个功能相似甚至完全相同的机器学习模型。具体地，首先给定一个特定选择的输入样本x、一个敌手查询的目标模型M（受害模型），得到相应的预测结果y；然后根据y推断甚至提取模型M

。13威胁模型——敌手目标敌手知识是指攻击者掌握的关于目标模型的背景知识，包括模型训练集的数据分布、模型的架构和参数、训练方法和决策函数等。根据攻击者所获取的关于模型的信息剋将攻击划分为三种：白盒攻击：在白盒攻击中，攻击者了解目标模型的全部信息，如数据预处理方式、模型结构、模型参数，掌握部分或全部的训练数据信息。黑盒攻击：在黑盒攻击中，目标模型对攻击者而言并不透明，关键细节被隐藏，攻击者仅能接触模型的输出/输出环节。攻击者可以输入样本，根据相应的输出信息来对模型的某些特性进行推理。灰盒攻击：知识假设介于黑盒和白盒之间，例如知道模型机构但不知道参数，或者了解数据集的一个子集部分。14威胁模型——敌手知识敌手目标、敌手知识、敌手能力共同决定了攻击者采取的攻击策略，按照攻击方式其可以分为两种：直接攻击：攻击者通过某种特定手段，直接对目标模型进行攻击。间接攻击：攻击者可以先根据少量知识构建攻击方法，获取相关的模型参数，进而转化为白盒攻击，进一步达到攻击目标。15威胁模型——敌手策略攻击场景主要指在机器学习过程中，攻击者可能发动攻击的环节。当前考虑的攻击场景主要有三个。传统机器学习：该场景指的是使用者在本地服务器上，对其选择的机器学习方法、模型、数据以及训练方式展开机器学习任务的过程。联合式学习：联合式学习指多个数据所有者在不与其他地方共享本地数据的前提下，共同训练同一目标模型。机器学习即服务：机器学习服务提供商得到训练完毕的模型后，主要通过两种方式来提供服务。一种是将模型部署在终端设备中，用户通过终端访问模型；另一种是将模型部署在云平台上，给用户访问模型的API。16威胁模型——攻击场景安全维度——数据安全AI技术以数据为驱动，数据安全是人工智能安全的核心问题。数据安全指的是数据在训练、应用过程中不会被攻击者窃取。特别是当个人敏感信息包含在训练数据中时，更加需要我们在处理个人数据时采取适当的隐私保护措施，包括数据加密、数据脱敏、访问控制等。人工智能数据安全面临的挑战，一般可以分为四种：训练数据污染导致的预测错误（投毒）人工智能模型预测阶段预测失误的风险智能设备的数据采集引发潜在的隐私泄露风险成员推断与属性推断攻击17数据投毒是导致训练数据被污染的主要攻击方式。攻击者通过将虚假、恶意或有害的数据引入到模型的训练数据中，以干扰或损害模型的性能。数据投毒攻击的目标是使模型在未来的决策或预测中出现错误，或者使其对特定类别或情况产生不准确的响应。18安全维度——数据安全训练数据污染导致的预测错误19安全维度——数据安全错误标记原始数据制作混淆数据投毒方法翻转标签投入毒样中毒数据集原始数据集隐藏层输入层输出层中毒模型训练类标投毒：训练阶段将投毒样本注入训练数据集模型投毒：直接对模型参数进行修改，使模型中毒数据投毒：将投毒数据与原始样本输入到模型中训练，使模型产生后门，中毒模型在测试阶段对触发样本进行判断时，触发后门产生错误预测投毒投毒既威胁数据安全也威胁算法安全人工智能模型的预测结果通常受到训练数据的数据概率分布影响，由于训练数据概率分布的不全面性和与测试数据的同质性问题，模型的泛化能力可能受到挑战，这可能导致模型在实际应用中出现预测错误的情况。例，特斯拉自动驾驶系统曾面临这样的问题，因为该系统难以在白天的蓝天背景下识别白色货车，从而导致了重大的交通事故。20安全维度——数据安全人工智能模型预测阶段预测失误的风险智能设备（智能手机、穿戴式健康设备）的数据采集更为敏感，这些数据具有不变性和唯一性。然而，这些强烈个人特征的数据存在潜在的泄露风险。如果这些信息被滥用或不当处理，将严重威胁用户的个人隐私安全。21安全维度——数据安全智能设备的数据采集引发潜在的隐私泄露风险成员推断攻击：一种判断数据是否属于模型训练集的攻击方法。通过过这种攻击方法，攻击者可以推测出有关目标训练集的信息，从而造成严重的隐私泄露问题。成员推断与属性推断（数据记录，类别标签）目标模型攻击模型预测（数据）标签预测

数据训练集如左图所示，成员推断攻击是指给定一个数据样本，判断它是否包含在训练数据集中。在攻击中，攻击者给出一个数据样本，且具有访问模型的权限，那么攻击者可能推测出样本是否属于数据集。这种攻击将严重侵犯用户数据的隐私。22安全维度——数据安全下图是联邦学习下的成员推理攻击示意图。在此场景中，攻击者可以是参与训练的客户，也可以是聚合模型的第三方服务器，攻击者试图推断特征记录是否属于参与训练集的一部分。聚合梯度聚合梯度参与者攻击者上传本地更新下载全局模型保存模型快照，计算差异23安全维度——数据安全可以将成员推断攻击分为基于神经网络的推断和基于度量的推断：基于神经网络的成员推断攻击：包括基于预测置信度的神经网络成员推断攻击、基于扰动信号的神经网络成员推断攻击、基于中间层信息的神经网络成员推断攻击三种方法。基于度量的成员推断攻击：包括基于预测正确性的攻击、基于预测损失的攻击、基于预测置信度的攻击、基于预测熵的攻击、基于预测差分距离的攻击五种方法。24安全维度——数据安全属性推断攻击与成员推断攻击的推断方法类似：在属性推断中影子模型的训练集是基于攻击者想要推断的属性来标记的，因此攻击者需要用具有该属性的数据和没有该属性的数据访问目标模型。然后训练攻击模型，以推断具有属性的数据的输出向量与没有属性的数据的输出向量之间差异。数据集重建攻击（模型逆向攻击）利用这种信息流，并通过过模型的预测回复数据成员身份或数据属性（如人脸识别系统中的人脸）。25安全维度——数据安全典型的模型训练过程，其实是从训练数据中提取、抽象的大量信息转化到模型中的过程。因此，训练好的模型中也存在一个逆信息流，它允许攻击者从模型推断出训练数据，因为神经网络可能会记住太多训练数据的信息。数据集重建攻击可以在黑盒或白盒模型下执行。白盒攻击中，攻击者容易获得一个行为相似的替代模型；黑盒攻击中，攻击者无法获得完整的训练信息。然而，任何情况下，攻击者可以使用特定的输入进行查询获得相应的输出和置信度值。下图展示了数据集重建攻击中的成员推断攻击的流程。方法2CatDogBird数据合成相似数据集启发式方法攻击模型方法CatDogBird③攻击模型①数据合成②影子模型CatDogBird训练类别标签训练④决策输入e训练集？输入目标模型类别标签类别标签输入目标模型方法1方法326安全维度——数据安全算法需要解决问题并且根据需求进行设计，人工智能算法同样有可能无法满足我们的预期目标或者无法反映数据之间的关系，从而导致预测结果产生较大偏离。目前将算法安全问题划分为以下四类：27安全维度——算法安全对抗样本导致模型预测错误后门导致的模型预测错误人工智能算法缺乏可解释性算法设计缺陷导致与预期不符甚至伤害性结果对抗样本是指经过微小而有意义的改动，使得机器学习模型产生错误预测的输入数据。这种现象是深度学习和神经网络模型的一个普遍问题，导致模型对人类难以察觉的微小扰动产生过度敏感的反应。人工智能模型主要通过训练数据的统计特征以及概率分布进行判断，而非真正的因果关系。机器学习模型，特别是深度神经网络，是高度非线性的。这意味着模型学会了复杂的非线性特征和决策边界。在输入空间中，模型的决策边界可能是高度复杂且不规则的。人工智能模型对这些微小变换非常敏感，导致模型决策发生了根本改变。对抗样本导致模型预测错误28安全维度——算法安全对抗攻击指的是攻击者利用模型的脆弱性，输入对抗样本，使模型输出错误的结果。在推理的过程中，对抗攻击给正常样本增加了人类不可感知的扰动，然后生成对抗样本，对模型的鲁棒性造成破坏。对抗攻击可以欺骗训练好的模型，又需要让人类无法察觉。29安全维度——算法安全对抗攻击除了需要欺骗模型之外，对抗样本的扰动应该足够小，从而逃避人类的视觉。对抗样本与原样本的距离应该是：对抗攻击发展至今，已有非常丰富的研究成果。可以根据白盒、黑盒下不同的威胁模型设置、不同的实施方法对对抗攻击进行分类。30安全维度——算法安全InputLayerOutputLayerXŶHiddenLayers查询模型梯度估计训练代替模型替代模型白盒梯度计算求解优化函数对抗样本步骤一步骤二白盒设置步骤三31安全维度——算法安全一种黑盒对抗样本攻击方法后门攻击是一种高隐蔽性、高危害性的攻击方式。主要针对神经网络模型的训练过程开展攻击。后门攻击的主要展开方式是针对模型的训练数据进行投毒，在训练阶段进行植入。32安全维度——算法安全后门导致的模型预测错误在后门攻击中，不同威胁模型设置下的不同攻击方法有较大的差异。后门攻击中的白盒设置为攻击者可以完全访问目标模型并完全访问训练集，灰盒设置为只能访问一小部分需要你连数据集或者模型信息的子集，而黑盒设置为不能访问训练数据集。根据后门攻击的发展过程可将攻击方法分为以下几类：早期后门攻击基于触发器优化的后门攻击面向触发器隐蔽性的后门攻击干净标签条件下的后门攻击其他后门攻击方法33安全维度——算法安全人工智能算法的可解释性问题一直是该领域的一个关键挑战，可解释性指的是能够理解和解释模型的决策过程和预测结果的能力。而人工智能模型，尤其是深度学习模型，通常以黑盒的方式运行，难以理解其为何做出特定的预测或决策。当人工智能模型参与到社会运转中的重大决策时，我们需要对算法的预测过程进行监管。但是由于模型的可解释性差，使得透明的监管工作很难展开。人工智能算法缺乏可解释性和公平性34安全维度——算法安全拥有算法的公司或者个人可以拒绝将模型算法公开接受审查；即使将模型代码开源公布，非专业人员由于其技术能力的限制，很难理解其内在逻辑；工智能模型本身的复杂度较高，目前还无法很好地解释人工智能做出某个预测的依据；人工智能算法的设计缺陷可能被攻击者利用,进一步导致模型产生错误输出，使其无法达到模型的预期功能，结果偏离预期，甚至产生伤害性的结果。根据模型错误产生的阶段，可以将人工智能模型设计和实施中的安全问题分为三类。模型开发者定义了错误的目标函数；模型开发者设计的目标函数计算成本非常高，使得算法在实际训练和使用阶段无法完全按照目标函数执行；模型开发者设计的算法模型与实际任务目标不匹配，训练数据和测试数据不能完全表达实际情况，导致算法泛化能力差，在实际使用时面对全新情况可能产生错误的预测结果。算法设计缺陷导致与预期不符甚至伤害性结果35安全维度——算法安全在理想情况下，模型在面对各类复杂数据样本时，能够输出稳定、正确的结果。然而，在现实场景下，模型面对各类复杂的样本输入时，很难保障其输出结果的正确性。这种威胁大部分情况下并非来自于恶意的攻击者，而是由于机器学习模型本身的复杂结构和缺乏可解释性造成的。模型的功能缺失可能导致预测结果不正确，甚至可能被攻击者诱导并输出指定的结果。目前，模型安全问题可以分为以下三种：训练数据存在偏见导致模型预测结果可能存在不公基于模型输出的数据隐私泄露（模型逆向）模型窃取可能威胁模型的知识产权36安全维度——模型安全由于人工智能反映训练数据的概率分布于统计特征，而训练数据中存在的偏见或歧视会导致模型产生具有歧视和偏见的预测结果。这可能导致不公正的预测结果。例如，司法领域中的犯罪风险评估以及金融领域的信贷、理财等信用评估产生不公平的结果。这种问题主要有两方面的原因：人工智能模型在本质上反映的训练数据的概率分布于统计特征，而使用的训练数据是由模型设计者主观选择的，模型设计者如果使用带有偏见标签的数据，则得到的模型将具有潜藏歧视和偏见。算法偏见源于人工智能模型的设计和选择过程，即使是在数据公平的前提下，这些偏见也可能导致不公平的决策和结果。如，过度依赖于特定的人口统计特征（如年龄、性别或种族）；开发者过于看重总体性能的提升，忽略了一些较少发生的情况。训练数据存在偏见导致模型预测结果可能存在不公37安全维度——模型安全模型的输出结果反映了数据集的统计特征和概率分布，并且在运行过程中会进一步收集数据并进行模型的优化。攻击者可以通过开放的模型接口对模型进行黑盒访问，并依据模型的输入和输出的对应关系，还原模型训练和攻击过程中的内部数据以及模型相关的隐私信息。（基于模型输出的数据隐私泄露（模型逆向）38安全维度——模型安全模型窃取旨在窃取非公开的人工智能算法模型框架、参数等内部结构信息。即攻击者利用目标人工智能模型提供的公共访问连接进行大量的查询测试，得到人工智能返回的结果以及对应的预测置信概率，进而在本地构建和目标模型相接近的替代模型。算法模型窃取可能威胁算法的知识产权39安全维度——模型安全模型窃取攻击的典型工作流程。首先，攻击者向目标模型提交输入，并获取预测值。然后，使用输入—输出对和不同的方法来提取机密数据。其中，机密数据包括模型的参数、超参数、结构、决策边界和功能。InputLayerOutputLayerXŶHiddenLayers输入预测深度学习系统求解等式训练元模型训练替代模型方法参数超参数结构决策边界功能提取信息40安全维度——模型安全窃取模型的方法基本上有以下三种：方程求解法：对于计算连续函数的分类模型，可以表示为

，因此给定足够的样本，攻击者可以通过求解方程来恢复模型的参数。训练元模型：元模型是一种分类器模型，攻击者通过查询分类器模型在输出对应的输入上训练一个元模型，将映射到，即。训练好的模型可以查询输出对应的输入来进一步预测模型属性。训练替代模型：替代模型是一种模拟原始模型行为的模型。当有足够的查询输入和相应的输出时，攻击者可以训练替代模型

且。因此替代模型的属性可以近似于原始模型的属性。41安全维度——模型安全模型窃取攻击可分为以下四类：模型参数窃取攻击：①基于线性回归模型的参数窃取；②基于决策树模型的参数窃取；③基于神经网络模型的参数窃取；④基于可解释信息的模型参数窃取；⑤训练超参数窃取。训练元模型：①基于元模型的模型结构窃取；②基于时间侧通道的结构模型窃取。模型决策边界窃取攻击：①基于雅可比矩阵的模型决策边界窃取；②基于随机合成样本的模型决策边界窃取；③基于生成对抗网络的模型边界窃取。模型功能窃取攻击：①基于强化学习的模型功能窃取；②基于学习和直接恢复的模型功能窃取；③基于主动学习的模型功能窃取。42安全维度——模型安全2.3AI安全治理和伦理4344安全治理的原则2024年9月全国网络安全标准化技术委员会发布了《人工智能安全治理框架（V1.0）》包容审慎、确保安全：鼓励发展创新，对AI研发及应用采取包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的风险及时采取措施。风险导向、敏捷治理：密切跟踪人工智能发展趋势，从技术与应用两方面梳理安全风险，制定针对性防控措施。动态调整治理策略，优化机制与方式，对需政府监管事项快速响应，确保治理高效精准。技管结合、协同应对：覆盖人工智能研发应用全过程，综合运用技术与管理手段防控多种安全风险。明确模型算法研发者、服务提供者及使用者的安全责任，充分发挥政府监管、行业自律与社会监督的协同作用。、开放合作、共治共享：在全球范围推动人工智能安全治理国际合作，共享最佳实践，提倡建立开放性平台，通过跨学科、跨领域、跨地区、跨国界的对话和合作，推动形成具有广泛共识的全球人工智能治理体系。45安全风险分析与标准全国信息安全标准化技术委员会大数据安全标准特别工作组于2023年发布的《人工智能安全标准化白皮书（2023版）》，安全风险分析的着眼点如下：用户数据用于训练会放大隐私信息泄露风险：例如，数据泄露风险点更多，开源库漏洞引发数据泄露很难杜绝，交互式AI应用降低了数据流入模型的门槛。算法模型日趋复杂，可解释性目标难实现：例如，可解释性是制约人工智能用在司法判决、金融信贷等关键领域的主要因素。可靠性问题仍然制约人工智能关键领域应用：例如，模型在受到干扰或攻击等情况下会发生性能波动，严重时甚至可引发安全事故。滥用误用人工智能，扰乱生产生活安全秩序：例如，人脸识别滥用泄露用户身份信息、推送雷同信息构筑信息茧房、大数据杀熟、派单算法剥削劳动者等。模型和数据成为核心资产，安全保护难度提升：例如，算法模型、参数、加工后的训练数据已成为核心资产，不免遭到觊觎，模型窃取时常发生。网络意识形态安全面临新风险。46可信人工智能总体框架中国信息通信研究院2022年发布的《人工智能白皮书》提出如下框架人工智能安全伦理人工智能技术引发的伦理问题除了对劳动力市场的冲击以外，人工智能技术对人类隐私的侵犯、对人类社会结构的影响以及带来的伦理困境等问题都备受人们的关注。人工智能技术引发AI人权问题、伦理地位问题、风险问题和责任伦理问题等。根据《半月谈》2019年报道，记者在义乌申通分拨中心看到，平台上设有240个方形分拣口，每个分拣口都代表一个城市或转运中心，700个“小黄人”分拣机器人满场奔波，精准率能达到99.9%以上。根据申通统计，700个“小黄人”一天工作10小时，能够分拣20万件快递，减少了大量人工作业。47AI人权问题所谓人权，就是作为个体的人在他人或某一主管面前，对于自己基本权益的要求与主张。人权伦理要实现的是人的本质以及人的自由与全面发展。随着人工智能行为体（AIA）相继问世，从执行简单体力劳动的弱人工智能，到能够推理、思考并具有不同程度的情感以及“人性”的强人工智能，人工智能技术的持续发展与广泛应用将面临越来越多的人权伦理问题。主要表现在两个方面：AI是否应该被赋予“人权”一直备受争议。这里的人工智能体通常被认为是具有一定行为能力的AI，例如机器人。反对者认为，人类不需要太强的机器人，也绝不能给机器人“人权”，让其拥有人权是对人工智能体的放纵，有可能危害到人类的生存。而赞成者则认为，如果制造的机器人有伦理良知，能同人类互动，它们就应该享有一定程度的权力。人工智能体是否应该被赋予“人权”？如何避免人工智能威胁到人权？人工智能安全伦理48AI人权问题是否赋予人工智能体“人权”针对相关问题制定不同的伦理制度去规范。对于看护型人工智能体就可以被赋予一定的“人权”，因为它们的任务就是帮助人类、服务人类，并在一段时间内甚至更长时间内与人类紧密相处，在感情上进行相互交流，甚至产生依赖。如果对于这些人工智能体实施不人性的对待或侮辱，那就是违背了人类基本的道德伦理。智能武器可以在战场上大杀四方，但也可能对人类社会造成威胁。对于那些破坏型、用于战争的人工智能体就可以不赋予其“人权”，因为它们可能会给人类带来灾难。看护型医疗机器人智能武器人工智能安全伦理49面对人工智能的广泛应用，人类又该如何避免被侵犯呢？人工智能本身作为一种工具具有脆弱性，也存在被恶意利用的可能，如人工智能武器、大数据滥用、隐私被侵犯等。就当前状况，人工智能远没有发展到自我意识的阶段，人工智能侵犯人权，更多的是作恶者利用人工智能侵犯他人权益。是否会威胁人类，取决于人类对自身的约束。2018年7月，斯德哥尔摩国际人工智能联合会议上，超过2400名AI学者共同签署了《致命性自主武器宣言》，宣誓不参与致命性自主武器系统的开发和研制工作。这是学术界针对智能武器最大规模的一次集体发声。2018年2月，26位来自牛津大学、剑桥大学、OpenAI等组织的研究人员发布了一份长达101页的人工智能预警报告《人工智能的恶意使用：预测、预防和缓解》，并强调了计算机技术对人权、物理安全、政治安全和数字安全的潜在威胁。应对这些威胁，人类首先要做的就是约束自己的行为，并制定合理的伦理规范。人工智能安全伦理AI人权问题50伦理地位问题人工智能技术引起的伦理地位问题主要围绕“人工智能是否能成为伦理主体”而展开。如果承认人工智能体具有伦理主体地位，那就意味着人工智能体具有道德义务，需要承担伦理责任，并接受伦理审判。不过，关于这一问题，至今尚未有定论。一部分学者认为人工智能体不能够成为伦理主体，因为伦理是仅就人类而言的，这也正是人不同于其他生物的根本所在。我们说人类具有道德地位，往往是基于某些精神能力或某些情感属性的归属，包括能感觉疼痛的能力或具有感情、目标导向、对于周围环境和自己的认识、思维和推理的能力、语言能力等。而对于人工智能体来说，其本质上是“人造机器运用人类喂给它的知识，使人类已有明述知识的转移、利用”。人工智能安全伦理51学者德博拉·G·约翰逊（DeborahG.Johnson）规定了一个人工伦理主体E（如计算机、机器人）要成为伦理主体必须具备的4个条件：（1）E能够以自己的身体引起物理事件；（2）E有一个内在的规定I，它包含自身的欲望、信仰和其他有意图的规定，这些共同组成了E以某种方式（理性或意识）行动的原因；（3）规定I是导致条件（1）的直接因素；（4）条件（1）中的物理事件有伦理重要性的影响：当计算机系统运转时，它们的行为对表达世界的其他方面产生影响，这些表达效果对伦理或有害或有益。约翰逊指出：“……一切行为都可以用其原因来解释，但只有当行动能被解释为一系列内部心理状态时，我们才能解释为什么一个主体的行动总是关乎它们的信仰、欲望和其他有意图的规定。”因此，约翰逊认为E不能成为伦理主体，因为它缺乏可能导致行为发生的内在心理控制。人工智能安全伦理伦理地位问题52另一部分学者并没有完全否认人工智能体会拥有伦理主体地位的可能性，他们认为除人类之外的其他生命体也可能具有伦理主体地位。在这一方面，卢西亚诺·弗洛里迪（LucianoFloridi）和桑德斯（J.W.Sanders）提出了人工智能伦理主体E抽象层次的3个伦理标准：（1）交互性，E与环境互动；（2）独立性，E有能力改变自身的状态，而不受外部条件的直接影响；（3）适应性，E可能会基于（1）的结果而改变（2）的实现方式。他们认为对人工智能伦理主体而言只需要存在某些行为和反应就可以。此外，生态哲学代表人物奥尔多·利奥波德（AldoLeopold）指出，整个生态系统都应该具有伦理地位，即拥有生存和发展下去的权利，但不是每一个生物都拥有“神圣不可侵犯”的权利。人工智能安全伦理伦理地位问题53虽然人工智能体在能否成为伦理主体的问题上存在着争论，但这并不妨碍人们将人工智能纳入伦理体力范畴之中。学者认为，将人工智能纳入人类的伦理体系范畴并不意味着肯定了人工智能的伦理主体地位，而是人类作为伦理主体拓宽了一些非人类事物的伦理准入标准。英国的亚伦·斯洛曼（AaronSloman）教授在《哲学中的计算机革命》一书中指出，人工智能技术下的机器人是存在思考和感知能力的可能的，因而把人工智能纳入伦理系统范畴是合理的。在人工智能被纳入人类伦理系统范畴后，如何对人工智能进行恰当的定位就十分重要了，人类需要制定一些列伦理原则来规范和约束人工智能技术的发展。人工智能安全伦理伦理地位问题54风险问题风险指的是遭受某些损失、伤害和不利后果的可能性。AI技术的发展为人类带来便利的同时也存在着潜在的风险：一方面是技术发展的不确定性使得在与其它学科融合和渗透的结果难以评估，人工智能的发展对于人类来说“是福是祸”仍然存在争论；另一方面是人类认知的局限性使得当前并不能准确评估和预测人工智能带来的风险及风险发生的概率。信息安全风险主要包括系统漏洞和数据泄露。如果智能系统的安全设计和防护措施不到位，便有可能出现致命的漏洞，从而被非法侵入和操控，并引发其他安全问题。此外，新一轮人工智能浪潮的到来是由数据驱动的，人们往往要以牺牲个人数据为代价来获得所需的服务。这些信息被收集后，一旦收集的平台出现防护漏洞，就有可能造成大面积的隐私泄露。云计算和大数据技术的广泛应用更是加剧了这种隐私泄露的风险，