人工智能素养与技能-课件 单元五　AI安全

《人工智能素养与技能》目录AI意识AI应用0104AI思维AI技术AI安全AI伦理0203050605AI安全ArtificialSecurity1.AI设备安全的基本概念、作用及原理；2.了解AI设备安全的风险来源；3.了解AI设备安全的风险防御；知识目标1.AI设备安全ArtificialEquipmentsafety1.能分析AI设备在硬件、数据、模型等层面的特有安全漏洞；2.建立以设备为中心的全生命周期安全观，保障AI系统可信运行素养目标1.能识别AI设备可能存在的安全漏洞和威胁，以及它们可能对个人、组织或社会造成的影响。2.掌握AI设备安全的基础知识和技术技能目标一.AI设备安全的概念

AI设备安全是人工智能安全领域的重要组成部分，指通过综合性的技术与管理措施，确保人工智能终端设备（含硬件与嵌入式软件）在其全生命周期内，能够抵御外部攻击、防止内部故障，从而保障其数据处理的安全性、用户隐私的保密性、功能操作的可靠性以及系统服务的持续性。二.AI设备安全的作用1.保障数据与隐私安全。AI设备常采集和处理大量用户个人信息、生物特征及环境数据。坚固的安全防线能防止数据在端侧被窃取或泄露，规避隐私侵权与经济诈骗等衍生风险，是建立用户信任的首要前提。2.确保系统功能可靠与持续。通过抵御恶意攻击和降低故障率，AI设备安全能够保障硬件与嵌入式软件按预期设计稳定运行，防止因系统失效、功能紊乱或服务中断导致的人身安全威胁与重大经济损失。3.促进AI产业健康可持续发展。AI设备的安全性与可靠性是用户接受度与企业规模化应用的关键前提，直接关系到技术成果的市场转化效率。三.AI设备安全的风险来源

AI设备安全风险贯穿于其数据、算法、硬件及运行环境等各个环节，主要来源可归纳为以下七个方面。

1.终端数据安全风险。AI设备在端侧采集、处理和存储大量敏感数据（如用户语音、生物特征、环境信息），此过程中可能因加密不足或传输漏洞，导致数据在设备端被窃取、篡改或非法访问。

2.嵌入式算法模型安全风险。部署于设备本地的AI模型可能存在缺陷，易遭受对抗性样本攻击（导致识别错误）或模型逆向攻击（导致算法逻辑窃取），直接破坏设备的核心智能功能。三.AI设备安全的风险来源

3.设备软件系统漏洞风险。AI设备运行的嵌入式操作系统、固件及应用程序中存在的安全漏洞，可被利用来获取设备控制权、植入恶意软件或破坏系统正常运行。4.硬件与供应链安全风险。从芯片、传感器等硬件制造到软件预装，设备供应链的任一环节都可能被植入硬件木马、后门，构成设备级的基础性安全威胁。

5.设备物理安全风险。AI设备作为实体，可能面临物理拆解、接口滥用、侧信道分析（通过功耗、电磁信号窃取密钥）等威胁，导致设备被直接操控或数据泄露。三.AI设备安全的风险来源6.运维与内部管理风险。AI设备运行的嵌入式操作系统、固件及应用程序中存在的安全漏洞，可被利用来获取设备控制权、植入恶意软件或破坏系统正常运行。7.固件更新与生命周期管理风险。设备固件更新不及时、升级过程不安全或退役设备数据擦除不彻底，会留下长期安全隐患，使设备暴露于已知漏洞攻击之下。三.AI设备安全的风险防御

针对AI设备位于网络边缘、直接交互物理环境的特点，其安全防御需构建“端-边-云”协同的纵深防护体系，重点实施以下措施：

1.设备数据安全防护。

聚焦于设备本地的数据安全。第一是端侧数据加密，在设备芯片中集成硬件加密引擎，对本地存储的敏感数据及设备间通信数据实施高速加密，防止物理拆解或窃听导致的数据泄露。第二边缘计算脱敏，在数据上传前，利用设备自身的计算能力在边缘端完成数据清洗与脱敏，仅上传非敏感特征值，从源头降低隐私风险。第三是固化的访问控制，在设备固件层实现基于身份的访问控制逻辑，硬件隔离不同权限的用户或进程对数据的访问，防止越权操作。进而决定人工智能的“智商”。三.AI设备安全的风险防御

2.设备算法与模型防护

保障部署于设备上的模型安全运行。第一是模型轻量化与加固，对算法模型进行剪枝、量化等轻量化处理的同时，注入抗干扰指令，提升模型在资源受限环境下的鲁棒性。第二是运行时完整性校验，设备启动及运行过程中，持续校验模型文件与关键程序的数字签名，防止模型被恶意替换或篡改。第三是端侧隐私计算，在设备端直接采用差分隐私技术为数据添加噪声，或利用硬件可信执行环境（TEE）进行安全推理，确保原始数据不出设备。三.AI设备安全的风险防御3.设备系统与网络安全防护

保障部署于设备上的模型安全运行。第一是模型轻量化与加固，对算法模型进行剪枝、量化等轻量化处理的同时，注入抗干扰指令，提升模型在资源受限环境下的鲁棒性。第二是运行时完整性校验，设备启动及运行过程中，持续校验模型文件与关键程序的数字签名，防止模型被恶意替换或篡改。第三是端侧隐私计算，在设备端直接采用差分隐私技术为数据添加噪声，或利用硬件可信执行环境（TEE）进行安全推理，确保原始数据不出设备。未来已来

AI时代

小结未来已来

AI时代

《人工智能素养与技能》课程团队：何汉武、潘梦鹞、梁志勇、王锋、张东霞《人工智能素养与技能》目录AI意识AI应用0104AI思维AI技术AI安全AI伦理0203050605AI安全ArtificialSecurity1.了解数据质量对人工智能安全的影响2.了解数据投毒如何影响人工智能安全3.了解对抗样本对人工智能安全的影响知识目标2.AI数据安全ArtificialDataSecurity1.了解数据安全领域的前沿研究和发展趋势2.熟悉数据安全和隐私保护的相关法律法规和标准素养目标1．掌握如何分辩和识别数据质量2．掌握攻击者进行数据投毒的方式3．掌握对抗样本对人工智能攻击的方式技能目标一.AI数据安全的概念

AI数据安全（AIDataSecurity）是人工智能安全的前提和基础，数据作为人工智能的基础要素，其安全性直接决定AI系统的可靠性与可信度。AI数据安全不仅关注传统的数据保密（如加密与访问控制）、数据完整（如防篡改校验）与数据可用（如抗毁性与备份恢复），更强调在合规框架下对数据分类分级、隐私保护（如脱敏与匿名化）及数据防泄露的综合治理，确保个人隐私与重要数据在合法合规前提下得到充分保护与价值利用。一.AI数据安全的概念

数据安全三要素：数据保密性：确保数据不被未授权实体访问，通常通过加密技术实现。数据完整性：确保数据在传输和存储过程中不被篡改或损坏，可通过哈希校验、数字签名等技术保障。数据可用性：确保授权用户或系统在需要时能够及时可靠地访问数据，需防范拒绝服务攻击（DDoS）并建立可靠的数据备份与恢复机制。二.AI数据安全的风险来源

1．数据集质量影响人工智能内生安全

数据集质量主要通过“规模、均衡性、准确性”三个维度影响AI内生安全：（1）数据集规模：影响模型学习的充分性。​数据集规模需与任务复杂度相匹配。若规模过小，模型无法充分学习任务所需的特征信息，易出现“欠拟合”现象——模型无法准确识别关键信息，导致AI系统安全失效。例如，简单的图像分类任务（如区分常见物品）需万级样本支撑，复杂的医疗影像诊断任务（如识别早期病灶）需十万级以上样本，否则模型易漏判、误判，引发安全风险。二.AI数据安全的风险来源

1．数据集质量影响人工智能内生安全（2）数据集均衡性：影响模型决策的公正性。数据集均衡性指数据集中各类别样本数量的分布合理性。若类别失衡（某类样本占比过高，某类占比过低），模型会过度学习占比高的类别特征，产生“模型偏见”，导致对占比低的类别的识别准确率大幅下降，引发安全漏洞。例如，AI风控系统若“正常贷款”样本占比95%、“违约贷款”仅占5%，模型对违约贷款的识别率会显著降低，可能导致高风险贷款通过审核，造成金融安全风险。二.AI数据安全的风险来源

1．数据集质量影响人工智能内生安全（3）数据集准确性：影响模型学习的正确性。数据集准确性依赖标注质量，标注错误会使模型学习到错误的“输入—输出映射关系”，形成“伪特征依赖”，导致AI系统在实际应用中出现安全失效。当前数据集标注多采用众包模式，受标注人员专业度影响，易存在标注错误（如将“路障”误标为“行人”）。此类错误会让模型形成错误判断逻辑，例如自动驾驶AI因错误标注误判路况，触发不必要的紧急操作，引发安全事故。二.AI数据安全的风险来源

2.数据投毒是人为破坏AI安全的主要手段

数据投毒（DataPoisoning）是指攻击者通过向模型的训练数据中故意注入恶意样本或篡改已有数据，从而破坏模型训练过程、导致模型性能下降或出现特定偏差的攻击行为。（1）攻击原理。许多在线学习系统为了适应新数据，会定期采集最新样本进行模型重训练。攻击者一旦掌握其数据采集规律，便可提前对数据源进行污染。当模型学习这些被“投毒”的数据后，其内部参数会被误导，从而学习到错误的数据特征与映射关系，最终导致模型在应用时失效或产生攻击者期望的错误输出。二.AI数据安全的风险来源

2.数据投毒是人为破坏AI安全的主要手段（2）数据投毒的实施门槛相对较低。由于AI训练通常需要从互联网等开放环境中采集海量数据，攻击者无需直接入侵核心系统，仅需在数据源头（如爬取的网页、公开数据集）进行少量但精心构造的污染，即可达到攻击目的。（3）典型案例。2023年，知名人工智能企业科大讯飞遭遇网络安全事件，据报道称其遭受了“数据投毒”攻击，导致市值短期内出现大幅波动。尽管该事件的技术细节未完全披露，且其攻击方式与传统的数据投毒存在一定差异，但它仍被广泛视为一次针对AI系统的重大网络攻击，有效地揭示了数据供应链环节的脆弱性及其可能带来的巨大商业风险与社会影响。二.AI数据安全的风险来源

3．对抗样本威胁人工智能安全

对抗样本攻击是人工智能安全领域一种新兴的攻击方式，其在无需改变模型内部参数的前提下，通过向输入数据添加人眼难以察觉细微扰动，导致模型产生错误输出。

从攻击方式上来划分，采用对抗样本的攻击方式可分为白盒攻击和黑盒攻击；从攻击效果上来划分，可分为无目标攻击和有目标攻击；从对抗样本的形式上来划分，可分为针对图像、文本、音视频的攻击。

其中，白盒攻击是攻击者完全了解目标模型的内部结构参数及训练细节，如神经网络架构权重超参数等，可基于梯度信息精确构造对抗样本。黑盒攻击是攻击者仅能通过输入输出接口与模型交互，在不了解模型内部结构的情况下，依靠查询反馈或迁移学习生成对抗样本。三.AI数据安全的风险防御

1．数据隐私与机密性保护（1）数据加密：采用国密SM4、AES-256等强加密算法，对静态存储数据与动态传输数据实施端到端加密，确保敏感信息即使被窃取也无法被解析。（2）实施数据分层加密：根据数据敏感等级和使用场景，采取差异化的加密策略。对核心敏感数据采用硬件加密模块（HSM）进行保护，对一般业务数据采用软件加密方式，实现安全性与性能的最佳平衡。（3）匿名化与脱敏处理：在数据共享与开放应用场景中，通过k-匿名、差分隐私、数据泛化等技术对个人信息及敏感字段进行脱敏处理，实现“数据可用不可见”，最大限度降低隐私泄露风险。三.AI数据安全的风险防御

2．数据投毒防护机制（1）数据溯源与完整性校验：在数据采集、清洗、标注等关键环节引入数据血缘追踪技术，记录数据来源、处理历史与操作日志，确保数据可追溯、可审计；结合数字签名与哈希校验技术，防止数据在流转过程中被篡改。（2）异常数据检测与清洗：采用离群值检测、一致性验证、对抗样本检测等算法，对训练数据进行实时扫描与过滤，识别并剔除潜在投毒样本，保障训练集纯净度。三.AI数据安全的风险防御

3．模型与算法安全加固（1）对抗训练：在模型训练中引入对抗样本，提升模型对恶意输入的鲁棒性。（2）模型验证与监控：部署模型行为监控系统，持续检测推理阶段的输出偏差、置信度异常等，及时发现潜在攻击；定期进行模型安全性测试与第三方审计。（3）可解释性与公平性保障：采用SHAP、LIME等可解释性工具分析模型决策逻辑，识别并消除因数据偏见导致的模型歧视，确保决策公正。三.AI数据安全的风险防御4．防御合规与治理框架（1）访问控制与身份管理：实施基于角色的访问控制（RBAC）与多因素认证（MFA），严格限制数据与模型的访问权限，遵循最小权限原则。（2）数据备份与容灾恢复：建立异地多活数据备份机制与灾难恢复预案，确保关键数据与服务在遭受攻击或故障时仍可快速恢复，保障业务连续性。（3）安全开发与运维一体化：将安全要求嵌入AI系统开发全流程，包括安全编码、漏洞扫描、依赖库安全管理等，降低供应链攻击风险。三.AI数据安全的风险防御5．防御合规与治理框架（1）数据分类分级管理：依据《数据安全法》《个人信息保护法》要求，对数据实施分类分级，并制定相应安全管理策略。（2）安全审计与合规监测：定期开展数据安全风险评估与合规性审计，确保数据处理活动符合国家及行业监管要求。未来已来

AI时代

小结未来已来

AI时代

《人工智能素养与技能》课程团队：何汉武、潘梦鹞、梁志勇、王锋、张东霞《人工智能素养与技能》目录AI意识AI应用0104AI思维AI技术AI安全AI伦理0203050605AI安全ArtificialSecurity1.了解什么是AI算法安全。2.了解AI算法安全有哪些风险来源。3.了解AI算法安全的防御方法。知识目标3.AI算法安全ArtificialAlgorithmSecurity1．熟悉相关的法律法规和行业标准，确保算法设计和实施符合相关要求。2．会处理与算法安全相关的合规性问题，如数据保护、隐私政策等。素养目标1.能对算法潜在安全风险进行识别。2.能对现有算法进行安全性分析和评估的能力。技能目标一.AI算法安全的概念

AI算法安全（AIAlgorithmSecurity）是人工智能安全的核心组成部分，旨在保障人工智能算法在全生命周期（设计、训练、部署、运行及维护）中，能够有效抵御恶意攻击与非预期干扰，确保其功能性、鲁棒性、公平性及可靠性，并防止算法本身及其关键资产（如模型参数、训练数据）被恶意篡改、滥用或泄露。二.AI算法安全的风险来源

算法作为AI系统的核心决策组件，其安全性直接关系到整个系统的可靠性与可信度。AI算法安全风险主要源于其内在的技术复杂性和外部恶意攻击，具体体现在以下几个方面：1.算法歧视与公平性风险

若训练数据包含历史偏见或社会歧视，算法会学习并固化这些偏见，导致系统性不公。例如，招聘算法因历史数据中的性别偏见而倾向于筛选特定性别候选人，违反公平原则。确保算法公平性需在数据收集、预处理及模型设计时采取去偏技术或开展公平性审计。三.AI算法安全的风险来源

2.

系统安全与外部攻击

AI系统本身及其运行环境面临诸多传统网络安全风险，包括系统漏洞、网络攻击等。例如，黑客可能利用未打补丁的系统漏洞，篡改算法输出，影响决策过程。在智慧工地等项目中，需确保AI监控系统不被侵入，防止外部攻击破坏安全识别算法。

3.

对抗性攻击与防御挑战

对抗性攻击通过精心设计的输入样本欺骗AI系统，是算法安全的重大威胁。例如，清华大学团队演示通过对抗样本技术攻破商用手机人脸解锁系统，突显了该风险的真实性。防御此类攻击需采用对抗性训练、输入检测等增强模型鲁棒性的技术。三.AI算法安全的风险来源

4.

算法“黑箱”与可解释性困境

深度学习等复杂模型决策过程不透明，成为一个名副其实的“黑箱”，导致结果可解释性和透明性问题。在金融、医疗等高风险领域，算法的不可解释性严重制约了用户的安全感与信赖度，是亟待解决的核心挑战。三.AI算法安全的风险防御

1．算法歧视与公平性风险的防御

此类防御的核心目标是确保算法决策的公正无偏见。具体的方法如下三种。（1）数据预处理去偏：在数据投入训练前，采用重新加权、平衡采样等技术，主动识别并减少训练数据中存在的历史偏见与失衡问题。（2）公平性约束算法：在模型训练阶段，将公平性作为数学约束explicitly（明确地）加入优化目标，强制模型在决策时忽略性别、种族等敏感属性。（3）定期公平性审计：建立持续的算法审计制度，使用统计指标监控算法对不同群体（如不同性别、地域用户）的输出结果，及时发现并纠正歧视性偏差。三.AI算法安全的风险防御

2．强化系统安全与外部攻击的防御

此类防御的核心目标是筑牢算法运行的底层安全基座，具体的方法如下三种。（1）系统漏洞与补丁管理：建立严格的软件更新机制，为操作系统、数据库及依赖库及时安装安全补丁，快速修复已知漏洞，消除攻击入口。（2）最小权限访问控制：遵循“最小权限”原则，严格限制用户和系统进程对算法模型、训练数据及API的访问权限，防止越权操作与恶意篡改。（3）网络安全纵深防御：在系统网络边界及内部部署防火墙、入侵检测系统（IDS）等安全设备，实时监控并阻断恶意扫描、注入攻击等恶意行为。三.AI设备安全的风险防御

3．针对对抗性攻击的算法防御策略

此类防御的核心目标是通过改进算法设计与训练过程，从根本上提升模型的固有鲁棒性，具体的方法如下三种。（1）对抗训练：在算法训练阶段，主动将对抗样本加入训练集，使模型在学习过程中见识并适应攻击模式，从而提升其内在的抗干扰能力和泛化性能。（2）输入预处理与过滤：在算法推理前，设计专用的预处理算法对输入数据进行实时分析和清洗，有效识别并拦截疑似对抗样本的异常输入，构筑第一道安全防线。（3）集成算法设计：通过并行训练多个结构各异的基模型（如CNN、决策树等），并采用投票或加权平均机制整合各模型输出，实现共同决策。三.AI设备安全的风险防御4．针对对抗性攻击的算法防御策略

此类防御的核心目标是通过改进算法设计与训练过程，从根本上提升模型的固有鲁棒性，具体的方法如下三种。（1）对抗训练：在算法训练阶段，主动将对抗样本加入训练集，使模型在学习过程中见识并适应攻击模式，从而提升其内在的抗干扰能力和泛化性能。（2）输入预处理与过滤：在算法推理前，设计专用的预处理算法对输入数据进行实时分析和清洗，有效识别并拦截疑似对抗样本的异常输入，构筑第一道安全防线。（3）集成算法设计：通过并行训练多个结构各异的基模型（如CNN、决策树等），并采用投票或加权平均机制整合各模型输出，实现共同决策。三.AI设备安全的风险防御

5．算法安全与合规治理

此类防御的核心目标增加算法透明度，使其决策“说得清、道得明”。（1）算法备案与透明化；（2）安全评估与审计；（3）数据治理与隐私保护；（4）风险监测与应急响应；（5）伦理审查与主体责任：设立算法伦理委员会，明确开发、部署各方的安全责任，推动合规治理，践行以人为本、向善可靠的算法理念。未来已来

AI时代

小结未来已来

AI时代

《人工智能素养与技能》课程团队：何汉武、潘梦鹞、梁志勇、王锋、张东霞《人工智能素养与技能》目录AI意识AI应用0104AI思维AI技术AI安全AI伦理0203050605AI安全ArtificialSecurity1.理解模型安全的概念；2.理解AI模型安全的风险来源；3.理解AI模型安全的防御；4.理解AI模型安全的政策法规。知识目标4.AI模型安全ArtificialModelSecurity1.培养AI模型在设计、训练、部署及使用过程安全意识。素养目标1.掌握AI模型安全基础知识和技术。2.能够识别、评估AI模型安全风险。技能目标一.AI模型安全的概念

AI模型安全是指通过一系列技术措施和管理框架，保障人工智能模型在全生命周期（开发、训练、部署、运维）中保持其功能性、可靠性及可信度。其核心目标是确保模型在面临恶意攻击、异常输入或环境变化时，仍能维持预期的性能与决策质量，同时防止模型自身成为系统脆弱性的来源。一.AI模型安全的概念

AI模型安全主要涵盖三个基本维度：（1）完整性：确保训练过程、模型参数及决策逻辑不被未授权篡改或破坏，保障模型的完整性和一致性。（2）保密性：防止模型参数、内部结构及敏感训练数据通过逆向工程或推理过程被恶意提取或重构，保护知识产权与数据隐私。（3）可用性：保障模型在遭受攻击或异常输入时仍能提供持续、可靠的服务，避免拒绝服务或性能退化。三.AI模型安全的风险来源

人工智能模型安全风险是指模型在全生命周期（数据准备、训练、部署、推理、维护）中可能遭遇的各类威胁，这些威胁可能导致模型性能退化、决策偏误、隐私泄漏甚至系统失效。1.训练数据安全风险训练数据是模型的基础，其质量问题会产生连锁式负面影响：（1）数据投毒攻击；（2）隐私泄露风险；（3）偏见放大效应。三.AI模型安全的风险来源2.模型完整性风险模型完整性风险是指人工智能模型在开发、训练、部署和维护的全生命周期中，其内部结构、参数权重或决策逻辑可能遭受恶意篡改或破坏，从而导致模型功能异常、性能下降或产生预期外行为的安全威胁。这类风险直接威胁模型的核心资产和可靠性，其主要表现形式包括以下三类典型攻击模式：（1）后门攻击；（2）参数篡改；（3）供应链攻击。三.AI模型安全的风险来源

3.模型保密性风险

模型保密性风险涉及模型知识产权和训练数据隐私的泄露威胁，主要体现在三个方面：（1）模型窃取：模型窃取是指攻击者通过黑盒查询方式重构出与目标模型功能相似的替代模型。（2）成员推断攻击：成员推断攻击旨在判断特定样本是否存在于模型的训练数据集中。（3）属性推断攻击：属性推断攻击通过分析模型输出推断训练数据的统计特征和群体属性。三.AI模型安全的风险来源

4.对抗性攻击风险

模型在推理阶段面临多种新型对抗性攻击的威胁，这些攻击通过精心构造的输入样本使模型产生错误预测，严重影响系统的可靠性与安全性。此类风险主要包含以下三类攻击形式：（1）白盒攻击；（2）黑盒攻击；（3）物理世界攻击。三.AI模型安全的风险来源

5.模型滥用风险

模型在推理阶段面临多种新型对抗性攻击的威胁，这些攻击通过精心构造的输入样本使模型产生错误预测，严重影响系统的可靠性与安全性。此类风险主要包含以下三类攻击形式。（1）深度伪造技术滥用；（2）自动化恶意攻击；（3）越狱与对齐绕过攻击。三.AI模型安全的风险来源

6.可解释性风险

模型的可解释性不足是制约AI技术在高风险领域应用的关键问题。深度神经网络等复杂模型存在显著的黑箱问题，其决策过程缺乏透明度和可理解性，导致用户难以追溯具体决策逻辑，这在医疗诊断、司法判决等对决策过程敏感性极高的领域尤为突出。

7.系统集成风险

AI模型在实际部署环境中面临多种系统级风险。模型漂移是常见挑战，由于线上数据分布随时间变化（概念漂移），导致模型性能逐渐退化，需要建立持续监控和在线更新机制。三.AI模型安全的风险防御

建立覆盖模型全生命周期的系统性防御体系，可从数据、模型、应用和系统四个核心层面，构建人工智能模型的全方位防护框架。

1.训练数据安全防御

数据质量是模型安全的基础保障，需实施严格的数据治理机制，高质量的训练数据能够显著提升模型的准确性和可靠性。（1）数据投毒防护：采用异常检测算法识别训练数据中的恶意样本。（2）隐私泄露防护：采用差分隐私技术，通过在训练过程中添加适量噪声，防止从模型输出中推断个体信息。三.AI模型安全的风险防御

2.模型完整性防御

模型完整性防御主要针对参数篡改、后门植入等恶意攻击，需建立覆盖模型全流程的保护机制。（1）后门攻击缓解：采用基于激活分析的异常检测方法识别潜在后门。（2）参数完整性保障：在模型更新与传输过程中实施密码学验证。三.AI模型安全的风险防御3.模型保密性防御

模型保密性防御旨在保护模型知识产权与训练数据隐私，防止核心资产泄露。主要涵盖反模型窃取和隐私攻击防护两个关键方向。（1）反模型窃取：采用技术手段增加模型提取的难度和成本，对模型API接口实施访问速率限制、查询监控和异常行为检测，对可疑的大量查询进行拦截或返回扰动结果。（2）隐私攻击防护:采用差分隐私和同态加密等隐私增强技术保护训练数据。三.AI模型安全的风险防御4.对抗性攻击防御对抗性攻击防御旨在提升模型在对抗环境下的鲁棒性和可靠性，确保其在恶意样本干扰下仍能保持正确预测，主要涵盖对抗训练和认证鲁棒性两大核心方向。（1）对抗训练：通过将对抗样本注入训练过程，增强模型对恶意扰动的识别能力。（2）认证鲁棒性：可证明的防御技术通过严格的数学方法，为模型的鲁棒性提供理论保证。三.AI模型安全的风险防御5.模型滥用防御模型滥用防御是防止生成模型被恶意用于制造虚假信息、进行欺诈或生成有害内容，确保技术应用的合规性与伦理性，主要涵盖深度伪造检测和内容安全防控两个关键方向。（1）深度伪造检测：基于生物特征一致性原理，通过分析视频中的生理信号异常来识别伪造内容。（2）内容安全护栏：构建覆盖生成全流程的多层级防护体系：输入检测层；输出过滤层；审计追踪层。三.AI模型安全的风险防御6.可解释性与审计增强可解释性与审计增强是指在破解模型决策的黑箱特性，为责任追溯与合规审计提供技术基础，确保AI系统的透明性与可信度，该领域主要涵盖可解释AI技术应用和独立审计评估两个关键方向：（1）可解释AI技术应用：采用多层次解释方法揭示模型决策机制，通过事后解释方法、内置可解释架构和解释质量保障三个层面系统提升模型透明度。（2）独立审计与评估：通过建立符合国际标准的第三方监督机制，确保人工智能系统的合规性和可靠性。三.AI模型安全的风险防御7.系统韧性增强系统韧性增强旨在确保AI系统在复杂部署环境中保持持续可靠的运行能力，应对模型性能退化、恶意攻击及组件故障等风险。该领域主要涵盖持续监控、资源防护和容错设计三个关键方向：（1）持续监控与更新；（2）资源防护与弹性伸缩；（3）系统容错设计。未来已来

AI时代

小结未来已来

AI时代

《人工智能素养与技能》课程团队：何汉武、潘梦鹞、梁志勇、王锋、张东霞《人工智能素养与技能》目录AI意识AI应用0104AI思维AI技术AI安全AI伦理0203050605AI安全ArtificialSecurity1.了解AI产品安全的基本概念和特征；2.了解AI产品安全的防御方法知识目标1.AI产品安全ArtificialProductSafety1.了解AI产品安全开发的法律要求；2.了解AI产品安全领域的最新动态和研究成果，培养学生的持续学习能力。素养目标1.能够识别和分析AI产品存在的安全漏洞和潜在威胁；2.能进行AI产品安全漏洞挖掘和修复实践。技能目标一.AI产品安全的概念

AI产品安全是指通过系统化的技术手段和管理机制，保障人工智能产品在全生命周期（涵盖设计、开发、部署、运行及退役各阶段）中，能够有效维护用户权益、数据隐私与系统稳定性，防范因恶意攻击、技术漏洞或使用不当而对用户、组织或社会造成损害。

AI产品安全的核心目标是在实现产品功能的基础上，确保数据的机密性、完整性与可用性，并保障系统运行的可靠性、透明性及可问责性。二.AI产品安全的风险来源

随着人工智能技术的快速发展和广泛应用，AI产品安全问题日益凸显，AI产品在全生命周期中各环节可能面临的安全风险，从数据、算法、系统、应用到治理等多个维度深入剖析风险成因和影响机制。

1.数据安全风险AI产品的数据安全风险主要体现在训练数据的质量缺陷和隐私保护漏洞。

2.算法安全风险算法层面的安全风险主要源于AI产品中模型自身的结构缺陷和训练过程的脆弱性。

3.系统实现风险系统实现风险涉及产品开发部署各环节的技术漏洞。二.AI产品安全的风险来源

4.应用部署风险

AI产品一落地就会遇到“水土不服”的问题。外部环境变化会让它“脑子变慢”甚至出错，而系统越复杂、集成越紧密，安全漏洞就越多、越难防范，很容易顾此失彼。

5.系统实现风险

系统实现风险指AI产品在开发、部署及运维过程中，因技术漏洞或管理缺陷导致的安全威胁。三.AI产品安全的风险防御

应对人工智能产品在全生命周期中可能面临的各类安全威胁，可构建覆盖技术防护、管理规范与运维保障的多层次纵深防御体系。

1.数据安全防御

首先，在数据采集阶段需建立严格的数据验证机制，采用异常检测算法识别并过滤恶意样本，确保数据源的可靠性。

其次，在数据处理环节实施隐私增强技术，如采用差分隐私技术在训练过程中添加校准噪声，防止模型记忆个体信息。

此外，应建立完善的数据加密传输和存储机制，对敏感数据进行端到端加密，并实施严格的访问控制策略。三.AI设备安全的风险防御

2.

算法安全防御

在人工智能产品的安全防御体系中，算法安全防御通过系统性技术手段保障模型在整个产品生命周期中的安全性和可靠性。

3.

系统实现安全防护

系统实现安全是AI产品安全防御体系的重要组成部分，贯穿于产品开发、部署与运维的全生命周期。

4.

应用部署安全保障

在AI产品应用部署阶段，需构建覆盖监测、隔离与访问控制的多层次安全防护体系。

5.

综合治理与合规框架

AI产品的安全防御需建立系统化的治理与合规体系，以实现风险的全流程管控。未来已来

AI时代

小结未来已来

AI时代

《人工智能素养与技能》课程团队：何汉武、潘梦鹞、梁志勇、王锋、张东霞《人工智能素养与技能》目录AI意识AI应用0104AI思维AI技术AI安全AI伦理0203050605AI安全ArtificialSecurity1.应用安全的基本概念；2.了解AI应用安全的风险来源；3.了解AI应用安全中的风险评估方法。知识目标6.AI应用安全ArtificialEquipmentsafety1.了解与AI应用安全相关的法律法规和标准；2.AI应用安全方面的责任和义务。素养目标1.对AI应用进行全面的安全风险评估，识别潜在的安全漏洞和威胁；2.能制定和执行AI应用安全策略的方法；3.制定和执行AI应用安全事件的应急响应计划。技能目标一.AI应用安全的概念

AI应用安全是指保障人工智能技术在其各类应用场景中，能够安全、可靠、公平、合规地运行。其核心目标在于：保护用户隐私与数据安全，确保算法模型的决策可靠与透明，维护系统服务的持续性与稳定性，并防范其被恶意利用。它不仅是传统网络安全、数据安全的延伸，更因AI技术的独特性而面临着全新的挑战。二.AI应用安全的风险来源

1.

数据与隐私层面风险

数据作为AI应用与真实环境交互的核心媒介，在其动