人工智能安全 教学大纲

《人工智能安全》课程教学大纲一、课程基本信息课程名称中文：人工智能安全课程编号英文：ArtificialIntelligenceSecurity学分/学时2学分/32学时必修（）/选修（）开课学期6课程类别学院特色创新创业课程适用专业网络空间安全专业，信息安全专业，密码学专业，人工智能专业先修课程授课教师李剑二、课程教学目标通过学习本课程，使学生深刻理解人工智能安全的基本概念，系统地掌握人工智能的知识，特别是机器学习知识如何应用到网络空间安全里面。培养人工智能安全领域复杂工程解决能力、创新能力和实践能力。通过课上互动、Python语言编写程序，培养学生刻苦努力、积极进取精神，以及认真的工作学习态度。具体目标为：课程目标1.掌握人工智能安全中的发展和相关研究，包括人工智能安全综述（包括定义、历史、特征、发展现状与趋势、分类、人工智能的安全、伦理和隐私问题等）、人工智能安全的战略规划（外国、中国、中国地方省市的战略规划及策略，国内外人工智能安全的研究机构）；课程目标2.学习关于人工智能安全的相关基础知识，包括：人工智能安全的概念和模型；生成对抗网络GANs；深度神经网络；卷积神经网络；对抗样本生成算法；长短期记忆网络；梯度下降算法；深度伪造技术；模型攻击技术；数据投毒；后门攻击与防护；隐私攻击与防护；预训练攻击与防护；伪造攻击与防护；人工智能模型的攻击与防护；模型攻击与防护；大语言模型安全等。课程目标3.了解产业现状，包括人工智能安全应用、产业现状及趋势（包括人工智能安全技术的商业应用、人工智能安全行业综述、中国人工智能安全产业现状和发展趋势）、人工智能安全标准化体系和标准化（如国内外研究现状、人工智能安全标准体系结构、人工智能安全标准化需求分析等）、人工智能安全内涵与体系架构（包括人工智能安全内涵与体系架构、人工智能安全风险分析、人工智能安全管理现状和人工智能安全发展建议等）；课程目标4.深刻理解人工智能在安全领域的应用和研究现状，包括人工智能在安全领域的应用、人工智能的安全威胁及防御（包括人工智能安全风险分析）、智能安全应用情况（包括智能安全事例）、智能安全管理现状、智能安全相关技术等。课程目标5.学习、实践、体会人工智能安全方向的科研创新过程。主要包括：生成对抗网络模拟Sin曲线；模型窃取；数据投毒与数据清洗；对抗样本攻击与防护；隐私攻击与防护；预训练攻击与防护；伪造攻击与防护；人工智能模型的攻击与防护；模型窃取与防护；大语言模型安全等。三、课程目标与支撑的毕业要求指标点本课程的知识点支撑网络空间安全专业毕业要求中的5个指标点：1.4、2.2、3.2、4.3和12.1。如下表所示，本课程的5个课程教学目标，分别对应工程教育专业认证标准规定的毕业要求中的5个指标点。表1所示为课程目标与支撑毕业要求的指标点。表1课程目标与支撑毕业要求的指标点毕业要求指标点课程目标达成途径评价依据1.4掌握网络空间安全专业知识及技术，能够将这些专业知识和关键技术用于解决网络空间安全领域的复杂工程问题。课程目标1.掌握人工智能安全中的发展和相关研究，包括人工智能安全综述（包括定义、历史、特征、发展现状与趋势、分类、人工智能的安全、伦理和隐私问题等）、人工智能安全的战略规划（外国、中国、中国地方省市的战略规划及策略，国内外人工智能安全的研究机构）；通过课堂讲授等方式使学生掌握人工智能安全中的基本概念、理论基础和人工智能发展历史，通过课后作业巩固课堂知识；在平时作业和期末考试中考察对于基本概念和基本原理的理解掌握。考核内容约占总成绩的20%，包括平时作业和期末考试。2.2能够根据网络空间安全领域中复杂工程问题的需求描述，运用数学、物理等自然科学和工程科学原理及方法进行分析表达，建立解决网络空间安全领域中的复杂实际工程问题的抽象模型。课程目标2.学习关于机器学习和信息对抗的相关基础知识，包括：人工智能安全的概念和模型；生成对抗网络GANs；深度神经网络；卷积神经网络；对抗样本生成算法；长短期记忆网络；梯度下降算法；深度伪造技术；影子模型攻击技术；神经网络；算法歧视等）通过课堂讲授和学生使用Python语言编程等方式使学生掌握人工智能安全中的基本概念、理论基础和人工智能发展历史，通过平时作业巩固课堂知识；在平时作业和期末考试中考察对于基本概念和基本原理的理解掌握。考核内容约占总成绩的20%，包括作业、实验完成情况和实验报告、期末考试。3.2能够针对网络空间安全领域各种应用场景的特定需求，确定设计目标，对网络空间安全领域中的复杂工程问题进行分解和细化，完成功能模块的设计与开发，并对设计方案进行优化。课程目标3.了解产业现状，包括人工智能安全应用、产业现状及趋势（包括人工智能安全技术的商业应用、人工智能安全行业综述、中国人工智能安全产业现状和发展趋势）、人工智能安全标准化体系和标准化（如国内外研究现状、人工智能安全标准体系结构、人工智能安全标准化需求分析等）、人工智能安全内涵与体系架构（包括人工智能安全内涵与体系架构、人工智能安全风险分析、人工智能安全管理现状和人工智能安全发展建议等）；针对人工智能安全中产业现状以及发展趋势等，通过课堂讲授、小组讨论等方式让学生了解人工智能安全研究现状；通过作业加深理解，通过期末考试考察学生分析问题和解决问题的能力。考核内容约占总成绩的20%，包括平时作业、期末考试。4.3针对所设计的面向网络空间安全领域中复杂工程问题的实验方案所获得的实验数据和实验结果，能够对其进行正确的分析和合理的解释，并且能够通过信息综合得到合理有效的结论。课程目标4.深刻理解智能在安全领域的应用和研究现状，包括人工智能在安全领域的应用、人工智能的安全威胁及防御（包括人工智能安全风险分析）、智能安全应用情况（包括智能安全事例）、智能安全管理现状、智能安全相关技术等。通过平时讨论、作业报告等方式使学生掌握人工智能安全中的智能在安全领域的应用现状，以及当前人工智能的安全威胁和防御，通过期末考试考察学生对于人工智能在安全领域应用现状的理解。考核内容约占总成绩的20%，包括平时作业、期末考试。12.1能够认识不断探索和学习创造的必要性，掌握自主学习和终身学习创造的方法，具有拓展与更新知识的能力。课程目标5.学习、实践、体会人工智能安全方向的科研创新过程。主要包括：生成对抗网络模拟Sin曲线；模型窃取；数据投毒；图像对抗；模型逆向攻击；人脸伪造；成员推理攻击；属性推理攻击；模型公平性检测与提升等。通过平时Python语言编程作业和期末考试等方式使学生掌握人工智能安全方向的科技创新以及拓展与更新知识的能力，通过编程实践，了解掌握目前最流行的人工智能安全方向以及培养学生不断探索和学习创造的精神。考核内容约占总成绩的20%，包括平时作业、期末考试。四、课程落实立德树人的举措以《高等学校课程思政建设指导纲要》（教高〔2020〕3号）为依据，科学设计课程思政教学体系，将思政教育融入课程中的适当章节，主要包括：感受技术发展，激发使命担当通过介绍当前科技的发展引用习总书记语录来树立学生在创新能力、自主可控、国家安全战略等方面的家国情怀和爱国主义意识，同时培养学生探索未知、追求真理、勇攀科学高峰的责任感和使命感。学习主席思想，脚踏实地，用于创新通过人工智能安全技术章节讲授著名安全公司成功案例，引导学生学习实事求是、客观求真、努力钻研的优秀科研工作者的优良品德。尊重客观规律，树立正确三观通过在讲授算法潜藏偏见的过程中，引导学生树立自身正确的三观，树立独立自主的判断能力，尊重客观规律，培养学生在法制法规合规的框架下合理开展技术应用的思维。五、教学内容及学时安排参见附表4。六、教学方法利用授课教师自制的PowerPoint多媒体电子教学课件演示主要教学内容，使学生加深印象，更便于理解，同时也便于加大课堂信息量；以学生使用Python编程实践为主，课堂讲授为辅助手段，适当穿插提问、思考等互动教学方式；对于教学难点的解决，主要通过举典型的例题，并从中加以说明，以教会学生。在实践内容里，主要通过让学生使用Python编程语言来实现人工智能安全的相关应用。七、考核方式本课程为选修课，考查方式为平时作业和学生期末考试时候提交的实践报告。其中成绩构成为：期末提交所撰写的实践报告成绩占60%，平时作业报告成绩占40%。各个考核环节对于课程目标和毕业要求的指标点的贡献度如表2所示：表2考核环节对课程目标和毕业要求指标点的贡献度指标点编号课程目标编号考核方式总贡献度平时（贡献度40%）期末(贡献度60%）3.1目标1812206.3目标2812207.2目标38122010.3目标48122012.2目标581220合计4060100考核标准参见表3。表3考核标准考核环节所占分值考核内容对应课程目标评价细则课后作业40%10%为基本概念和理论基础，考核学生对人工智能安全的基本概念及理论基础的理解和掌握。课程目标1平时作业一般为14次左右，涵盖课程所有内容，按照是否按时提交、完成情况等进行综合评定。每次作业评分参考标准为（按照100分计算）：按时完成作业并提交，且合格率达到60%，计60分；在此基础上，作业合格率满足70%、80%、90%和100%分别为70分、80分、90分、100分，有创新解题思路或解决方案的可另加10-20分，但每次作业得分不超过100分。作业得分60分及以上达成作业所支撑的课程目标1、2、3、4和5，说明学生具有理解人工智能安全的基本概念和基本原理、能够运用所学知识研究、分析和解决人工智能安全实际问题的能力。20%为分析类题目，考核学生对人工智能面临的安全威胁与安全需求及安全目标进行分析的能力。课程目标220%为设计类题，考核学生基于基本原理完成人工智能安全网络的设计与应用能力。课程目标320%为分析类题目，分析当前人工智能安全研究现状，对安全智能发展方向提出自己的理解和见识。课程目标430%为综合类题目，考核学生对各类人工智能安全技术方法进行综合分析、比较，以及利用学习的知识，进行Python编程实践，撰写报告的能力。课程目标5期末报告60%综合整个课程所学，根据老师组定的人工智能安全题目，进行Python编程综合实践，采用开卷的方式撰写实践报告。提交实践报告给老师作为考试成绩的依据。课程目标1、2、3、4和5Python编程综合实践，题目可以涉及课程人工智能安全方向教学内容，考察学生分析解决复杂人工智能安全问题的能力。期末Python编程综合实践得分60分及以上达成期末考试所支撑的课程目标1、2、3、4和5，说明学生理解和基本掌握了人工智能的基础知识，能够对人工智能领域的安全问题进行分析，并具有分析和解决复杂人工智能安全问题的基本能力。加分项包括：(1)如果学生对考试内容有深入理解；(2)解决问题思路清晰；(3)对于编程代码有详细的解释；(4)对实践内容有扩展；(5)有创新性的想法。八、课程资源课程教材：（1）《人工智能安全》，李剑主编，机械工业出版社，2025年7月。（2）《人工智能安全：原理与实践》，李剑主编，机械工业出版社，2024年12月。参考书目：（1）《机器学习》，赵卫东，董亮，人民邮电出版社，2018年7月。（2）《机器学习与应用》，雷明，清华大学出版社，2018年12月。（3）《机器学习与安全》，ClarenceChio，DavidFreeman，中国电力出版社，2019年8月。（4）《机器学习基础--原理、方法与实践》，袁梅宇，清华大学出版社，2018年8月。（5）《基于复杂网络的机器学习方法》，迪亚戈·克里斯蒂亚诺·席尔瓦，机械工业出版社，2018年11月。（6）《多智能体机器学习：强化学习方法》，霍华德M施瓦兹，机械工业出版社，2017年7月。（7）《对抗机器学习：机器学习系统中的攻击和防御》，叶夫提尼·沃罗见琴科，穆拉特，机械工业出版社，2019年12月。（8）《数据挖掘：使用机器学习工具与技术》，IanH.Witten，机械工业出版社，2014年5月。（9）《机器学习入门到实战--Matlab实践应用》，冷雨泉，张会文，张伟，清华大学出版社，2019年3月。执笔人: 李剑审核人： 时间：2026年1月1日表4人工智能安全课程教学内容、学时分配及对毕业要求的支撑序号知识模块教学内容学时分配教学要求支撑课程目标学生任务作业要求自学要求讨论1人工智能安全概述从经典的两个人工智能安全案例事件说起，引入人工智能安全的概念及框架，说明了人工智能安全现状，最后给出了本课程的组织、学习和讲授方法。2了解人工智能安全的重要性；认知人工智能安全的概念；掌握人工智能安全的模型；了解这门课的知识体系；让学生了解如何学习这门课程；熟悉这门课的讲授方法。课程目标11.人工智能安全的概念。2.人工智能都有哪些安全威胁。查找人工智能和人工智能安全方面的相关文献资料，以供学习和参考。人工智能存在哪些安全威胁？2生成对抗网络的攻击与防护（一）主要讲述生成对抗网络的相关知识以及它的实践应用。在实践中讲述了两个实践案例，一个是基于生成对抗网络的sin曲线样本模拟，另一个是基于对抗性攻击无数据替代训练的模型窃取。2了解生成对抗网络GANs的原理；掌握生成对抗网络GANs的训练步骤；了解如何学习这门课程；熟悉利用生成对抗网络模拟sin曲线样本的方法；认知深度神经网络；熟悉基于对抗性攻击无数据替代训练的模型窃取方法。课程目标2用Python语言完成实践内容“基于生成对抗网络的sin曲线样本模拟”，并提交实践报告。生成对抗网络方法有哪些应用。自行实现一个“基于对抗性攻击无数据替代训练的模型窃取”。生成器和判别器在生成对抗网络中的作用。3生成对抗网络的攻击与防护（二）主要讲述生成对抗网络的相关知识以及它的实践应用。在实践中讲述了一个实践案例，主要是基于DenseNet对真实人脸和StyleGAN生成的虚假人脸进行识别。另外还讲述了生成对抗网络的防护。2熟悉如何对生成对抗网络进行防护；熟练掌握基于DenseNet对真实人脸和StyleGAN生成的虚假人脸进行识别。课程目标2用Python语言完成实践内容“基于DenseNet对真实人脸和StyleGAN生成的虚假人脸进行识别”，并提交实践报告。实际生活中，生成对抗网络都有哪些应用？如何对生成对抗网络进行防护。4数据投毒攻击与防护（一）讲述卷积神经网络CNN的原理和它的实践应用。在实践案例中主要讲述了一个经典案例：基于卷积神经网络的数据投毒攻击。2了解卷积神经网络的概念和结构；熟悉数据投毒攻击；熟练使用卷积神经网络模型AlexNet；熟练使用卷积神经网络模型VGG；熟悉卷积神经网络在数据投毒攻击中的应用。课程目标2用Python语言完成实践内容“基于卷积神经网络的数据投毒攻击”，并提交实践报告。数据投毒的原理是什么？都有哪些分类？投毒攻击会带来哪些危害？5数据投毒攻击与防护（二）讲述如何对数据投毒进行防护。在实践案例中主要讲述一个经典案例：基于卷积神经网络的数据投毒防护。2熟悉数据投毒防护中的数据清洗、鲁棒性检测、异常检测、多模型验证等。课程目标2用Python语言完成实践内容“基于卷积神经网络的数据投毒防护”，并提交实践报告。数据投毒防护的原理是什么？如何才能更好地避免数据投毒的发生？6对抗样本生成算法的安全应用介绍如何使用对抗样本生成算法高效生成对抗样本，并将其应用于图形对抗当中，欺骗所使用的神经网络，使其做出与正确答案完全不同的判定。本章将编程实践两个经典的对抗样本生成算法FastGradientSignMethod(FGSM)算法和ProjectedGradientDescent(PGD)算法。2熟练使用对抗样本生成算法；熟悉卷积神经网络模型的应用；了解图像对抗知识；掌握Fast算法；掌握PGD算法。课程目标2用Python语言完成实践内容“对抗样本生成算法的图像对抗”，并提交实践报告。对抗生成样本攻击与生成对抗网络攻击有何不同？FGSM算法与PGD算法有什么相同和不同之处？7后门攻击与防护介绍后门攻击的定语与背景及相关发展；熟悉后门攻击的基础知识，后门攻击的原理、分类与常见的攻击方法。完成经典案例：基于BadNets模型的后门攻击。2掌握后门攻击的原理、方法、并且会实践；掌握后门攻击的防护方法。课程目标2用Python语言完成实践内容“基于BadNets模型的后门攻击”，并提交实践报告。后门攻击都有哪些危害？如何有效对后门攻击进行防护。8隐私攻击与防护介绍人工智能中的隐私问题、了解隐私问题的重要性；了解隐私问题的分类。熟悉隐私攻击的原理，包括模型反演、成员推理、模型窃取等。完成经典案例“基于梯度下降法的模型逆向攻击”2掌握人工智能中隐私的重要性，以及如何对隐私泄露进行防护。课程目标2用Python语言完成实践内容“基于梯度下降法的模型逆向攻击”，并提交实践报告。人工智能中的隐私泄露都有哪些危害？如何防止人工智能中的隐私泄露？9预训练攻击与防护（一）介绍预训练攻击的定义、分类、背景、攻击场景、与应用领域。熟悉预训练攻击的原理；了解预训练模型的固有脆弱性，数据污染与隐蔽攻击，参数空间操纵与漏洞传播等。完成经典案例“针对Transformer模型的后门攻击”2掌握预训练攻击的基本概念、方法、攻击场景等。课程目标2用Python语言完成实践内容“针对Transformer模型的后门攻击”，并提交实践报告。预训练攻击都有哪些危害？预训练攻击会引起哪些危害？10预训练攻击与防护（二）介绍预训练攻击防护方法，包括数据层面的防护机制、模型参数的安全加固、训练框架的安全重构、动态防护与运行时监控。完成经典案例“针对Transformer模型的后门攻击的防护”2掌握预训练攻击防护的基本概念、方法、攻击场景等。课程目标2用Python语言完成实践内容“针对Transformer模型的后门攻击的防护”，并提交实践报告。预训练攻击的防护方法还有哪些？如何更好地对预训练攻击进行防护。11深度伪造攻击与防护（一）主要介绍人工智能安全领域的深度伪造技术原理，并且详细介绍如何通过编程实践实现一个典型的深度伪造应用：人脸伪造。2了解深度伪造技术；认知人脸图像伪造方法；了解深度伪造有哪些危害；掌握基于深度伪造技术的人脸伪造方法。课程目标3用Python语言完成实践内容“基于深度伪造技术的人脸伪造”，并提交实践报告。深度伪造有哪些危害？根据人脸篡改区域和篡改目的，可将深度人脸伪造技术分为哪些类？12深度伪造攻击与防护（二）主要介绍人工智能安全领域的语音深度伪造技术原理，并且详细介绍如何通过编程实践实现一个典型的语音深度伪造应用：“基于Tacotron2的语音合成”案例。2熟悉语音深度伪