《人工智能安全》教学大纲

《人工智能安全》课程教学大纲

一、课程基本信息

中文：人工智能安全

课程名称课程编号

英文：MachineIntelligenceandInformation

Countermeasure

学分/学时2学分/48学时必修（）/选修开课学期6

网络空间安全专业，信息安全专

课程类别学院特色创新创业课程适用专业

业，密码学专业，人工智能专业

先修课程信息安全概论、Python高级语言程序设计

授课教师

二、课程教学目标

通过学习本课程，使学生深刻理解人工智能安全的基本概念，系统地掌握机器学习的原理和信

息对抗技术，培养机器学习和信息对抗领域复杂工程解决能力、创新能力和实践能力。通过课上互

动、Python语言编写程序，培养学生刻苦努力、积极进取精神，以及认真的工作学习态度。具体目

标为:

课程目标1.掌握人工智能安全中的发展和相关研究，包括人工智能安全综述（包括定义、历史、

特征、发展现状与趋势、分类、人工智能的安全、伦理和隐私问题等）、人工智能安全的战略规划（外

国、中国、中国地方省市的战略规划及策略，国内外人工智能安全的研究机构）；

课程目标2.学习关于人工智能安全的相关基础知识，包括：人工智能安全的概念和模型；生成

对抗网络GANs：深度神经网络；卷积神经网络；对抗样本生成算法；随机森林算法；贝叶斯分类

算法；SVM分类算法；长短期记忆网络：梯度下降算法：深度伪造技术；影子模型攻击技术；神经

网络；算法歧视；Tacotron模型；梅尔谱图；长短记忆网络；混合注意力机制；深度学习；迁移学

习；小样本学习；图神经网络；代码漏洞分析等）。

课程目标3.了解产业现状，包括人工智能安全应用、产业现状及趋势（包括人工智能安全技术

的商业应用、人工智能安全行业综述、中国人工智能安全产业现状和发展趋势）、人工智能安全标准

化体系和标准化（如国内外研究现状、人工智能安全标准体系结构、人工智能安全标准化需求分析

等）、人工智能安全内涵与体系架构（包括人工智能安全内涵与体系架构、人工智能安全风险分析、

人工智能安全管理现状和人工智能安全发展建议等）；

课程目标4.深刻理解人工智能在安全领域的应用和研究现状，包括人工智能在安全领域的应

用、人工智能的安全威胁及防御（包括人工智能安全风险分析）、智能安全应用情况（包括智能安全

事例）、智能安全管理现状、智能安全相关技术等。

课程目标5.学习、实践、体会人工智能安全方向的科研创新过程。土要包括；生成对抗网络模

拟Sin曲线；模型窃取；数据投毒：人脸活体检测；验证码识别；图像对抗：图像去噪；垃圾邮件

过滤；网络攻击检测：模型逆向攻击；人脸伪造：成员推理攻击；属性推理攻击；模型公平性检测

与提升；图像水印去除；语音合成；视频检测；代码漏洞挖掘等。

三、课程目标与支撑的毕业要求指标点

本课程的知识点支撑网络空间安全专业毕业要求中的5个指标点：1.4、2.2、3.2、4.3和12.1。

如下表所示，本课程的5个课程教学目标，分别对应工程教育专业认证标准规定的毕业要求中的5

个指标点。表1所示为课程目标与支撑毕业要求的指标点。

表1课程目标与支撑毕业要求的指标点

毕业要求指标点课程目标达成途径评价依据

1.4掌握网络空间安课程目标L掌握人工智能安全中通过课堂讲授等方式考核内容约

全专业知识及技术，的发展和相关研究，包括人工智便学生掌握人工智能占总成绩的

能够将这些专业知能安全综述（包括定义、历史、安全中的基本概念、20%,包括平

识和关键技术用于特征、发展现状与趋势、分类、理论基础和人工智能时作业和期

解决网络空间安全人工智能的安全、伦理和隐私问发展历史，通过课后末考试。

领域的复杂工程问题等）、人工智能安全的战略规划作业巩固课堂知识；

题。（外国、中国、中国地方省市的在平时作业和期末考

战略规划及策略，国内外人工智试中考察对于基本概

能安全的研窕机构）；念和基本原理的理解

掌握。

2.2能够根据网络空课程目标2.学习关于机器学习和道过课堂讲授和学生考核内容约

间安全领域中复杂信息对抗的相关基础知识，包括：使用Python语言编程占总成绩的

工程问题的需求描人工智能安全的概念和模型；生等方式使学生掌握人20%,包括作

述，运用数学、物理成对抗网络GANs；深度神经网工智能安全中的基本业、实验完成

等自然科学和工程络；卷积神经网络;对抗样本生概念、理论基础和人情况和实验

科学原理及方法进成算法：随机森林算法；贝叶斯工智能发展历史，通报告、期末考

行分析表达，建立解分类算法；SVM分类算法；长短过平时作业巩固课堂试。

决网络空间安全领期记忆网络；梯度下降算法；深知识；在平时作.业和

域中的复杂实际工度伪造技术；影子模型攻击技术；期末考试中考察对于

程问题的抽象模型。神经网络：算法歧视；Tacotron模基本概念和基本原理

型：梅尔谱图：长短记忆网络：的理解掌握。

混合注意力机制；深度学习；迁

移学习；小样本学习；图神经网

络；代码漏洞分析等）

3.2能够针对网络空课程目标3.了解产业现状，包括针对人工智能安全中考核内容约

间安全领域各种应人工智能安全应用、产业现状及产业现状以及发展趋占总成绩的

用场景的特定需求，趋势（包括人工智能安全技术的势等，通过课堂讲授、20%,包括平

确定设计目标，对网商业应用、人工智能安全行业综小组讨论等方式让学时作业、期末

络空间安全领域中述、中国人工智能安全产业现状生了解人工智能安全考试。

的复杂工程问题进和发展趋势）、人工智能安全标准研究现状；通过作业

行分解和细化，完成化体系和标准化（如国内外研究力1深理解，通过期末

功能模块的设计与现状、人工智能安全标准体系结考试考察学牛分析问

开发，并对设计方案构、人工智能安全标准化需求分题和解决问题的能

进行优化。析等）、人工智能安全内涵与体系力。

架构（包括人工智能安全内涵与

体系架构、人工智能安全风险分

析、人工智能安全管理现状和人

工智能安全发展建议等）；

4.3针对所设计的面课程目标4.深刻理解智能在安全通过平时讨论、作业

考核内容约

向网络空间安全领领域的应用和研究现状，包括人报告等方式使学生掌占总成绩的

域中复杂工程问题工智能在安全领域的应用、人工握人工智能安全中的20%,包括平

的实验方案所获得智能的安全威胁及防御（包括人智能在安全领域的应时作业、期末

的实验数据和实验工智能安全风险分析）、智能安全用现状，以及当前人考试。

结果，能够对其进行应用情况（包括智能安全事例）、工智能的安全威胁和

正确的分析和合理智能安全管理现状、智能安全相防御，通过期末考试

的解释，并且能够通关技术等。考察学生对于人工智

过信息综合得到合能在安全领域应用现

理有效的结论。状的理解。

12.1能帔认识不断课程目标5.学习、实践、体会人道过平时Python语言

考核内容约

探索和学习创造的工智能安全方向的科研创新过编程作业和期末考试占总成绩的

必要性，掌握自主学程。主要包括：生成对抗网络模等方式使学生掌握人20%,包括平

习和终身学习创造拟Sin曲线；模型窃取；数据投毒；工智能安全方向的科时作业、期末

的方法，具有拓展与人脸活体检测；验证码识别；图技创新以及拓展与更考试。

更新知识的能力。像对抗；图像去噪；垃圾邮件过新知识的能力，通过

游；网络攻击检测；模型逆向攻编程实践，了解掌握

击；人脸伪造；成员推理攻击；目前最流行的人工智

属性推理攻击；模型公平性检测能安全方向以及培养

与提升；图像水印去除：语音合学生不断探索和学习

成；视频检测；代码漏洞挖掘等。创造的精神。

四、课程落实立德树人的举措

以《高等学校课程思政建设指导纲要》（教高（2020）3号）为依据，科学设计课程思政教学体

系，将思政教育融入课程中的适当章节，主要包括：

1.感受技术发展，激发使命担当

通过介绍当前科技的发展引用习总书记语录来树立学生在创新能力、自主可控、国家安全战略

等方面的家国情怀和爱国主义意识，同时培养学生探索未知、追求真理、勇攀科学高峰的责任感和

使命感。

2.学习主席思想，脚踏实地，用于创新

通过人工智能安全技术章节讲授著名安全公司成功案例，引导学生学习实事求是、客观求真、

努力钻研的优秀科研工作者的优良品德。

3.尊重客观规律，树立正确三观

20%为分析类题目，考核学生对课程目标2分参考标准为（按照100分计算）：

人工智能面临的安全威胁与安按时完成作业并提交，且合格率达到

全需求及安全目标进行分析的60%,计60分；在此基础上，作业合

能力。格率满足70%、80%、90%和100%

20%为设计类题，考核学生基于课程目标3分别为70分、80分、90分、100分，

基本原理完成人工智能安全网有创新解题思路或解决方案的可另

络的设计与应用能力。加10-20分，但每次作业得分不超过

20%为分析类题目，分析当前人课程目标4100分。

工智能安全研究现状，对安全智作业得分60分及以上达成作业所支

能发展方向提出自己的理解和撑的课程目标1、2、3、4和5,说明

见识。学生具有理解人工智能安全的基本

30%为综合类题目，考核学生对课程目标5概念和基本原理、能够运用所学知识

各类人工智能安全技术方法进研究、分析和解决人工智能安全实际

行综合分析、比较，以及利用学问题的能力。

习的知识，进行Python编程实

践，撰写报告的能力。

期末60%综合整个课程所学，根据老师组课程目标Python编程综合实践，题目可以涉及

报告定的人工智能安全题目，进行1、2、3、4课程人工智能安全方向教学内容，考

Python编程综合实践，采用开卷和5察学生分析解决复杂人工智能安全

的方式撰写实践报告。提交实践问题的能力。

报告给老师作为考试成绩的依期末Python编程综合实践得分60分

据。及以上达成期末考试所支撑的课程

目标1、2、3、4和5,说明学生理解

和基木掌握了人工智能的基础知识，

能够对人工智能领域的安全问题进

行分析，并具有分析和解决复杂人工

智能安全问题的基本能力。加分项包

括：（1）如果学生对考试内容有深入理

解;⑵解决问题思路清晰；（3）对r编

程代码有详细的解称；（4）对实践内容

有扩展；（5）有创新性的想法。

八、课程资源

课程教材：

（1）《人工智能安全：原理与实践》，李剑主编，机械工业出版社，2024年12月。

（2）教师自编讲义。

参考书目：

（1）《机器学习》，赵卫东，董亮，人民邮电出版社，2018年7月。

（2）《机器学习与应用》，雷明，清华大学出版社，2018年12月。

（3）《机器学习与安全》,ClarenceChio,DavidFreeman,中国电力出版社,2019年8月。

（4）《机器学习基础-原理、方法与实践》，袁梅宇，清华大学出版社，2018年8月。

（5）《基于复杂网络的机器学习方法》，迪亚戈・克里斯蒂亚诺・席尔瓦，机械工业出版社，2018

年11月。

（6）《多智能体机器学习：强化学习方法》，霍华德M施瓦兹，机械工业出版社，2017年7月。

（7）《对抗机器学习：机器学习系统中的攻击和防御》，叶夫提尼・沃罗见琴科，穆拉特，机械

工业出版社,2019年12月。

（8）《数据挖掘：使用机器学习工具与技术》，lanH.Witten,机械工业出版社，2014年5月。

（9）《机器学习入门到实战--Matlab实践应用》，冷雨泉.张会文,张伟，清华大学出版社，2019

年3月。

参考课程：

（1）课程名：网络安全中的人工智能

开课学校：TheCompleteArtificialIntelligenceforCyberSecurity2021

课程链接：

hups:〃/coursc/thc-complcte-arlificial-iniclligcncc-for-cybcr-sccurity-2（）21/

（2）课程名：人工智能与网络安全

开课学校：CybersecurityforArtificialIntelligence

课程链接：h（tps://www.udeiTiy.coiTi/course/cybersecurity-for-artificial-intelligence-ai/

执笔人：李剑

审核人：

时间：2024年9月25日

表4人工智能安全课程教学内容、学时分配及对毕业要求的支撑

用支撑课程学生任务

知识模块教学内容学时教学要求

号分配目标作业要求自学要求讨论

了解人工智能安全的重要

从经典的两个人工智能安全

性:认知人工智能安全的查找人工智

案例事件说起，引入人工智能

概念：掌握人工智能安全能和人工智人工智能存在

人工智熊安全的概念及框架，说明了人能安全方面

12的模型：了解这门课的知课程H标1那些安全威

安全概述1:智能安全现状.最后给出了的相关文献

识体系：让学生了解如何胁？

本课程的组织、学习和讲授方资料，以供学

学习这门课程：熟悉这门

法.习和参考.

课的讲授方法.

了解生成对抗网络GANs

用Python语生成对抗网

主要讲述生成对抗网络的相的原理；掌握生成对抗网

吉土成实戏络方法不哪

关知识以及它的实践应用。在络GANs的训炼步雅：r

内容“基于生些应用。自行生成器和判别

生成对抗实践中讲述了两个实践案例，解如何学习这门课程：熟

成财抗网络实现一个“基器在生成对抗

2网络的安•个是基于生成对抗网纠的2悉利用生成对抗网络模拟课程目标2

的sin曲线样于对抗性攻网络中的作

全应用sin曲线样本模拟，另一个是基sin曲线样本的方法：认知

本模拟”，并击无数据替用.

丁•对抗性攻击无数据替代训深度神经网络：熟悉基丁

提交实践报代训练的模

练的模型窃取。对抗性攻击无数据杵代训

告。型窃取二

练的模型窃取方法.

了解卷积神经网络的概念

用Python语

和结构：熟悉数据投毒攻

讲述卷积神经网络CNN的原言完成另外

击：熟练使用卷枳神经网用Python语

理和它的实践应用。在实践案两个实践内

络模型AlexNcJ：熟练使言完成实践投毒攻击公带

例中主要讲述了三个经典案容：“基T•卷

卷积神经用卷积神经网络模型内容“基于卷来哪些危害?

例：第一个是基于卷积神经网积神经网络

3网络的安2VGG；热卷卷枳神经网络课程目标2积神经网络人脸活体检测

络的数据投毒攻击：第二个是的人脸活体

全应用在数据投毒攻击中的应的数据投毒可以应用到哪

基于卷积神经网络的人虺活检测”和“基

用：熟悉卷积神经网络在攻击“，并提些方面？

体检测；母后一个是基于卷枳于卷枳神经

人脸活体检测中的应用：交实践报告。

神经网络的验证码识别.网络的验证

熟悉卷积神经网络在验证

码识别

码识别过程中的应用。

介绍如何使用对抗样本三成

究法高效生成对抗样本，并将

用Python语

其应用于图形对抗当中，欺果

熟练使用对抗样木生成算言完成实践对抗生成样

对抗样本所使用的神经网络，使其被出FGSM算法与

法：熟悉卷枳神经网络模内容“对抗样本攻击与生

生成驾法与正确答案完全不同的判定.PGD算法有什

42型的应用:「解图像对抗课程目标2本生成算法成对抗网络

的安全应本章将编程实践两个经典的么相同和不同

知识;掌握Fast算法：掌的图像对攻击有何不

用对抗样本生成算法Fast之处？

握PGD克法，抗”，并提交同？

GnidicntSignMethod(FGSM)

实践报告。

算法和ProjectedGradient

Descent(PGD)j??j;<.

用Python语

主要学习的基础知识是随机

在完成实践

森林(RandomForest)算法,了解决策树：认知图像噪

随机森林内容“基于随图像去噪的黄机森林算法

也是一种主要的机器学习算声：掌握随机森林兑法模

5算法的安2课程目标2机森林算法作用是什还有哪些应

法之一.在此基础上实践一个型：熟悉随机森林算法在

全应用的图像去么？用.

基于机森林算法的图像去图像去噪中的安全应用。

噪”，并提交

噪安全应用系统”

实践报告。

了解垃圾邮件：认知垃坡用Python语

主要讲述机器学习里两人经

邮件的过渡方法；掌握贝言完成实践

典的分类算法：贝叶斯分类算

贝叶斯和叫斯分类算法；掌握SVM内容“基于贝

法和SVM分类算法，以及他朴素贝叶斯

SVM分类分类算法：熟悉基于贝叶叶斯和SVMSVM分类算法

6们在网络空间安全领域的应2课程目标3分类算法的

算法的安斯分类算法的垃圾邮件过分类算法的为原理。

用。在实践部分，主要讲述基原理。

全应用港方法:熟悉居于SVM分垃圾邮件过

于贝叶斯和SVM分类算法的

类算法的垃圾邮件过滤方渡”,并提交

坨圾邮件过滤系统。

法。实践报告。

主要讲述利用双向长短用记

忆网络(LongShort-Term

Memory,LSTM)模型对网络

用Python语

流量进行攻击检测。通过预处了解双向长短期记忆网

言完成实践

理包含攻击和正常流量的数络：认知网络攻击的概念;

内容“基于双网络攻击检

长短期记据集，提取特征并标准化后，了解网络攻击检测的分双向LSTM模

向LSTM模测系统通常

7忆网络的将数据转换为LSTM输入格2类：了解网络攻击检测的课程目标3型的作用与特

型的网络攻包括哪些组

安全应用式。模也经过训练和验证，达过程：掌握双向LSTM模点。

击检测”,并件？

到较高的准确率和召回率，最型对网络攻击进行检测方

提交实践报

终，模型识别并分类网络流量法。

告。

中的攻击行为，验证人工智能

中的机器学习方法在网络安

全中的有效性。

用Python语

介绍了梯度下降算法的原理、了解梯度下降算法的原言完成实践

梯度下降优化方法、常见问题以及实际理：认知梯度下降算法的内容“基于梯梯度下降算常见的模型逆

8算法的安应用.在编程实践部分介绍r2优化方法；掌握基于梯度课程目标3度下降的模法的作用是向攻击方法有

全应用一个基于梯度下降的模徵逆下降的模型逆向攻击方型逆向攻什么？哪些？

向(ModelInversion)攻击，法。击”,并提交

实践报告。

用Python语

主要介绍人工智能安全领域了螭深度伪造技术，认知在完成实践根据人脸尊改

深度伪造的深度伪造技术原理，并且详人脸图像伪造方法；了解内容“基于深区域和◎:改目

深度伪造有

9原理与安细介绍如何通过编程实戏实2深度伪造有哪些危害：掌课程目标3度伪造技术的，可将深度

哪些危害？

全应用现•个典型的深度伪造应用：据基于深度伪造技术的人的人脸伪人脸伪造技术

人脸伪造。脸伪造方法.造”，并提交分为哪些类？

实践报告。

用Python语

了解成员推理攻击的重要言完成实践

主要讲述成员推理攻击的原

成员推理性：认知成员推理攻击的内容“基于影常见的成员推

理与应用。在实践部分，主要什么是影子

：0攻击原理2方法：认知影子模型攻击；课程目标3子模型的成理攻击方法有

讲述基于影子模型的成员推模型攻击？

与实践掌握基于影广模型的成员员推理攻V.：-1'/

理攻击。

推理攻击方法。击”，并提交

实践报告。

用Python语

了解届性推理攻击的概

讲述属性推理攻击(Attribute言完成实践

念：认知属性推理攻击的

属性推理InferenceAttack)的概念、原内容“基于神属性推理攻属性推理攻击

攻击场景：认知属性推理

1攻击原理理、攻击场景和常用方法。在2课程目标4经网络的届击都有哪些都有哪些常用

攻击的常用方法：掌握基

与实践编程实践部分讲述了一人基性推理攻危害？方法？

于神经网络的属性推理攻

于神经网络的属性推理攻击。击”，并提交

击方法。

实践报告。

用Python语

了附非法蚊视的垂要性，在完成实践

模型公平讲述如何对人工料能算法进如何使得算法

认知模型的公平性；掌握内容“模型公什么是算法

：2性检测与行公平性检测，从而消除歧2课程目标4模型更加公平

模型公平性检测与提升的平性检测与岐视？

提升视，进而提升算法的公平性.一些？

方法。提升并提

交实践报告。

对水印知识进行介绍。实践内

容是一个基于深度学习的图

像去水印应用，采用Skip用Python语

EncoderDecoder模型。它的核了解水印的重要性；了解言完成实践

水印去除心功能是通过对图像及其相水印蒙版:认知去除水印内容“基于深图像水印的

去除水印面临

：3原理与实应水印量版的深度分析和处2的方法；掌握基于Skip课程目标4度学习的图作用是什