人工智能安全 课件 第8章 伪造攻击与防护

李剑博士，教授，博士生导师网络空间安全学院lijianeptember13,2025第八章伪造攻击与防护本章介绍

本章将系统探讨伪造攻击的概念特征、核心原理及其对个人、企业乃至国家安全造成的潜在风险，并重点阐述针对不同伪造攻击的防护策略与技术手段。通过学习本章，读者将能够全面理解伪造攻击的运作逻辑与防护体系的构建原则，掌握识别和应对新型伪造威胁的关键技能，为维护数字时代的信任基石提供理论与实践支持。知识要点：1）了解伪造攻击背景概述2）熟悉伪造攻击的定义与应用3）熟悉几种常见深度伪造算法4）掌握深度伪造具体实施案例5）了解伪造攻击的防护措施内容提纲8.3实践案例：人脸伪造8.2伪造攻击原理8.1伪造攻击概述8.4实践案例：基于Tacotron2的语音合成8.5伪造攻击防护小结8.6实践案例：基于逆扩散的伪造溯源8.1伪造攻击概述“深度伪造”（Deepfake）是英文“DeepLearning”（深度学习）和“Fake”（伪造）的混合词，即利用深度学习算法，实现音视频的模拟和伪造，也就是通过人工智能技术中的深度学习模型将图片或者视频叠加到原始图片或视频上，借助神经网络技术，对大量数据进行学习后，将人的声音、面部表情及身体动作拼接合成为非常逼真的虚假内容

。8.1伪造攻击概述深度伪造最初源于一个名为“deepfakes”的Reddit社交网站用户,该用户于2017年在Reddit社交网站上发布了将众多电影女明星的面孔映射至色情表演者身上的伪造视频。其实在此之前，“AI换脸”技术便已在电影行业中出现过。8.1伪造攻击概述1994年，在上映的影片《阿甘正传》中，制作者用原始的“换脸”技术，将肯尼迪的影像填充到电影中，并调节他的表情和肢体语言，如图8-2所示8.1伪造攻击概述2019年，深度伪造技术越来越多的走向主流，韩国三星公司根据人脸照片和艺术品照片成功让世人看到蒙娜丽莎的其他表情和动态影像，如图8-3所示；在YouTube中，deepfake频道坐拥百万粉丝关注；美国各界机构基于深度伪造对即将到来的2020美国大选的消极影响呼吁立法部门尽快制定相关法规以遏制其的泛滥之势。8.1伪造攻击概述深度伪造技术的应用场景多种多样，其影响已渗透到社会各个层面。从个人层面而言，技术滥用直接威胁肖像权、名誉权与隐私权，AI换脸和语音合成技术催生黑色产业链，导致社会性死亡与心理创伤。身份盗窃引发精准诈骗，受害者面临财产损失与身份泄露的双重危机，维权时遭遇举证与追责的系统性障碍。内容提纲8.3实践案例：人脸伪造8.2伪造攻击原理8.1伪造攻击概述8.4实践案例：基于Tacotron2的语音合成8.5伪造攻击防护小结8.6实践案例：基于逆扩散的伪造溯源8.2伪造攻击原理深度伪造技术可以分为两大类：图像视频伪造和语音伪造。图像视频伪造主要通过生成和修改人物面部、表情、动作等视觉元素，制造出仿真度极高的虚假影像；而语音伪造则通过模拟人的声音特征，生成以假乱真的语音内容。这两类技术在具体应用中又有着不同的细分和技术实现方式，包含多种创新形式，具体分类如图8-6所示。8.2伪造攻击原理一、图像视频伪造主要分为四类：身份替换、人脸生成、面部重演和属性编辑。1.身份替换身份替换是指通过深度伪造技术实现源人脸身份替换目标人脸身份，即“换脸”，其核心目标是保持交换后的人脸与源人脸身份一致，同时共享与身份无关的面部信息，具体流程如图8-7所示。8.2伪造攻击原理这种替换可以分为两种主要类型：(1)基于图形的方法，如FaceSwap。2018年，Nirkin等人[1]通过将全卷积网络工作（FCN）纳入其方法，提高了关键点匹配和分割精度。另一种是人脸参数化三维先验模型的构建。(2)基于深度学习技术的方法，如DeepFakes。2020年，Li等人[2]提出一种新颖的两阶段换脸框架FaceShifter，通过第一阶段的高度自适应人脸交换和第二阶段的自监督细节优化，实现了高保真的人脸替换。8.2伪造攻击原理Deepfakes让一个编码器把一个人脸压缩成一个代码和两个解码器，一个将其还原成人物A，另一个还原成人物B，其流程如图8-8所示。8.2伪造攻击原理2.人脸生成

人脸生成是指通过深度伪造技术生成现实世界不存在的人脸图像，可能用于创建虚假的社交账户，发布不实信息，甚至用于网络诈骗等违法活动。人脸完全生成主要利用生成对抗网络和扩散模型进行全脸生成。

随着GANs提出，深度人脸伪造技术飞跃进步。基本上，GANs是两个神经网络的组合：生成器(G)和鉴别器(D)。这两个网络通过动态的极小极大博弈（minimaxgame）进行对抗训练。8.2伪造攻击原理

随着训练的进行，两个模型通过竞争不断优化。具体来说，生成器G的目标是逼近真实数据分布，而判别器D的目标是估计样本来自真实数据而非生成器的概率。GANs模型的基本结构如图8-9所示。8.2伪造攻击原理

但研究人员很快发现，GANs难以生成高分辨率图。为了解决上述问题，Karras等人[3]在2018年提出了渐进式生成对抗网络（ProGANs），通过逐步增加生成器和判别器的分辨率来稳定地生成高质量和高分辨率的图像，特别适用于生成面部图像，其流程如图8-10所示。8.2伪造攻击原理2019年，Karras等人[4]进一步提出了StyleGANs，通过引入风格层和映射网络，能够控制图像生成中的不同视觉特征，并实现了生成高质量、可调风格的面部图像，其架构如图8-11所示。8.2伪造攻击原理3.面部重演

面部重演是指在不改变目标人物身份的情况下，对人物的表情特征进行篡改。目前主流的方法需要驱动人物的视频、图像或音频作为输入，实现对目标人物面部表情、头部姿态等的变换。

近来，深度生成模型已经在面部重演上取得了不错的进展。为解决传统计算机图形学依赖于高精度人脸三维模型的局限性，Thies等提出延迟神经渲染框架，同时优化神经纹理和渲染网络，有效降低了对高质量三维人脸模型的依赖。8.2伪造攻击原理4.属性编辑

属性编辑，也被称为面部编辑或面部修饰，涉及改变面部的某些方面，如头发或皮肤的颜色、性别、年龄和添加眼镜。图7是一个属性操纵的例子，其中图8-12(a)显示了源图像和相应的生成图像：金发、性别、年龄和苍白，图8-12(b)显示了源图像和相应的生成图像：愤怒、快乐、恐惧。其主要利用GANs反演技术实现，将输入图像反转为潜在代码并进行修改，再送入生成器以生成编辑后的人脸图像，比如2010年提出的stargan方法。8.2伪造攻击原理二、语音伪造

语音伪造可以分为三类：录音重放、语音合成和语音转换。1.录音重放

录音重放是指对目标说话人的语音通过设备录制后进行编辑和回放以产生高度逼真的目标说话人语音。相比于deepfake技术，重放攻击容易实施，无需特定的专业知识和复杂的设备，因此常用于攻击ASV系统。重放语音与目标说话人的声学特征高度相似，但语音内容的可控性弱。8.2伪造攻击原理2.语音合成

语音合成将指定的语言文本生成目标说话人声音，实现文本到声音的映射。典型的语音合成系统如图8-13所示，包括前端文本分析和后端语音波形生成两部分。文本分析将输入文本通过规范化、分词、词性标注等步骤生成对应的音素序列、时长预测等信息；语音波形生成根据文本分析生成的语言规范合成目标说话人的语音波形。8.2伪造攻击原理3.语音转换

语音转换是指将源说话人的语音转换为目标说话人语音，实现声音到声音的映射。典型的语音转换模型如图8-14所示，包括语音分析、映射和波形重构三个主要环节。语音分析将源说话人的语音提取出中间特征表示(超节段、分段信息)，映射模块将源说话人特征转换为目标说话人特征，重建模块将目标说话人特征重构成语音波形信号。内容提纲8.3实践案例：人脸伪造8.2伪造攻击原理8.1伪造攻击概述8.4实践案例：基于Tacotron2的语音合成8.5伪造攻击防护小结8.6实践案例：基于逆扩散的伪造溯源实践目的：1.理解面部特征点检测的原理，并使用dlib库中的预训练模型识别图像中的人脸及其关键特征点。2.掌握图像的基本处理技巧，包括读取、缩放和色彩校正，以及应用仿射变换进行图像配准。3.学习面部区域掩模的创建和应用，以及如何通过高斯模糊和其他技术实现图像边缘的平滑过渡。4.熟悉图像融合技术，实现两个图像间的无缝融合，使面部特征自然地从源图像转移到目标图像上。5.增进编程能力和解决实际问题的能力，通过动手实践加深对图像处理算法的理解。8.3实践案例：人脸伪造实践环境：python版本：3.6.13或者更高版本所需安装库：numpy1.19.2,opencv3.4.2,dlib预训练模型：shape_predictor_68_face_landmarks运行平台：Pycharm/vscode/GoogleColaboratory8.3实践案例：人脸伪造实践步骤：

该案例的一般步骤如图8-15所示。8.3实践案例：人脸伪造第1步：检测面部标志。使用dlib提供的预训练模型来检测一张图片中的人脸，并定位面部关键特征点，如眼睛、鼻子、嘴巴等位置。这些标志是进行准确面部交换的基础。第2步：对齐面部图像。计算两组面部标志之间的最优变换（包括旋转、缩放和平移），这样第二个图像上的面部可以与第一个图像上的面部对齐。第3步：调整色彩平衡。通过对比两张图像的面部区域的颜色分布，对第二张图像进行色彩校正，以便其色彩与第一张图像相匹配。8.3实践案例：人脸伪造第4步：融合面部特征。创建一个融合掩码，然后将第二张经过变换和色彩校正的图像叠加到第一张图像上，特别是将第二张图像的面部特征区域融合到第一张图像上。在融合过程中要确保边缘平滑，使得合成后的图像看起来自然无痕迹。8.3实践案例：人脸伪造实践核心代码：

使用dlib的人脸检测器和68点特征点预测器，检测输入图像中的人脸并提取关键特征点（如眼睛、鼻子、嘴巴等），其代码如下：8.3实践案例：人脸伪造

根据两组特征点的均值、标准差和奇异值分解（SVD），计算仿射变换矩阵，用于将第二张图像对齐到第一张图像的特征点位置，其代码如下：8.3实践案例：人脸伪造

通过凸包（ConvexHull）填充关键区域（如眼睛、鼻子、嘴巴），生成面部掩码，并进行高斯模糊以实现边缘平滑过渡，其代码如下：8.3实践案例：人脸伪造

使用仿射变换矩阵将第二张图像（im2）扭曲到第一张图像（im1）的坐标空间，实现面部对齐，其代码如下：8.3实践案例：人脸伪造

通过高斯模糊对两张图像进行颜色校正，使替换后的面部色调与目标图像一致（基于眼部距离调整模糊强度），其代码如下：8.3实践案例：人脸伪造实践结果:

经代码伪造后的图片如8-16所示：8.3实践案例：人脸伪造内容提纲8.3实践案例：人脸伪造8.2伪造攻击原理8.1伪造攻击概述8.4实践案例：基于Tacotron2的语音合成8.5伪造攻击防护小结8.6实践案例：基于逆扩散的伪造溯源实践目的：1.学习和理解语音合成模型的基本原理，了解从文本到语音的转换过程，包括文本编码、说话人特征提取、频谱图生成和波形重建。掌握Tacotron2和WaveNet模型的架构、工作原理及其在语音合成中的应用。2.实现和理解TTS系统，实现说话人编码器模型，从短时语音片段中提取固定长度的说话人嵌入向量。实现Tacotron2模型，将输入的文本和说话人嵌入向量转换为梅尔频谱图。实现WaveNet模型，将生成的梅尔频谱图转换为高质量的时域音频波形。3.了解模型训练，了解如何准备训练数据，包括文本-语音对和梅尔频谱图。了解如何应用损失函数（如L1损失和L2损失）来衡量生成的音频波形与目标音频波形之间的差异。。8.4实践案例：基于Tacotron2的语音合成实践环境：Python版本：3.8.19或更高版本深度学习框架：Pytorch2.3.0运行平台：PyCharm8.4实践案例：基于Tacotron2的语音合成实践步骤：

该案例的一般步骤如图8-18所示。8.4实践案例：基于Tacotron2的语音合成

第1步：加载与初始化语音合成模型组件。首先，通过命令行参数解析确定各模型路径和设备配置（CPU/GPU）。分别加载预训练的说话人编码器模型，用于提取说话人嵌入向量；初始化并加载Tacotron2合成器模型，用于将文本转换为梅尔频谱图；最后加载WaveRNN声码器模型，将梅尔频谱图转换为音频波形。过程中检测GPU可用性并完成模型参数加载与评估模式设置。8.4实践案例：基于Tacotron2的语音合成

第2步：输入处理与梅尔频谱生成。用户输入音频文件路径后，加载原始音频，经预处理（重采样、归一化）后，提取说话人嵌入向量。随后，用户输入待合成的文本，合成器将文本序列（经text_to_sequence转换）与说话人嵌入结合，生成对应的梅尔频谱图。此过程包含序列填充、批量推理及停止阈值判断，确保频谱图长度适配声码器输入。8.4实践案例：基于Tacotron2的语音合成

第3步：波形合成与结果输出。将生成的梅尔频谱图输入WaveRNN声码器，进行波形重构，期间可能应用归一化、分块生成等技术优化计算效率。生成的波形经后处理（填充、重采样）后，通过sounddevice播放音频，并保存为WAV文件（如demo_output_00.wav）。同时，可视化梅尔频谱图以辅助调试，异常处理模块捕获运行时错误并重启流程，确保系统鲁棒性。8.4实践案例：基于Tacotron2的语音合成

核心代码：执行音频嵌入的推理任务，对语音进行特征提取和生成嵌入向量，代码如图所示：8.4实践案例：基于Tacotron2的语音合成

实现一个基于Tacotron模型的文本到语音合成器类TextToSpeechSynthesizer负责加载训练好的Tacotron模型并使用它将文本输入转换为音频的梅尔频谱图。提供多个辅助函数来加载模型、处理音频文件、生成梅尔频谱图、以及处理输入数据的填充操作，代码如图所示：8.4实践案例：基于Tacotron2的语音合成

加载并使用WaveRNN模型来生成语音波形，通过不同函数加载模型权重，并根据设备选择在CPU或GPU上运行；检查模型是否已加；根据输入的梅尔频谱图生成语音波形，支持归一化和批处理选项。代码如图所示：8.4实践案例：基于Tacotron2的语音合成

实践结果：克隆音频，并输出“HelloLisa,IamalsofromBeijingUniversityofPostsandTelecommunications。”发现可以成功地克隆声音，如图8-19所示。8.4实践案例：基于Tacotron2的语音合成

对demo.py进行修改，使用matplotlib展示频谱图，如图8-20所示。8.4实践案例：基于Tacotron2的语音合成

在合成Person1的音频时，生成的梅尔频谱图如图8-21所示：8.4实践案例：基于Tacotron2的语音合成内容提纲8.3实践案例：人脸伪造8.2伪造攻击原理8.1伪造攻击概述8.4实践案例：基于Tacotron2的语音合成8.5伪造攻击防护小结8.6实践案例：基于逆扩散的伪造溯源

随着深度伪造技术的快速发展，人脸伪造检测技术也迅速崛起，成为计算机视觉与多媒体安全领域的核心研究方向。检测技术的核心目标，是通过分析合成内容中隐含的生成痕迹，实现对伪造内容的精准辨识。随着研究不断深入，检测方法已从早期基于手工特征的模型，逐步发展为融合空域纹理分析、频域噪声模式挖掘及时序运动建模的多维度解决方案。8.5伪造攻击防护

这些方法不仅推动了算法性能的显著提升，也为构建可解释、可泛化的检测框架提供了理论基础。伪造检测技术的具体分类如图8-22所示。8.5伪造攻击防护

图像视频伪造检测：图像级伪造检测方法是指对待检图像或视频中的单帧图像进行检测，而视频级伪造检测则是根据伪造视频的前后帧之间的光照、纹理等存在的比较明显的不一致现象展开的。根据检测方法原理的不同，该技术可分为基于空域的检测方法、基于频域的检测方法和基于时空特征的检测方法。8.5伪造攻击防护

深度伪造检测技术的发展高度依赖于高质量、多样化的数据集，这些数据集不仅为模型训练提供基础，还为算法性能评估与跨场景泛化能力验证提供了标准基准。根据生成技术、数据规模及挑战性，现有数据集可分为以下几个，如表8-1所示。8.5伪造攻击防护(1)基于空域的检测方法

基于空域的检测算法以图像的像素空间为建模对象，主要关注图像的局部纹理、结构和特征。这类算法通常基于传统图像处理技术和深度神经网络，通过学习真实人脸图像和伪造人脸图像的差异性以区分待测图像。早期一些在图像分类领域表现优秀的模型如Xception、EfficientNet等，在伪造检测任务上也表现出不错的性能。8.5伪造攻击防护Zhao等人提出利用注意力机制进行细粒度分类，使用多个空间注意力头，使网络注意到不同的局部信息；设计纹理特征增强块，用于放大浅层特征中的子纹理瑕疵；在注意图的指导下，聚集低层次的纹理特征和高层次的语义特征。其网络结构如图8-23所示8.5伪造攻击防护

然而，此类方法主要从生成新的面部及一部分周围区域这一步骤进行鉴别，通过检测换脸过程中产生的瑕疵，确定图像的真伪，但是，这一瑕疵并不唯一确定，不同的换脸算法合成时造成的瑕疵大相径庭，所以鉴别方法泛化能力差。为解决这一问题，Li等提出FaceX-Ray模型8.5伪造攻击防护

文章选取HRNet作为模型的主干网络，其结构如图8-24所示，FF++数据集作为训练集，测试集为：DFD、DeepfakeDetection、DFDC、Celeb-DF。8.5伪造攻击防护(2)基于频域的检测方法

虚假图像在网络传播过程中，经过多次压缩会丢失大量空域中的伪造痕迹，导致基于图像空域的检测算法性能急剧下降。因此，从图像频域出发，尝试挖掘新的伪造检测线索。8.5伪造攻击防护(3)基于时空特征的检测方法

基于帧间时空特征融合的检测方法综合考虑视频中不同帧之间的关联，提高伪造视频的检测效果。首先，帧间关系建模允许算法捕捉视频中关键的运动模式，揭示可能存在的伪造痕迹。这种对运动信息的深入分析使得算法能够更加敏感地察觉伪造视频中潜在的不自然动态行为，从而提高检测的灵敏度。8.5伪造攻击防护

其次，时空特征提取使得系统能够同时考虑视频序列中的时序信息和空间特征，比如伪造视频中时序不一致性的问题，如图8-26所示。8.5伪造攻击防护"FaceForensics++"框架是基于3D-CNN（如I3D网络）提取视频的时空特征，通过分析连续帧的面部运动模式（如眨眼频率、嘴唇同步性）检测伪造视频。在FaceForensics++数据集上验证了时序特征对Face2Face和NeuralTextures伪造方法的敏感性。8.5伪造攻击防护Güera和Delp提出“RNN+CNN混合模型”[15]，流程如图8-27所示，结合CNN提取单帧空域特征（如面部纹理），再用RNN（LSTM单元）建模帧间时序关系，捕捉伪造视频中运动不连贯性（如头部转动突变）。在UADFV和Deepfake-TIMIT数据集上实现高精度检测。8.5伪造攻击防护

二、语音伪造检测

随着语音合成与转换技术的快速发展，伪造语音的逼真度已逼近人类听觉分辨极限，这对检测技术提出了更高要求。当前，构建具有多样性、挑战性的语音伪造数据集成为推动该领域进步的核心基础。数据集对比如表8-2所示。8.5伪造攻击防护

语音检测模型通常由两个模块组成：前端特征提取和后端分类器。基于深度学习的系统前端提取输入神经网络的语音特征，后端通过神经网络学习特征的高级表示，进行分类判决，其结构如图8-28所示。8.5伪造攻击防护

前端工作主要研究如何提取伪造语音中可区分于真实语音的特征以输入后端进行判决（如伪造语音通常缺少频谱和时间细节信息），目前伪造语音检测的常用特征主要分为三大类：频谱特征、身份特征和原始波形，如图8-29所示8.5伪造攻击防护

三、基于多模态的检测方法

随着深度伪造技术的不断发展，传统的单一模态检测方法面临着越来越大的挑战。为了提高对伪造视频的检测效果，研究者们尝试提取多模态特征并进行有效整合，以提高检测算法的泛化性和鲁棒性。多模态信息通常包括视频空域、频域、时域以及音频等多种类型的信息。通过挖掘各种模态信息中潜在的伪造痕迹，并基于各模态信息之间的联系对其进行综合分析，可以更准确地揭示视频的真伪。8.5伪造攻击防护内容提纲8.3实践案例：人脸伪造8.2伪造攻击原理8.1伪造攻击概述8.4实践案例：基于Tacotron2的语音合成8.5伪造攻击防护小结8.6实践案例：基于逆扩散的伪造溯源

实践目的：1.理解扩散模型的基础原理，学习去噪扩散概率模型（DDPM）的正向/反向过程，掌握扩散模型与去噪自编码器（DAE）的等价性2.掌握特征提取技术，学习如何利用预训练扩散模型（如DDIM）作为特征提取器，生成扩散模型激活（DMA），理解其在模型归属任务中的作用。3.掌握分类器设计，通过DMA训练分类器（如ResNet-50），实现多类别模型归属任务，熟悉分类任务的评估指标（ACC、F1-Score等）。4.框架无关性与自给性，理解MAID无需依赖模型框架（GAN/DM）和外部信息（如提示词）的设计理念，思考其在开放场景中的实际价值。8.6实践案例：基于逆扩散的伪造溯源实践环境：Python版本：3.8.19或其他可兼容版本深度学习框架：Pytorch2.3.0运行平台：PyCharm预训练模型：DDIM、StableDiffusionv1.4、DiT、DeepFloydIF-I-M-v1.0、LDM数据集：DiffusionForensics、Artifact和GenImage8.6实践案例：基于逆扩散的伪造溯源实践步骤：

该案例的一般步骤如图8-30所示。8.6实践案例：基于逆扩散的伪造溯源

第1步：加载与初始化扩散模型组件。首先，通过命令行参数解析，确定模型路径和设备配置（CPU/GPU）。根据参数选择相应的扩散模型（如DDIM、IF、LDM、SD或DiT），并初始化对应的特征提取器。加载预训练的扩散模型权重，设置模型至评估模式（eval()），确保能够在推理阶段稳定运行。此阶段主要包括加载模型架构、设置优化器和调整输入尺寸，确保输入图像与模型配置匹配。8.6实践案例：基于逆扩散的伪造溯源

第2步：输入图像处理与特征提取。用户输入待溯源的图像后，首先进行标准化和尺寸调整（如归一化、缩放），以适配扩散模型的输入规范。然后，将输入图像与时间步t=0一起输入扩散模型，触发逆扩散过程。通过扩散模型的去噪器生成初始噪声预测值，并在此基础上提取扩散模型激活（DiffusionModelActivation,DMA）。DMA特征表示了源模型在生成过程中残留的“签名”特征，是模型溯源的关键依据。8.6实践案例：基于逆扩散的伪造溯源

第3步：分类与溯源判断。将提取的DMA特征输入至分类器（ResNet-50）中，分类器基于训练好的特征分布，推断输入图像的生成来源（如GAN、DiffusionModels或真实图像）。分类器输出源模型类别标签，并生成对应的置信度评分。同时，系统可在输出前进行异常检测，确保分类结果的稳定性和一致性。输出包括溯源结果、特征可视化（如DMA图示）、分类分数及其他元数据，供进一步分析与验证。8.6实践案例：基于逆扩散的伪造溯源

第4步：异常处理与系统反馈。在特征提取或分类过程中，系统监控运行状态，捕获可能的异常（如GPU超载、输