鲁棒声纹识别的对抗防御-张晓雷

第四届声纹识别产业发展与创新研讨会鲁棒声纹识别的对抗防御Robustspeakerrecognitionagainstadversarialattacks一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御3声纹验证一、研究背景及研究意义声纹验证声纹认证声纹认证声纹日志声纹日志一、研究背景及研究意义声纹识别有广泛的应用空间声纹识别有广泛的应用空间国安与司法身份认证与安全会议日志与纪要国安与司法身份认证与安全声纹识别系统在遭受攻击时表现出一定的脆弱性声纹识别系统在遭受攻击时表现出一定的脆弱性45一、研究背景及研究意义声纹识别系统在遭受攻击时表现出一定的脆弱性声纹识别系统在遭受攻击时表现出一定的脆弱性一、研究背景及研究意义声纹对抗样本攻击不改变声纹统计特性声纹对抗样本攻击不改变声纹统计特性VoiceAssistants利用声纹识别系统本身的脆弱性，攻击方式具有隐蔽性利用声纹识别系统本身的脆弱性，攻击方式具有隐蔽性6一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御8二、声纹对抗样本攻击-研究现状优点缺点基于梯度/优化攻击成功率高、信噪对抗样本的时间长不需访问梯度，仅靠置信度或决策就可以攻击成功率较低；查询过多时容易被检测到基于生成网络测试阶段不需访问梯攻击成功率和信噪比难以平衡不需要访问目标模型结构，具有现实意义对抗样本迁移性弱，黑盒攻击成功率低注：白盒：攻击者了解被攻击的系统的细节黑盒：攻击者不了解被攻击的系统9二、声纹对抗样本攻击-关键科学问题与技术路线集成学习模型决策过程二、声纹对抗样本攻击-白盒攻击•Saliencymaploss:•Angularloss:Lf=(m)TmLangular=a(T212(Here,isthespeakerembeddingofvoice)L=fLf＋aLangular＋nLnorm＋SLspeaker提高白盒攻击的攻击能力提高白盒攻击的攻击能力二、声纹对抗样本攻击-白盒攻击同时提高了对抗样本的信噪比和攻击成功率，且具有高时效性同时提高了对抗样本的信噪比和攻击成功率，且具有高时效性11二、声纹对抗样本攻击-黑盒迁移攻击通过通过MDCT变换提高白盒攻击的黑盒迁移能力二、声纹对抗样本攻击-黑盒迁移攻击单模型攻击单模型攻击造成声纹识别系统的错误率（单模型攻击造成声纹识别系统的错误率（EER）达到44%二、声纹对抗样本攻击-黑盒迁移攻击多模型组合攻击多模型组合攻击造成声纹识别系统的错误率（多模型组合攻击造成声纹识别系统的错误率（EER）达到65%一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御三、声纹对抗样本防御-研究现状优点缺点研究方向声纹识别模型模型训练规模大，对抗样本造成声纹识别模型精度下降、泛化能力依赖于所使用的对抗攻改进训练数据的合成方法对任何样本都对任意样本都进行语音纯化），系统性能下降，泛化能力依赖于所使用的对抗攻击种类提高语音纯化质量被误判的纯净样本会被丢弃注1：混合训练和纯化本质相同，但是混合训练需要修改声纹识别模型7三、声纹对抗样本防御-纯化防御178三、声纹对抗样本防御-纯化防御28白盒攻击结果黑盒攻击结果纯净语音三、声纹对抗样本防御-纯化防御3提高纯化防御的泛化能力是未来亟待解决的关键问题提高纯化防御的泛化能力是未来亟待解决的关键问题0三、声纹对抗样本攻防-对抗样本检测10掩模方法基于规则的掩模1基于规则的掩模2掩模方法22三、声纹对抗样本防御-对抗样本检测2对攻击方法具有通用性22verification,,IEEE/ACMTASLP2023.三、声纹对抗样本防御-对抗样本检测22种声纹识别系统5种比较方法防御能力相对提高超过防御能力相对提高超过30%一、研究背景及研究意义二、声纹对抗样本攻击三、声纹对抗样本防御•声纹对抗攻击•基于显著性检测的对抗样本生成•黑盒迁移攻击•基于MDCT变换的对抗样本迁移性增强法•声纹对抗防御•