大模型技术与应用课件 第7章 基于Bert-VITS2的语音转换

第7章

基于Bert-VITS2的语音转换CONTENTS目录01

Bert-VITS2模型概述02

数据集准备与处理03

数据集切割与标注04

音频处理与数据集划分CONTENTS目录05

BERT与CLAP文件生成06

模块定义与训练07

推理与效果展示08

总结与展望01Bert-VITS2模型概述语音转换背景与意义语音识别与生成的重要性

语音识别与生成是人工智能领域的重要应用，在诸多场合都有语音和文字相互转换的需求，为信息交互提供了便捷方式。Bert-VITS2模型的应用价值

Bert-VITS2模型结合BERT和VITS2的优势，能实现高质量、高效率的文本到语音转换，在语音合成领域具有显著应用价值。本章学习目标

了解语音转换相关技术与Bert-VITS2模型概念等；理解其语音转换原理、方法和实现；掌握思路方法并能部署应用；通过案例获取实践经验。Bert-VITS2模型的发展历程01BERT的提出与发展2018年，Google提出BERT模型，采用双向Transformer编码器，通过掩码语言模型（MLM）生成深层双向语言表征，在NLP领域多项任务取得state-of-the-art性能，且成功应用至今。02VITS2的提出与发展2022年，OpenAI提出VITS2模型，基于变分推断实现文本到语音转换，采用对抗学习训练持续时间预测器，自提出以来经不断改进优化，在语音合成流畅度等方面性能显著提升。03Bert-VITS2模型的形成背景Bert-VITS2模型的发展源于自然语言处理（NLP）和语音合成（TTS）两大领域的研究进展，是BERT和VITS2结合的产物。BERT模型原理与结构

核心原理采用双向Transformer编码器，能更好捕捉上下文信息；通过掩码语言模型（MLM）对部分词汇遮蔽并预测，学习词汇和短语信息；下一句预测（NSP）判断两句子是否连续，理解句子关系和文本结构。

主体结构由多层Transformer结构堆叠而成，输入为token对应的表征，单词字典采用WordPiece算法构建，输入序列开头插入特定分类token（[CLS]）聚集序列表征信息。

输入方式通过在序列tokens中插入分割token（[SEP]）分开不同句子tokens，并为每个token表征添加可学习的分割Embedding指示所属句子，以适应包含一句话或多句话的输入序列。VITS2模型核心组件先验编码器包含文本编码器和标准化流，文本编码器为基于相对位置编码的Transformer编码器，最后一层添加线性投影层生成先验分布的均值和方差，标准化流含WaveNet残差块，多人模型时可添加说话人向量。后验编码器训练时以线性谱为输入输出隐变量z，推理阶段隐变量z由流模型产生，采用WaveGlow和Glow-TTS中的非因果WaveNet残差模块，多人模型时可将说话人向量添加到残差模块。解码器与鉴别器解码器结构与HiFi-GANV1生成器相同，多人模型时将说话人向量线性变换后与隐变量z拼接；鉴别器类似于switch语句，根据不同字段选择不同resultMap进行映射。Bert-VITS2模型工作流程

整体流程首先利用BERT模型对输入文本进行编码，得到丰富的文本表示，然后将其输入到VITS2模型中进行解码，生成自然流畅的语音波形，充分结合BERT的文本理解能力和VITS2的语音合成能力。

协同作用BERT负责深入理解文本语义，为语音合成提供高质量的文本编码信息；VITS2则凭借其变分推断和对抗学习等技术，将文本编码准确转换为高质量语音，两者协同实现高效文本到语音转换。

应用场景可应用于智能语音助手，提供自然语音交互；语音导航系统，提供清晰导航指引；教育培训领域，提供个性化语音学习工具；媒体娱乐产业，提供高质量语音合成服务等。02数据集准备与处理数据集来源与要求

数据集基本要求为保证训练效果，数据集音频总时间长度需不小于30分钟，以确保模型能充分学习语音特征。

中文数据集选用本项目采用中文数据集进行训练，数据来源于相关网络，涵盖丰富的中文语音样本。

训练角色声音情况本次训练针对四位人物（A、B、C、D）的声音展开，旨在实现特定角色的语音转换效果。音频数据预处理——UVR5模型应用

UVR5模型功能UVR5是基于深度神经网络的乐器分离软件，擅长准确分离音频中的人声与其他声部，在模型生成质量和可选择性上优势显著。

UVR5处理流程从网站获取数据集并缓存到本地后，找出音频文件夹，通过UVR5模型对音频数据进行处理，分离出清晰人声。

处理界面展示UVR5模型处理音频数据界面如图7.4所示，为用户提供直观操作环境，助力高效完成人声分离，为后续训练奠定高质量数据基础。03数据集切割与标注音频信号均方根计算

计算目的：获取音频能量信息在信号处理领域，RMS值用于表示音频信号的功率或强度，比峰值更能反映信号整体能量水平，为音频分段切分提供关键依据。

核心程序代码通过自定义get_rms函数实现，接收音频波形y，设置frame_length（帧长）、hop_length（跳长）等参数，对音频切片、填充后计算每帧能量均值并开方，输出各帧RMS值。

在音频分段中的作用依据RMS值可判断不同时间段音频能量分布，识别非静音区域，为后续精准切割音频片段提供数据支持，确保切割依据的科学性。音频切分实现——Slicer类

01核心功能：去除静音并切片Slicer类是自定义工具类，主要功能为根据参数去除音频静音部分，将音频切成多个小片段，便于后续处理与分析。

02关键步骤：从检测到切片先检查音频维度，多声道取均值统一处理；计算RMS值反映能量水平；依据RMS值与阈值确定静音位置；根据静音位置切片，保留非静音部分并返回片段列表。

03核心代码解析slice方法中，通过遍历RMS列表确定静音起止位置，结合min_length、min_interval等参数，调用_apply_slice方法完成切片，实现自动化静音去除与片段划分。音频自动切分——AutoSlicer类

auto_slice方法：自动切片控制接收文件名、输入输出目录及max_sec参数，调用Slicer类对音频切片，确保每个片段时长不超max_sec，处理后删除临时文件，提升大量音频处理效率。

merge_short方法：合并短音频片段遍历输出目录音频，将时长小于min_sec的片段合并，直至达到max_sec限制或无法合并，合并后片段达min_sec则保存，保证音频片段时长符合要求。

slice_count方法：统计切分结果统计输入目录音频总时长，输出目录音频数量、最大/最小/总时长等数据，为用户提供切片后音频情况的量化信息，方便了解数据处理效果。

文件组织：切分结果存储系统将切分后数据集复制到单独文件夹，使数据管理更有序，便于模型后期训练时直接调用，提升工作流程的顺畅性。数据标注流程与实现标注目的：辅助模型准确学习数据标注为模型训练提供准确学习依据，通过脚本实现自动化标注，确保模型能精准识别音频对应的文本等关键信息。关键步骤：从文件处理到结果生成先重命名原始音频，包含角色名与数字标识符，便于管理；设置音频文件信息，读取已处理文件列表；创建ASR处理流程，使用达摩院模型进行语音识别；遍历处理音频文件列表，输出识别文本并写入标注文件。标注结果文件标注完成后，在目标文件夹生成long_character_anno.txt和speaker.list等文件，前者记录音频路径、角色名及标注文本，后者包含更详细的语音识别结果信息。04音频处理与数据集划分音频重采样音频重采样的原因不同处理器、算法或模型可能要求特定采样率，为兼容处理流程需重采样；降低采样率可减少文件大小，节省存储空间和带宽；同时能适应不同设备平台，改善音频质量。process()函数实现定义process()函数处理单个音频文件，接收包含目录、文件名及参数的item，构建音频路径，用librosa.load()按指定采样率加载音频，再通过soundfile.write()写入目标目录完成重采样。任务列表构建与处理遍历输入目录及子目录，构建每个WAV文件的处理任务元组（子目录、文件名、参数），使用进程池并行处理任务，处理完关闭进程池，输出重采样完成消息，提升处理效率。标注数据清洗与划分命令行参数定义包括--transcription-path（原始文本路径）、--cleaned-path（清洗后路径）、--train-path（训练集路径）、--val-path（验证集路径）等，控制脚本行为，如数据清洗开关、验证集数量及上限等。数据清洗过程读取清洗后文本，解析每行信息，检查音频文件是否存在及是否重复，过滤不存在和重复音频文本，输出警告信息，确保数据质量，为后续划分提供可靠数据。训练集与验证集划分初始化列表，按语言遍历数据，打乱后按比例分配验证集和训练集，若验证集超上限则修剪，将数据写入对应文件，更新配置文件中说话者映射及数量，保证划分随机性与合理性。05BERT与CLAP文件生成生成BERT文件生成BERT文件的意义使用BERT模型生成bert.pt文件，可将输入文本映射成高维语义向量，保存文本数据的语义表示，为后续模型训练提供关键特征，有助于提升模型性能。commons模块核心函数包含init_weights（初始化神经网络权重）、get_padding（计算卷积填充量）、kl_divergence（计算高斯分布KL散度）等函数，为BERT特征提取提供基础功能支持。BERT隐藏特征提取与文件生成通过tokenizer处理文本，调用BERT模型获取隐藏层状态并拼接归一化，结合word2ph调整特征与音节对应，最终生成bert.pt文件，如图7.7所示，为模型训练提供文本语义特征。生成CLAP文件

CLAP方法的作用CLAP是音频表示学习方法，通过对比学习捕捉音频语义和语境信息，提升模型对音频内容的理解能力，进而增强语音合成的质量。

CLAP文件生成过程从输入文本提取音频路径、语言、文本等信息，用librosa加载音频，应用CLAP模型提取特征并保存为.emo.pt文件；读取训练和验证文件内容，通过多进程并行处理生成CLAP文件。

CLAP执行结果与性能提升运行结果如图7.8所示，成功生成指定数量的emo.pt文件。CLAP特征为模型提供音频语义信息，有效提升语音合成的自然度和准确性。06模块定义与训练DurationDiscriminator模块

模块作用用于声音合成系统中，判别真实语音持续时间与预测语音持续时间之间的差异，以提升语音合成系统中持续时间预测的准确性。

核心结构基于深度学习技术，使用卷积神经网络（CNN）和长短时记忆网络（LSTM），包含卷积层、规范化层、Dropout层、LSTM网络及输出层等。

核心方法forward_probability方法：连接持续时间特征和输入特征，通过LSTM网络处理，输出匹配概率；forward方法：预处理输入特征，分别计算真实与预测持续时间的匹配概率。TransformerCouplingBlock类

类的作用在变换流变换中增加或减少特征的复杂性，通过自注意力机制调整数据特征表示，结合条件输入引导特征调整，适用于复杂数据处理。

主要组成包含TransformerCouplingLayer和Flip层。TransformerCouplingLayer利用自注意力机制考虑长范围依赖；Flip层翻转特征维度，避免过度依赖特定特征表示。

forward方法正向传播时依次通过各层构建复杂特征表达；逆向操作时逆序调用各层实现特征解码还原，支持生成模型等应用场景。StochasticDurationPredictor类功能用途在生成模型中预测持续时间，利用多个流变换和卷积层建立复杂非线性模型，捕获持续时间数据的概率分布，用于训练和生成阶段。结构组成包含Log流、多个ConvFlow流、Flip层、卷积层（pre、proj、convs等）及后处理相关层（post_pre、post_convs等）。操作机制正向操作：处理输入持续时间，获得隐变量，计算负对数似然损失；反向操作：从随机噪声生成持续时间对数，用于生成阶段持续时间合成。其他关键模块

DurationPredictor类预测序列数据中每个时间步的“持续时间”，含卷积层、LayerNormalization层、Dropout层，通过卷积提取特征并映射到单通道输出。

ResidualCouplingBlock模块由多个ResidualCouplingLayer组成，通过残差连接和耦合机制更新输入数据，处理序列依赖关系，支持正向和逆向传播。

PosteriorEncoder类从输入序列提取关键信息，生成后验分布参数，含预处理层、编码模块（WN）和投影层，输出随机变量、均值、对数标准差及掩码。

DiscriminatorS模块GANs中的判别器组件，通过一系列卷积层提取特征，区分真实与生成数据，支持谱归一化，输出判别结果和特征映射。SynthesizerTrn模型与训练SynthesizerTrn模型与训练模型功能整合文本编码器、音频生成器、时长预测器和流模型，接收文本和语音特征序列，生成音频数据，支持条件编码及推理功能。训练核心采用分布式训练，循环遍历训练周期，rank为0的节点执行训练和评估，其他节点仅训练，结束时更新学习率，提高训练效率。训练流程涉及多个网络模型（生成器、判别器等）、优化器和调度器，通过最大化似然函数训练，利用持续时间预测器建模预测持续时间。07推理与效果展示推理实现——webui.py

WebUI推理启动方式通过执行webui.py文件开启模型推理功能，实现文本到语音的转换流程。

Web端展示核心优势降低用户使用门槛，无需复杂命令操作；提供直观交互界面，方便用户输入文本、选择参数及获取语音输出。

用户操作流程用户输入目标文本，系统调用Bert-VITS2模型处理，生成对应音色的语音波形并实时返回，完成“文本输入-语音输出”闭环。效果展示界面

界面功能布局包含文本输入框、音色选择区、参数调节面板及语音播放/下载按钮，布局清晰，操作便捷。

核心交互方式