CN119516054A 一种基于大模型可学习文本潜码的说话数字人生成方法 （电子科技大学）

一种基于大模型可学习文本潜码的说话数本发明公开了一种基于大模型可学习文本若干人脸语音视频并提取训练样本构成训练样2对于每对语音数据和人脸视频数据，提取其人脸视频数据中每个视进行遮掩处理后作为姿势参考帧构成姿势参考视频Pr；然后从剩余视频帧中选取N帧视频帧作为身份参考帧构成身份参考视频Ir；将姿势参考视频Pr和身份参考视频Ir沿着通道维语音编码器用于对梅尔频谱图序列S进行特征提取，从得到的语音特征矩阵中筛选出姿势参考视频Pr所对应语音帧的特征向量构成语音特征ws发送至人脸编码器用于对包含2N个人脸视频帧的拼接视频F进行特征提取，将得到的人脸特图像编码器用于对嘴部参考图像Mr进行特征提取，将得到的嘴部图像特征cm发送至文文本特征学习模块用于根据嘴部图像特征cm和嘴部文本特征ct提取得到文本潜码c并语音联合学习空间模块用于采用下述公式将文本潜码c注入语音特征ws得到优化语音人脸联合学习空间模块用于采用下述公式将文本潜码c注入人脸特征wf得到优化人脸特征拼接模块用于将优化语音特征和优化人脸特征进行拼接，然后S3：采用步骤S1得到的训练样本集对步骤S2构建的通用说话数字人生成模型进行训S4：当需要生成说话数字人视频时，先对待生成语3嘴部图像特征加噪模块用于在嘴部图像特征cm中添加高斯噪声Ga，得到加噪嘴部图像嘴部文本特征加噪模块用于在嘴部文本特征ct中添加高斯噪声Ga，得到加噪嘴部文本第一特征相乘模块用于将特征c1和特征w1进行相乘，得到融合特征z1并发送至第一特融合特征提取模块用于对融合特征z2进行特征提取，得到特征w2并发送至第二特征相4第二特征相乘模块用于将特征z3和特征c3进行相乘，得到融合特征z3并发送至第二特第三特征求和模块用于将输入的特征w和特征z4进行求和，得到优化特征wc并进行输Loss=λtsvLtsv+λlriLlri+λlslLlsl+λ1L1+λgenLgen+λdisLdis分别将当前训练样本生成的N个说话人脸视频帧插入原人脸视频数据V，用于替换N个姿势网络，根据唇部动作识别出单词矩阵A'eRC,与语音数据中提取单词矩阵AeRC进行其中，Ai,j、Ai/,j分别表示单词矩阵A、A/中第i个单词属于第j个类别的概率，i＝1,其中，表示语音编码器对当前训练样本中的第n个姿势参考视频所提取得到的中间音频特征，表示唇读网络对当前训练样本样本生成的第n个说话人脸视频帧所提取的中5L=Ε[log(1_D(x9))]L=Ε[log(1_D(x))]+Ε[logn6为两大类：针对个人的特定说话数字人生成方法和针对任何人的通用说话数字人生成方LS)以及阅读清晰度(ReadingITFG领域，目前有少数工作尝试将CLIP模型用于情感特征的提取来增加说话数字人的表情[0004]但是目前的通用说话数字人方法很难在保持良好视觉质量的同时提高阅读清晰度和唇音一致性，并且从有限的语音人脸数据对中学到的特征很难适应不同说话者的口真实)也会影响生成的说话人视频的性能。这一问题可以通过跳跃连接和生成式对抗网络7部分进行遮掩处理后作为姿势参考帧构成姿势参考视频Pr；然后从剩余视频帧中选取N帧视频帧作为身份参考帧构成身份参考视频Ir；将姿势参考视频Pr和身份参考视频Ir沿着通[0013]语音编码器用于对梅尔频谱图序列S进行特征提取，从得到的语音特征矩阵中筛选出姿势参考视频Pr所对应语音帧的特征向量构成语音特征ws发送至语音联合学习空间模[0014]人脸编码器用于对包含2N个人脸视频帧的拼接视频F进行特征提取，将得到的人[0015]图像编码器用于对嘴部参考图像Mr进行特征提取，将得到的嘴[0016]文本编码器用于对预设的嘴部文本提示T进行特征提取，将得到的嘴部文本特征[0017]文本特征学习模块用于根据嘴部图像特征cm和嘴部文本特征ct[0018]语音联合学习空间模块用于采用下述公式将文本潜码c注入语音特征ws得到优化[0019]人脸联合学习空间模块用于采用下述公式将文本潜码c注入人脸特征wf得到优化[0020]特征拼接模块用于将优化语音特征和优化人脸特征进行8块，整合从高度对齐的数据对中获得的语音视觉特征和基于广泛数据的稳健文本图像特[0029]图1是本发明基于大模型的可学习文本潜码通用说话数字人生成方法的具体实施[0032]图4是本实施例中对采用本发明生成的两段生成人脸对话视频进行均匀采样的结9[0035]图1是本发明基于大模型的可学习文本潜码通用说话数字人生成方法的具体实施频谱图的具体参数可以根据实际需要设置，本实施例中跳变和窗口长度分别为125毫秒和[0043]语音编码器用于对梅尔频谱图序列S进行特征提取，从得到的语音特征矩阵中筛选出姿势参考视频Pr所对应语音帧的特征向量构成语音特征ws发送至语音联合学习空间模[0044]人脸编码器用于对包含2N个人脸视频帧的拼接视频F进行特征提取，将得到的人[0045]图像编码器用于对嘴部参考图像Mr进行特征提取，将得到的嘴[0047]文本特征学习模块用于根据嘴部图像特征cm和嘴部文本特征ct[0049]嘴部图像特征加噪模块用于在嘴部图像特征cm中添加高斯噪声图像特征并发送至第一点乘模块。本实施例中高斯噪声Ga采用符合正态分布的高斯噪[0050]嘴部文本特征加噪模块用于在嘴部文本特征ct中添加高斯噪声[0051]第一点乘模块用于对加噪嘴部图像特征和加噪嘴部文本特征进行点乘操作，[0053]第二点乘模块用于对嘴部权重λ和加噪嘴部文本特征进行点乘操作，得到文本[0054]语音联合学习空间模块用于采用下述公式将文本潜码c注入语音特征ws得到优化[0055]人脸联合学习空间模块用于采用下述公式将文本潜码c注入人脸特征wf得到优化[0057]第一文本潜码特征提取模块用于对文本潜码c进行特征提取，将得到的特征c1发[0058]第二文本潜码特征提取模块用于对文本潜码c进行特征提取，将得到的特征c2发[0059]第三文本潜码特征提取模块用于对文本潜码c进行特征提取，将得到的特征c3发[0060]第四文本潜码特征提取模块用于对文本潜码c进行特征提取，将得到的特征c4发[0063]第一特征相乘模块用于将特征c1和特征w1进行相乘，得到融合特征z1并发送至第[0065]融合特征提取模块用于对融合特征z2进行特征提取，得到[0066]第二特征相乘模块用于将特征z3和特征c3进行相乘，得到融合特征z3并发送至第[0069]特征拼接模块用于将优化语音特征和优化人脸特征进行拼接，然后将拼接[0070]人脸生成器用于根据拼接特征W生成N个说话人脸视频帧，构成说话数字人视[0071]人脸鉴别器用于对输入的姿势参考视频帧和生成的说话人脸视频帧分别进行鉴[0073]采用步骤S101得到的训练样本集对步骤S102构建的通用说话数字人生成模型进[0080]将当前训练样本生成的N个说话人脸视频帧插入原人脸视频数据V，用于替换N个唇读网络，根据唇部动作识别出单词矩阵A'eRC,与语音数据中提取单词矩阵AeRC中间音频特征，表示唇读网络对当前训练样本样本生成的第n个说话人脸视频帧所提取[0091]计算当前训练样本中N个姿势参考帧所对应的原始帧和所生成的N个说话人脸视[0095]与普通生成对抗网络类似，本发明通用说话数字人生成[0099]Loss=λtsvLtsv+λlriLlri+λlslLlsl+λ1L1+λgenLgen+λdisLdisdis分别表示对应损失函数的权重。rM/和参考视频F/输入训练好的通用说话数字人生成模型，生成长度为N的说话数字人视r[0104]本实施例使用了两个视听数据集LRS2和LRW来验证提出方法的性能，这两个数据[0106]Wav2Lip和Wav2Lip_2，详情参见文献“KRPrajwal,RudrabhaMukhopadhyay,VinayPNamboodiri,andCVJawahar.AlipsyncexpertisallyouneedforRobbyTTan,andHaizhouLi.Seeingwhatyousaid:Talkingfacegeneration[0109]本实施例中采用了三套评估指标来评价本发明和对比方法的性能：(1)评价视觉