CN113851131B 一种跨模态唇语识别方法 （西安电子科技大学广州研究院）

映射。本方法在无需额外人为标注数据的前提2对于视频数据，首先识别脸部的68个关键点，并通过仿射变换将每重复以上S21-S24直到学习率衰减后连续多轮训练内损失函数值不再降低，即模型收所述第一递归神经网络模块用于建立唇部动作的长时依赖所述第一说话人特征提取模块用于提取不同说话人所述第一属性学习模块用于利用已获得的说话人唇形特征消除不同说话人的唇形差所述对比学习模块用于使用跨音视频数据的自监督对比学习方法，使所述第二递归神经网络模块用于强化经过对比学习层的视频中间特征S序列的上下文所述第一注意力模块用于在时域中通过对第二递归神经网络模块输出的不同时间点所述第一映射模块用于将第一注意力模块输出的最终唇部运动特征映射到文3所述2D卷积模块用于对梅尔倒谱特征进行短时语音特所述第三递归神经网络模块用于建立语音特征的长时依赖所述第二说话人特征提取模块用于提取不同说话人所述第二属性学习模块用于利用已获得的说话人音色特征消除不同说话人的音色差所述第四递归神经网络模块用于强化经过对比学习模块的音频中间特征S序列的上下所述第二注意力模块用于在时域中通过对第四递归神经网络模块输出的不同时间点所述第二映射模块用于将第二注意力模块输出的最终音频特征映射到文括基于带ReLU激活函数的多层感知机的非线性4[0013]重复以上S21-S24直到学习率衰减后连续多轮训练内损失函数值不再降低，即模5[0019]所述第一属性学习模块用于利用已获得的说话人唇形特征消除不同说话人的唇[0021]所述第二递归神经网络模块用于强化经过对比学习层的视频中间特征S序列的上[0022]所述第一注意力模块用于在时域中通过对第二递归神经网络模块输出的不同时[0023]所述第一映射层用于将第一注意力模块输出的最终唇部运动特征映射到文本域[0029]所述第二属性学习模块用于利用已获得的说话人音色特征消除不同说话人的音[0030]所述第四递归神经网络模块用于强化经过对比学习模块的音频中间特征S序列的[0031]所述第二注意力模块用于在时域中通过对第四递归神经网络模块输出的不同时6跨音视频数据自监督学习方法，在音频信息的指导下帮助唇语模型获取更好的视觉特征，[0039]利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限[0052]重复以上S21-S24直到学习率衰减后连续多轮训练内损失函数值不再降低，即模跨音视频数据自监督学习方法，在音频信息的指导下帮助唇语模型获取更好的视觉特征，7[0059]所述第一属性学习模块用于利用已获得的说话人唇形特征消除不同说话人的唇[0061]所述第二递归神经网络模块用于强化经过对比学习层的视频中间特征S序列的上[0062]所述第一注意力模块用于在时域中通过对第二递归神经网络模块输出的不同时[0063]所述第一映射层用于将第一注意力模块输出的最终唇部运动特征映射到文本域[0070]区分度更高的唇部动作特征->第二递归神经网络模块->上下文联系更紧密的高[0071]上下文联系更紧密的高区分度唇部动作特征->第一注意力模块->忽略不发音的[0078]所述第二属性学习模块用于利用已获得的说话人音色特征消除不同说话人的音[0079]所述第四递归神经网络模块用于强化经过对比学习模块的音频中间特征S序列的[0080]所述第二注意力模块用于在时域中通过对第四递归神经网络模块输出的不同时8[0084]音频短时特征->第三递归神经网络模块->音频长时依赖关系、音频序列总体特[0089]上下文联系更紧密的音频中间特征->第二注意力模块->忽略不发音的音频中间于自监督的对比学习方法，利用具有更好区分度的音频信息来提高模型对视觉输入信号，[0101]对获得的中间特征S运用属性学习归一化不同说话人的唇形差异使模型获取跨说9射不满足单射且满射的关系，因此我们使用带ReLU激活函数的多层感知机(MLP)设计了一用联结主义时间分类损失(ConnectionistTemporalClassificationloss)函数分别对[0106]为取得更鲁棒的跨说话人唇语特征，我们在算法中设计了属性学习模块(总体结何通过序列总体特征对说话