CN115131405B 一种基于多模态信息的发言人跟踪方法及系统 （沈阳航空航天大学）

一种基于多模态信息的发言人跟踪方法及本发明公开了一种基于多模态信息的发言用于线下会议或线上会议的在线的发言人跟踪输入的图像及对应的音频信息计算出图像中每2采用图像的面貌信息特征提取模块，依次将r张输入图像face3…face"提取得到逐帧像质量得分，将r张图像的质量得分与r个逐帧人脸面貌特征向量在通道维度上进行拼接，人脸图像质量计算模块，将单张彩色人脸图像输入到卷积神脸矩阵序列；唇形同步模块，输入人脸唇部内容特征向量与语音内容信息特说话唇动识别模块，将人脸唇部内容特征向量输入到一个或音貌匹配模块，输入人脸面貌信息特征向量与语音身份信息先验数据库，支持提前录入先验数据库及在使用中录入先验数根据唇形同步、音貌匹配、说话唇动检测模块找到了匹配的语音身份S1：获取音频和视频，分别利用音频采集设备和视3S5：检索先验数据库中所有已录入的语音身征向量候选序列中寻找是否有相似度高于匹配阈值threshold⃞ox的特征向量，得分；将与emba输入到音貌匹配模块中计算得到音貌匹配得分scorez；将综合唇形同步得分、音貌匹配得分以及说话唇动得分，赋权计算得到最终得分最高者记为当前发言人；S8：若当前发言人的最终得分高于录入阈值threshold,sea，则将当前发言人对应的emba与embra登记到先验数据库中；4连接层，得到w2维的中间向量z；将中间向量z通过cg个全连接层，得到w3维的中间向量取得到维的特征向量；r张输入图像处理后将得到形状为(r，)的特征向量；将每张输入图像face单独输入到人脸图像质量计算模块中，计算得到每张输入图像质量所述人脸检测与分组模块，利用深度学习算法检测视频片段的每一帧中的所有人脸，的人脸矩阵信息的交并比将所有帧中属于同一个人的人脸矩阵分组，若与5所述唇形同步模块，输入人脸唇部内容特征向量与语音内容信息特征向量emb，利用余弦相似度计算两个特征向量的相似度，即为唇形同步得分score，其中说话唇动得分scorearxE(0,1)，说话唇动得分越高说明计算得到的人脸唇部内容特征向所述音貌匹配模块，输入人脸面貌信息特征向量embra与语音身份信息特征向量所述先验数据库，事先录入人员对应的若干张人脸照片及人声音频、将人脸照片输入到图像的面貌信息特征提取模块中，得到每个人员对应的面貌信息特征向量embra，共同训练，训练流程为：将同一个人员的人脸图片与人声音频分别输入到Modelra和具体为：语音的内容信息特征提取模块Modele:中的第一卷积神经网络的全部网络参将同一个人员的说话片段所对应的人脸图片序列和人声音频片段分别输入到图像的内容信息特征提取模块Modelrs及语音的内容信息特征提取模块Modele:中，分别得到图序列没有对应关系的人声音频输入到语音的内容信息特征提取模块配的语音内容信息特征向量emb:；通过最小化embzc:和emb:之间的余弦相似度，最大6所述说话唇动识别模块表示为Modelax，在图像的内容信息特征提取模块提取出的具体为：将在说话的人脸图像序列输入到图像的内容信息特征提取模块Modelrs中得到；将没有在说话的人脸图像序列输入到图像的内容信息特征提取模块中得到；将和输入到中，得到对应的说话唇动得分和；使用二分类交叉熵损失训练模型，最小化并且最大化78图像质量得分，将r张图像的质量得分与r个逐帧人脸面貌特征向量的通道维度上进行拼像质量得分，将每张输入图像的质量得分复制扩展后与图像拼接向量进行拼接和特征提网络滤波器组(FilterBank)特征v0；将网络滤波器组特征v0输入到第一卷积神经网络入到第二卷积神经网络(Inception_V1)中，提取得到w4维的中间向量并进行L2正则化，9[0024]r张输入图像得到形状为(r，1)的质量得分向量q；将质量得分向量q和特征向量20与质量得分向[0029]所述人脸图像质量计算模块，将单张彩色人脸图像输入到第四卷积神经网络邻帧的人脸矩阵信息的交并比将所有帧中属于同一个人的人脸矩阵分组，若与全后的人脸矩阵序列裁剪得到人脸图像序列[0031]所述唇形同步模块，输入人脸唇部内容特征向量embfct与语音内容信息特征向量embvct，利用余弦相似度计算两个特征向量的相似度，即为唇形同步得分scorect，其中[0032]所述音貌匹配模块，输入人脸面貌信息特征向量embfid与语音身份信息特征向量[0033]所述说话唇动识别模块，将人脸唇部内容特征向量embfct输入到带激活函数的全序列输入到图像的面貌信息特征提取模块中，得到每个人员对应的面貌信息特征向量[0036]所述语音的身份信息特征提取模块Modelvid与图像的面貌信息特征提取模块[0039]所述语音的内容信息特征提取模块Modelvct与图像的内容信息特征提取模块[0040]具体为：语音的内容信息特征提取模块Modelvct中的第一卷积神经网络的全部网络参数来自语音的身份信息特征提取模块Modelvid的第一卷积神经网络的参数，这些参数[0041]将同一个人员的说话片段所对应的人脸图片序列和人声音频片段分别输入到Modelfct及Modelvct中，分别得到图像的唇部内容特征向量embfct及基于音频的语音内容信语音内容信息特征向量emb′vct；通过最大化embfctembfct和embvct之间的余弦相似度来让两个模型学习得到视频中的内容信息；损失函数人脸图像序列输入到Modelfct中得到将对应的说话唇动得分和使用二分类交叉熵损失训练模型，最小化并且最大化损失函数Loss3如式(3)所示：每一帧人脸图像所对应的图像质量得分将与输入到图像的面貌信息特征提取模块，得到人脸面貌特征向量序列fembfu}:将((face}与[0054]S6：取出与emb,vid对应的目标人脸面貌特征向量在给定图像中的面貌信息特征向量候选序列fenha)中寻找是否有相似度高于匹配阈值thresholdmatch的特征向同步得分scoretr:将embfu与embvid输入到音貌匹配模块中计算得到音貌匹配得分scorela:[0056]综合唇形同步得分、音貌匹配得分以及说话唇动得分，赋权计算得到最终得分最高者记为当前发言人；[0065]6、本发明综合使用多维度信息，不仅使用了唇部动作序列和音频内容信息的联形状为(r，128)的特征向量zfid[0086]r张输入图像得到形状为(r，1)的质量得分向量q；将质量得分向量q和特征向量20与质量得分向征向量embvid，利用L1距离计算两个特征向量的距离，即为音貌匹配得分scoreid；其中，[0101]所述语音的内容信息特征提取模块Modelvct与图像的内容信息特征提取模块[0102]具体为：语音的内容信息特征提取模块Modelvct中的ECAPC_TDNN层的网络参数取值是来自语音的身份信息特征提取模块Modelvid的网络参数，在训练过程中这些参数取值[0103]将同一个人员的说话片段所对应的人脸图片序列和人声音频片段分别输入到Modelfct及Modelvct中，分别得到图像的唇部内容特征向量embfct及基于音频的语音内容信人脸图像序列输入到Modelfct中得到em":将emb和emb"输入到Mo并且最大化损失函数Loss3如式(3)所示：f:[0110]S2：对于音频片段audiofs,提取能量大小及过零率判断这一片段中是否包含人人声音频voicefts输入到语音的内容信息特征提取模块，得到语音内容信息特征向量和在时刻j1和j2时刻之间没有检测出该人的人脸，使用线性插值法得到时刻k中第i人所对应的人脸矩阵信息其中，阵信息为时刻t到时刻tfirst之间的帧赋予人脸矩阵信息；若检测到人脸的最后一帧tfinal<[0115]S5：根据人脸矩阵序列裁剪得到人脸图像质量计算模块，得到每一帧人脸图像所对应的图像质量得分将与输入到图像的面貌信息特征提取模块，得到人脸面貌特征向量序列将与输入到图像的唇部信息特征提取模块，得到人脸唇[0118]若在先验数据库中不存在与向量embvid之间的L1距离小于阈值的录入人声向量，面貌信息特征向量序列中的所有向量，计算与目标面貌信息特征向量得分scorek:将embfu与embvid输入到音貌匹配模块中计算得到音貌匹配得分scor