CN115440196B 基于用户面部表情的语音识别方法、装置、介质及设备 （深圳宜健智能科技有限公司）

道福保社区市花路南侧长富金茂大厦基于用户面部表情的语音识别方法、装置、本公开提供一种基于用户面部表情的语音识别模型确定在预设时间段内目标用户在监控2通过红外采集装置对监控环境中的热图像进行采集，并在基于图将所述多个特征区域动态子图像与所述多个特征区域对应的多个预设动态子图像进对预设时间段内所述目标用户在所述监控环境中的音频数据进行采从初始数据库中筛选出与所述情感标签对应的初始样本语音数据，其中，所述根据所述用户语音频段对所述目标音频数据进行特征对降噪后的所述目标音频数据进行语音提取，以生成所述目标用户对应的用户语音，根据所述目标用户对应的历史用户语音，对所述目标音频数据中的用户语音进行分基于所述用户语音频段对所述目标音频数据进行降噪处理，以去3基于所述情感标签对所述初始数据库中的所述初始样本语音数通过所述语音识别模型的特征提取网络对所述第一样本语音数据进行基于更新后的所述语音识别模型对所述用户语音进行语义识别，获取所述特征区域对应的所述多个预设动态子图像，并将所述多个确定所述相似度最大的目标预设动态子图像对应的目标表情识别结果为所述表情识第一生成模块，用于通过红外采集装置对监控环境中的热图征区域对应的多个特征区域动态子图像；其中所述多个特征区域至少包括眼部特征区域、确定模块，用于将所述多个特征区域动态子图像与所述多第二生成模块，用于对预设时间段内所述目标用户在所述4第三生成模块，用于从初始数据库中筛选出与所述情感标签对应的初始样本语音数根据所述目标用户对应的历史用户语音，对所述目标音频数据中的用户语音进行分基于所述用户语音频段对所述目标音频数据进行降噪处理，去除所计算机程序被处理器运行时执行如权利要求1_3中任一项所述基于用户面部表情的语音识如权利要求1_3中任一项所述基于用户面部表情5[0006]将所述多个特征区域动态子图像与所述多个特征区域对应的多个预设动态子图6[0012]进一步地，所述从初始数据库中筛选出与所述情感标签对应的初始样本语音数[0014]通过所述语音识别模型的特征提取网络对所述第一样本预设动态子图像进行匹配，确定所述多个特征区域动态子图像对应的多个表情识别结果，根据预设权重将所述多个表情识别结果进行融合确定所述目标用户对应的情感标签，包[0020]确定所述相似度最大的目标预设动态子图像对应的目标表情识别结果为所述表7预设动态子图像进行匹配，确定所述多个特征区域动态子图像对应的多个表情识别结果，根据预设权重将所述多个表情识别结果进行融合确定所述目标用户对应的情感标签，其通过麦克风采集的所述用户语音对智能终端下样本语音数据和多个情感标签之间的映射关执行时实现如第一方面中任一项所述基于用户面部表情的语音识[0032]通过采集预设时间段内所述目标用户在所述监控环境下的面部特征点的变化情8控环境中的音频数据进行采集，按照语音特征对降噪后的所述目标音频数据进行语音提型对用户语音进行语义识别，使智能设备能够更准确识别出用户语音所对应的用户意图，位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必9[0041]图1为本公开一实施例中基于用户面部表情的语音识别方法的流程图，如图1所[0042]在步骤S11中，根据图像识别模型确定在预设时间段内所述目标用户在所述监控特征区域对应的多个特征区域动态子图像，其中所述多个特征区域至少包括眼部特征区[0044]在步骤S12中，将所述多个特征区域动态子图像与所述多个特征区域对应的多个[0046]在步骤S13中，对所述预设时间段内所述目标用户在所述监控环境中的音频数据[0052]根据目标用户对应的历史用户语音，对所述目标音频数据中的用户语音进行分[0056]通过所述语音识别模型的特征提取网络对所述第一样本[0062]确定所述相似度最大的目标预设动态子图像对应的目标表情识别结果为所述表[0063]图2是本公开一实施例中基于用户面部表情的语音识别装置的结构图，该识别装部动态特征图像，并将所述面部动态特征图像与预设标准动态图像进行匹配生成比较结[0065]确定模块120，用于将所述多个特征区域动态子图像与所述多个特征区域的预设[0066]第二生成模块130，用于对所述预设时间段内所述目标用户在所述监控环境中的过麦克风采集的所述用户语音对智能终端下[0067]第三生成模块140，用于从初始数据库中筛选出与所述情感标签对应的初始样本初始样本语音数据和多个情感标签之间的映射关对应的初始样本语音数据，将所述初始样本语音数据加入到语音识别模型的样本训练集[0075]根据目标用户对应的历史用户语音，对所述目标音频数据中的用户语音进行分[0079]通过所述语音识别模型的特征提取网络对所述第一样本[0085]确定所述相似度最大的目标预设动态子图像对应的目标表情识别结果为所述表[0086]