CN118262114B 一种多模态实时交互决策的方法及系统 (行至智能(北京)技术有限公司)_第1页
CN118262114B 一种多模态实时交互决策的方法及系统 (行至智能(北京)技术有限公司)_第2页
CN118262114B 一种多模态实时交互决策的方法及系统 (行至智能(北京)技术有限公司)_第3页
CN118262114B 一种多模态实时交互决策的方法及系统 (行至智能(北京)技术有限公司)_第4页
CN118262114B 一种多模态实时交互决策的方法及系统 (行至智能(北京)技术有限公司)_第5页
已阅读5页,还剩18页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

本发明公开一种多模态实时交互决策的方预处理后视频数据进行语义分割,得到分割结推演的多模态数据,使指挥员能够更迅速地获2根据目标物体的位置和类别信息,基于深度学习相关算法,对对于语音特征进行声纹识别和语音识别,得到问题文本;所述声纹识别用于视频检测模型利用目标识别模型输出的目标信息,通过监测模块持续识像素语义分割提供为视频检测模型提供重要区域信息;视频所述重要区域为将某一目标物体的位置,或从分割结果中提取出某一语义类别的区3所述目标检测算法采用基于区域的卷积神经网络或单所述语义分割网络模型采用卷积神经网络或全通过短时傅里叶变换或其变种,将语音信号转化为时频域上的频谱8.一种多模态实时交互决策的系统,用于实现如权利要求1_7任一所述的多模态实时4[0013]无法处理信息缺失的问题:现有方法一般只能根据当前56[0047]所述语音信号转化采用基于拼接单元的合成算法、参数生成模型或深度学习模[0053]语义分割模块,用于使用语义分割网络模型对预处理后7[0076]图4是语音信号处理子模型分别与声纹识别和语音识别两个子模型协同工作的示[0079]在本说明书一个或多个实施例中使用的术语是仅仅出于述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分8[0085]视频挖掘模型功能需求描述如下:视频挖掘模型的功能需求包括视频内容分析、测和跟踪特定的目标物体。像素语义分割可以把目标图像中各个不同类别的像素识别出9供更精确的重要区域信息;视频检测模型可以利用像素语义分割模型输出的语义分割结时傅里叶变换(Short_TimeFourierTransform,STFT)或其变种,将语音信号转化为时频语音特征输入声纹识别模型,声纹识别模型可以采用基于高斯混合模型(Gaussian别模型可以采用基于隐马尔可夫模型(HiddenMarkovModel,HMM)或深度学习模型(如循据实际的需要选择其中的部分或者全部单元来实现可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论