CN119516320A 多模态融合的全景视频智能内容分析方法 (蜻蜓智能视界科技(深圳)有限公司)_第1页
CN119516320A 多模态融合的全景视频智能内容分析方法 (蜻蜓智能视界科技(深圳)有限公司)_第2页
CN119516320A 多模态融合的全景视频智能内容分析方法 (蜻蜓智能视界科技(深圳)有限公司)_第3页
CN119516320A 多模态融合的全景视频智能内容分析方法 (蜻蜓智能视界科技(深圳)有限公司)_第4页
CN119516320A 多模态融合的全景视频智能内容分析方法 (蜻蜓智能视界科技(深圳)有限公司)_第5页
已阅读5页,还剩30页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

道高新区社区高新南九道10号深圳湾2基于所述候选目标位置检测结果,利用图像目标检测模型实现目标采用谱感知器实现所述目标嵌入描述向量序列与所使用基于区域的目标检测模型对所述平面图像进行2D目标检测处将所述平面投影图像转换成球面图像,根据等距投影将每个像素根据所述球面坐标,通过采样将所述球面图像转换为多个平面对检测到的目标,利用实例分割模型,基于语义分割和所述图通过多层感知机将所述特征拼接组合映射为语3经过多层谱图卷积分解处理,将时序的频谱图从低维将所述目标嵌入向量与经过谱图转换的音频特征映射经过谱感通过softmax层生成音视觉事件检测的结果序列。在图卷积层中加入时序信息,通过只对当前时间步之前的卷积4通过端到端的联合优化方法,对多个模块进行联合训练,使各个模块5视频分析方法在面对全景视频时往往力不从心,难以有效处理球面投影带来的几何畸变,6[0016]基于所述候选目标位置检测结果,利用图像目标检测模提取目标特征生成目标嵌入描述向量序列;[0018]采用谱感知器实现所述目标嵌入描述向量序列与所述声学注意力序列的关联融7[0043]根据生成的音频注意力序列与目标嵌入向量相结合,生成音视频协同注意力序[0045]将所述音视频协同注意力序列输入基于音视频注意力和音视觉联合学习事件分89[0093]基于候选目标位置检测结果,本方法利用图像目标检测模型实现目标的实例分]+bf)]+bi)]+bo)[0109]在输出步骤中,本方法首先利用音视觉事件识别模型生成音视觉事件的时空轨模型,而特征信息则可能源自于深度卷积神经网络的中间层输出。优选地,本发明采用l层的节点特征,W(l)是可学习的权重矩种方法的优势在于能够灵活地处理不同长度的视频序列,同时保持帧与帧之间的空间关组(h,r,t)表示头实体h通过关系r[0180]本发明的方法创新性地将事件预测与实体识别相结合,提高了场景理解的准确

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论