CN115604475B 一种多模态信源联合编码方法 （西安电子科技大学）_第1页
CN115604475B 一种多模态信源联合编码方法 （西安电子科技大学）_第2页
CN115604475B 一种多模态信源联合编码方法 （西安电子科技大学）_第3页
CN115604475B 一种多模态信源联合编码方法 （西安电子科技大学）_第4页
CN115604475B 一种多模态信源联合编码方法 （西安电子科技大学）_第5页
已阅读5页，还剩9页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

态信源经过相应第一编码器提取特征去除每个性特征图和共性特征图经过相应解码器解码并制码流进行熵解码后分别经过相应的解码器恢22)为了去除不同模态信号之间的相关性，将3)将多个模态信源的个性特征图和共性特征图经过相应解码器解码并重建相应的模应的在解码过程第一解码器和第二解码器也需要输入知识库特征对第一模态信源和第二3[0007]1)将多个模态信源经过相应第一编码器以提取特征去除[0008]2)为了去除不同模态信号之间的相关性，将多组特征图连接起来输入第二编码[0009]3)将多个模态信源的个性特征图和共性特征图经过相应解码器解码并重建相应4流进行熵解码后分别经过相应的解码器恢复得到经过第一编码器A和第一编码器B以提取特征去除每个模态信号内部冗余，得到特征图feat1和特征图feat2，其中第一编码器A和第二编码器B无特殊限制可以是神经网络中的卷5性特征featc和模态2的个性特征feati2，第二编码器C中可能包含量化过程以实现有损编1，featc和feati2三类特征内部特性不一定featis1以及特征featii1，其中的边信息featis1用以辅助featii1生成，featc和feati2同计为以下形式：2[0028]图2中的知识库既可以是多模态也可以是单模态，多模态知识库是指知识库中存储包含不同形式的信息(通常来自不同模态信源)；是WorldComputerChessChampionship的嘉宾，其中“ClaudeShannon”和“World6识库的索引，两者只有其一也可以，有两种解析可以从知识库中检索到更多的相关信息或主要为了获取知识库节点实体以进行查询和推理。经过知识库的推理和查询后，相关信息可以经过第三编码器D进行嵌入编码得到知识库特征，与信源特征通过第二编码器C进行联解码器B也需要输入知识库特征对模态1和模态2信源进行解码。[0030]实施例2所引入的知识库的目的在于增加了先验知识；显式关联了不同模态的信经过第一编码器A和第一编码器B以提取特征去除每个模态信号内部冗余，得到特征图性特征featc和模态2的个性特征feati2，第二编码器C中可能包含量化过程以实现有损编[0036]知识库特征与信源特征通过第二编码器C进行联合编码，去除信源编码与知识库恢复模态2，记为z:[0038]在解码过程解码器A和解码器B也需要输入知识库特征对模态1和模态2信源进行7需传输解析到的ClaudeShannon实体，解码端通过知识库可以获得知识库中的C

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论