CN113628294B 一种面向跨模态通信系统的图像重建方法及装置 （南京邮电大学）

US10248664B1,2019.04.02US2021012150A1,2021US5907351A,1999.05.25一种面向跨模态通信系统的图像重建方法本发明公开了一种面向跨模态通信系统的接收端所接收到完整触觉信号对传输过程中所态通信系统中用于实际的训练触觉信号—图像2图像特征提取模块包括卷积神经网络CNN和第一类别对抗网络，用于对训练集中图像跨模态语义学习模块包括一个编码器、基于注意力机制的觉特征之间进行相似度计算并经过sigmoid函数的操作，获得与当前图像特征所对应的各对抗式图像生成模块包括一个生成对抗网络，用于接收到强化后的合成触觉特征后，v3其中，为类别标签鉴别器D1的对抗损失函数，E,['和指对*求期望，D1(3-1)触觉信号经过编码器获得触觉特征h"=6",i",i"和vy"形成触觉-图像特选择与vy"具有相同类别标签的触觉特征作为参与计算相似度Simi,j的触觉候选特征；4cro为图像特征与触觉特征的模间损失，i"为第j个不与wy"配对的合成触觉特接层和一个softmax层，输入为i),输出为所预测的in的类别标签类别断进行优化，最终使得合成触觉特征ir具有类别特性。指类别标签鉴别器D2对类别标签预测器输出的的判别结果，为类别7.根据权利要求6所述的一种面向跨模态通信5(5-3)利用随机梯度下降法最小化损失函数，迭代训练基于触觉信号的跨模态图像生Q,"='-4V⃞(Q'),分别为第r+1和第r次迭代后6(6-2)将中的触觉数据输入编码器，获得触觉特征i,再将其输入训练好的最优对抗模型建立模块，用于获取图像数据和触觉信号，并建立模型分解模块，用于将跨模态图像生成模型分解为图像7[0006]本发明所要解决的技术问题是克服现有技术的不足而提供一种面向跨模态通信[0010]步骤2、建立基于触觉信号的跨模态图像生成模型，该模型包括图像特征提取模[0011]图像特征提取模块包括卷积神经网络CNN和第一类别对抗网络，用于对训练集中8的触觉特征之间进行相似度计算并经过sigmoid函数的操作，获得与当前图像特征所对应v=fv(v′行优化，最终提取具有类别特性的图像特征v""'=,",i=1,2,…,N},其中，vy"为第i个图9[0025](3-2)基于注意力机制的语义融合网络匹配触觉特征和(2-2)提取的v(f)，每一个作为查询向量，筛选出与y"所属同一类别的合成触觉特征i",i"和vy"形成触觉-藏层表示向量h"=tnf",j=1,2,…,N3,n"为第j个触觉特征ny[0033]选择与vy"具有相同类别标签的触觉特征作为参与计算相似度Simi,j的触觉候选i[0044]其中，为类别标签鉴别器D2的对抗损失函数，E,['l和EPO['"l指对*求期2h数，D:(Fe:,p)指类别标签鉴别器D2对类别标签预测器输出的i对应的生成图像G(*)为一种描述生成器输出生成图像的过程的函数，并将[0050]作为本发明所述的一种面向跨模态通信系统的图像重建方法进一步优化方案，骤3中所述的基于触觉信号的跨模态图像生成模型[0058](5-3)利用随机梯度下降法最小化损失函数，迭代训练基于触觉信号的跨模态图[0062]g,"=g,'-uva(Q,'),分别为第r+1和第r次迭[0074](6-2)将中的触觉数据输入编码器，获得触觉特征i,再将其输入训练好的最优[0082](1)实现针对未配对数据的触觉到图像的跨模态生成任务，有效解决了跨模态通[0083](2)这种方法能够挖掘视觉模态和触觉模态间的语义相关性，构造跨模态公共子[0094]图像特征提取模块包括卷积神经网络(ConvolutionalNeuralNetworks,CNN)和的触觉特征之间进行相似度计算并经过sigmoid函数的操作，获得与当前图像特征所对应[0114]选择与vy"具有相同类别标签的触觉特征作为参与计算相似度Simi,j的触觉候选vy"所属同一类别的合成触觉特征i":[0118](3)利用配对模态间的语义信息约束视觉和触觉特征，要求不同模态间配对特征连接层和一个softmax层，输入为in,输出为所预测的in的类别标签输ie)和in对应的真实标签yh的真假；通过类别标签预测器fh(·)与类别标签鉴别器D2对抗[0125]其中，为类别标签鉴别器D2的对抗损失函数，E,'l和指对*求期2h入网络参数为γ的判别器D3；图像判别器D3辨别所生成图像组(v,j)和真实图像组(v,v)的[0133](2)为了对生成图像和真实图像同时进行全局结构级别与像素级别的约束，结合[0141](5-3)利用随机梯度下降法最小化损失函数，迭代训练基于触觉信号的跨模态图[0144]a"=a'-uv⃞(a'),[0147]y""=y'-VLC(?'),分别为第r+1和第r次迭[0157](6-2)将中的触觉数据输入编码器，获得触觉特征i,再将其输入训练好的最优[0165]现有方法二：条件对抗式生成网络(ConditionalGenerativeAdversarial[0