CN115905838B 一种视听辅助的细粒度触觉信号重建方法 （南京邮电大学）

本发明公开了一种视听辅助的细粒度触觉好地解决了多模态信号之间所存在弱监督和弱证了所生成的触觉信号结构以及语义完整性的2通过跨模态迁移学习方法，将触觉自编码器的特征提取能力迁;;3预置多模态融合映射函数的参数以及触觉生将新接收到的图像信号和音频信号分别输入训练好的图像特征提取网络与音频特征将触觉信号输入触觉自编码器进行学习，提取出相应的触觉特征，;;4通过跨模态迁移学习方法，将触觉自编码器的特征提取能力迁采用特征自适应方法来最小化触觉域和视听域之间的最大平均差;;;5;;在图像数据集中选取一个和属于同一类且语义特征距最近的样本作为正匹配6;;;;7;预置多模态融合映射函数的参数以及触觉生;8;;;;;9人在文献“Learningcross_modalvisual_tactilerepresentationusingensembled人在文献“DeepVisuo_TactileLearning:EstimationofTactilePropertiesfromCamerastoFeel:EstimatingTactilePhysicalPropertiesofSurfacesFrom[0006]本发明所要解决的技术问题是克服现有技术的不足而提供一种视听辅助的细粒[0017]将新接收到的图像信号和音频信号分别输入训练好的图像特征提取网络与音频he)是触觉信号hi的特征表[0026]采用特征自适应方法来最小化触觉域和视听域之间的最大平均差异准则来实现θhe)即为自编码器的编码模块的输出，音频和图像特θv)＝fv，三个模态的特征集合表示为(fh,fa,fv)；θa和θv分别为音频和图像特征提取网络的参数，θhe为编码模块参数；对于任意函数f∈Hk，且任意X∈P，μk(P)是P在Hk中的平均嵌入，即分布P在Hk空[0031]计算相应MMDf(P,Q)和MMDf(a和θv进行测算。是使类间方差最大化，从而使得不同子类别的特征输出比相同子类别的特征输出更不相[0050]在图像数据集中选取一个和hi属于同一类且语义特征距fih最近的样本vt作为正，T；n1；[0092]Bn-Bn-Donlsmnihe)是触觉信l为最小二乘损失λ≥0为正则化参数；θhe)即为上一步的自编码器的编码模块的输出，fvHkk[0118]计算相应MMDf(P,Q)和MMDf其输入一个三层的全连接神经网络(256_128_32)和一个带有K个节点和softmax函数的全络参数为θv时得到图像信号类别s"的概率。[0137](2_1)、在某个细粒度子类内随机选取一个触觉信号样本hi，将该样本作为锚(Anchor)，然后在图像数据集中选取一个和hi属于同一类且语义特征距fih最近的样本作为正匹配样本，而后再选取一个和hi不属于同一类且语义特征距fih最近的样本作为信号样本和音频信号样本所组成的三元组集合((,at,aj).通过最小化锚点hi的语义特)a和fv的线性加权。[0143]将和融合为将和融合为T＝600；[0170]特别地，在对mk进行更新时并没有简单地使用其中是从第一个样本到当前样本分配给簇k的索引集，但已经出现的历史数据不足以代表全局的簇和θG的估计。[0179]步骤(5)、将新接收到的图像信号和音频信号分别输入训练完成的图像特征提取[0181]将新接收到的图像信号v和音频信号a分别输入训练完成的图像特征提取网络和音频特征提取网络，得到图像特征产和音频特征所,并输入训练好的多模态融合映射函[0183]本实施例采用了LMT跨模态数据集进行实验，该数据集由文献“Multimodalfeature_basedsurfacematerialclassification”提出，其中包括九种语义类别的样[0187]三重深度聚类模型(3_DeepClusteringNetwork,3_DCN)：对不同模态的信号分[0189]在对结果进行展示时选用的[0194]现有方法一：文献“Learningcross_modalvisual_tactilerepresentationusingensembledgenerative[0195]现有方法二：文献“DeepVisuo_TactileLearning:EstimationofTactile出了一种联合编码分类生成网络(Joint_encoding_classificationGAN简称：JEC_GAN)，度(SIM)和分类准确率(ACC)多个角度展示了各方法下触觉信号重建的性能。表2是本发明