CN115905838B 一种视听辅助的细粒度触觉信号重建方法（南京邮电大学）

(19)国家知识产权局(12)发明专利30-06号(72)发明人魏昕杨镇宇王浩宇石莹莹公司32224专利代理师钱玲玲G10L25/03(56)对比文件审查员李富贵GO6F18/213(2023.01)权利要求书7页说明书14页附图2页(57)摘要本发明公开了一种视听辅助的细粒度触觉现针对音频、图像信号的特征提取；接着，利用三到融合特征，最后将融合特征输入到触觉生成网好地解决了多模态信号之间所存在弱监督和弱证了所生成的触觉信号结构以及语义完整性的图您、音频、姓雾图您、音频、姓雾第持证果多模态姥台族是视听辅助的细粒度触觉信号重建方法畜频静证提顺网测试训练21.一种视听辅助的细粒度触觉信号重建方法，其特征在于，包括以下步骤：将触觉信号输入触觉自编码器，并通过聚类任务，对触觉信号进行特征提取；通过跨模态迁移学习方法，将触觉自编码器的特征提取能力迁移到音频特征提取网络通过联合考虑聚类约束、中心约束、排序约束对所提取的触觉、音频、图像模态特征进行约束，使属于同一语义的各模态特征靠近，而不属于同一语义的各模态特征分离，获得具有细粒度分类的触觉、音频和图像模态特征，包括：对三种模态信号进行中心约束下的聚类学习，用于保证同一个细粒度子类别特征之间的紧凑性；为了实现更好的细粒度的分类性能，同一子类的特征在公共空间中应该是相邻的，这是为了最小化类内方差；通过最小化特征到其子类中心的距离来驱动聚类学习；其中以触觉信号的子类中心作为跨模态信号的公共子类中心，从而保证同类别的跨模态信号语义特征之间的紧凑性；对三种模态信号进行排序约束下的聚类学习，用于保证不同细粒度子类别特征具备一定的稀疏性；中心约束的目标是使类内方差最小化，而排序约束的目标则是使类间方差最大化，从而使得不同子类别的特征输出比相同子类别的特征输出更不相似；中心约束下的聚类学习的损失函数定义如下：像信号的类别；音频信号和图像信号共用触觉信号的聚类中心向量矩阵M;通过上述过程，使具有相似语义的各模态特征fa,f,和f₂h相互接近；排序约束的定义如下：其中，C是触觉信号经过K-means算法聚类之后的总类别数；通过上述过程，使具有相似语义的各模态特征fa,f,和f₂h进一步接近，而使得具有不同语义的各模态特征尽可能分基于触觉、音频和图像模态特征构建三元组集合，进行三元组约束的共享语义学习，对多模态融合映射函数进行优化，得到包含共享语义信息的融合特征；预置触觉生成网络，将融合特征输入触觉生成网络重建触觉信号。2.根据权利要求1所述的一种视听辅助的细粒度触觉信号重建方法，其特征在于：所述预置触觉生成网络，将融合特征输入触觉生成网络重建触觉信号，包括：3预置触觉自编码器、音频特征提取网络和图像特征提取网络的参数；预置多模态融合映射函数的参数以及触觉生成网络的参数；训练出触觉自编码器、音频特征提取网络、图像特征提取网络、多模态融合映射函数以及触觉生成网络；将新接收到的图像信号和音频信号分别输入训练好的图像特征提取网络与音频特征网络之中，分别得到图像特征和音频特征；然后将上述特征输入多模态融合映射函数，得到融合特征；最后将融合特征输入训练好的触觉生成网络中，得到重建的触觉信号。3.根据权利要求2所述的一种视听辅助的细粒度触觉信号重建方法，其特征在于：将触觉信号输入触觉自编码器，并通过聚类任务将触觉信号输入触觉自编码器进行学习，提取出相应的触觉特征，并基于触觉特征对触觉信号实施基于K-means算法的聚类：h为输入的触觉信号，h={h;}i=1….,i表示输入触觉信号的排序下标，N为输入的触觉信号总量，经过自编码器的编码模块En(·)后，fh=En(h₂;θne)是触觉信号h,的特征聚类，输出对应的类别标签为;将上述过程中的参数进行联合测算，设计损失函数如下：means的聚类误差，M为由K-means算法得到触觉数据的聚类中心向量矩阵，M矩阵中第C列第；个元素，如果其中的元素s;,值为1,其他元素都为0,则表明对应的原始触觉信号h属4.根据权利要求3所述的一种视听辅助的细粒度触觉信号重建方法，其特征在于：4H₈空间中的一个元素表示，f(X)表示X经过函数f映射到H空间中，<,>Hk为内积运算；同理Ex~Qf(X)=f(X),μk(Q))Ek,μk(Q)是Q在H₂中的平均嵌入，55.根据权利要求4所述的一种视听辅助的细粒度触觉信号重建方法，其特征在于：对音频特征提取网络和图像特征提取网络进行进一步优化，包括：分类损失函数如下：和θ的最优值，其中p(f₂a;θa)的含义是当音频特征提取网络输入为f;",网络参数为θa时得到音频信号类别S的概率；p(f₂v;θ,)的含义是当图像特征提取网络输入为f₂”,网络参通过最小化Lclu,可以获得最优的θn,θa和θ;在参数确定后，则可以获得触觉信号、音频信号和图像信号对应的特征fh,fa,fv。6.根据权利要求1所述的一种视听辅助的细粒度触觉信号重建方法，其特征在于：基于触觉、音频和图像模态特征构建三元组集合，进行三元组约束的共享语义学习，对多模态融合映射函数进行优化，得到包含共享语义信息的融合特征，包括：在某个细粒度子类内随机选取一个触觉信号样本h,,将该样本作为锚；在图像数据集中选取一个和h,属于同一类且语义特征距f"最近的样本v作为正匹配样本，选取一个和h,不属于同一类且语义特征距f₂最近的样本1;作为负匹配样本；由此为数据集内样本构成三元组集合{(h;,v+,v-)};同理得到由触觉信号样本和音频信号样本所组成的三元组集合{(h;,a,a⁻)};通过最小化锚点h,的语义特征f₂h与音频、图像模态中对应小类内的正匹配的语义特征6间的距离，并最大化与负匹配的语义特征,fj²之间的距离，且要有一个最小的间隔8,得到的两个三元组损失函数如下：引入联合范式，对多模态特征进行深度融合：fm=Fm(fa,fv;θm);将f4a和f融合为fm,将fa和f_融合为fm;共享语义学习的目标函数通过组合三个损失函数来建模，表示为：7.根据权利要求6所述的一种视听辅助的细粒度触觉信号重建方法，其特征在于：将融合特征输入触觉生成网络重建触觉信号，包括：将包含所需语义信息的融合特征输入进触觉生成网络G(·)得到期望的触觉信号h′,并将生成的触觉信号h'通过En(·)重新映射到触觉特征fh′,选用类中心对其进行语义约束，7最终的损失函数表示为：8.根据权利要求7所述的一种视听辅助的细粒度触觉信号重建方法，其特征在于：预置触觉自编码器、音频特征提取网络和图像特征提取网络的参数；预置多模态融合映射函数的参数以及触觉生成网络的参数；训练出触觉自编码器、音频特征提取网络、图像特征提取网络、多模态融合映射函数以步骤11、初始化网络参数θθa,θne,θna;节点类标签{s7},{s“},{s{'};类别中心矩阵M;设置聚类簇数C,学习率μ₁,迭代次数T;89技术领域[0001]本发明涉及触觉信号生成技术领域，特别是一种视听辅助的细粒度触觉信号重建方法。背景技术[0002]随着传统多媒体应用相关技术的成熟，人们在视听需求得到极大满足的同时，开始追求更多维度、更高层次的感官体验。而触觉信息逐步融入到现有音视频多媒体业务中，形成多模态业务，可望带来更为极致丰富的互动感受。跨模态通信技术被提出用于支持跨模态服务，其虽然在保证多模态流质量方面具有一定的有效性，但在将跨模式通信应用于以触觉为主的多模式服务时，仍面临一些技术挑战。首先，触觉流对无线链路中的干扰和噪声非常敏感，导致触觉信号在接收端退化甚至丢失，尤其是在远程操作应用场景中，例如远但是用户需要触觉感知，尤其在虚拟互动应用场景中，如在线沉浸式购物、全息博物馆指南、虚拟互动电影等，用户对触觉感官的需求极高，这就要求能够在视频和音频信号的基础[0003]目前，对于因无线通信不可靠性及通信噪声干扰而发生受损或部分缺失的触觉信号，可从两个方面进行自我恢复。第一类是基于传统的信号处理技术。它通过使用稀疏表示找到具有最相似结构的特定信号，然后使用它来估计受损信号的缺失部分。第二种是挖掘和利用信号本身的时空相关性，实现模态内的自修复和重建。然而，当触觉信号被严重破坏甚至不存在时，基于模态内的重建方案将会失败。[0004]近年来，一些研究关注到了不同模态间的相关性，并借此实现了跨模态重建。Li等人在文献"Learningcross-modalvisual-tactilerepresentationusingensembledgenerativeadversarialnetworks”提出利用图像特征得到所需类别信息，然后将其和噪声一起作为生成对抗网络的输入生成相应类别的触觉频谱图。该方法并挖掘到各模态间的Images”扩展了一个编码器-解码器网络，将视觉和触觉属性都嵌入到潜在空间，重点关注了潜在变量所表示的材料触觉属性的程度。进一步，MatthewPurr等人在文献“TeachingCamerastoFeel:EstimatingTactilePImages”中提出了一个带有对抗性学习和跨域联合分类的跨模态学习框架从单个图像中估计触觉物理特性。这类方法虽利用到了模态的语义信息，但并未生完整的触觉信号，对跨模态服务来说没有实际意义。[0005]上述现有跨模态生成方法还存在以下缺陷：其模型的训练均依赖于大规模的训练数据来保证模型的效果，此外，它们均只利用到单一模态的信息，但实际上单一模态优势不能带给我们足够多的信息量，不同模态共同描述同一语义时，可能会包含不等量的信息，模态间信息的互补与增强将有助于提升生成效果。在实际应用场景中，大规模数据集的标注成本巨大，较易得到的往往是粗粒度的大类类别，而细粒度类别则是不明确的。此外，不同模态的样本之间并没有显式的对应关系，存在弱监督和弱配对的难点问题。发明内容[0006]本发明所要解决的技术问题是克服现有技术的不足而提供一种视听辅助的细粒度触觉信号重建方法。首先，在粗粒度类别内部进行聚类分析以得到样本的细粒度分类。接着，进行细粒度类别下的模态公共语义约束，其目的是使类内的差异最小化而类间的差异最大化。最后，通过在细粒度子类内寻找与触觉信号正匹配的视听样本进行相关性约束，实现触觉信号的高质量、细粒度重建。[0007]为解决上述技术问题，本发明提出一种视听辅助的细粒度触觉信号重建方法，包括以下步骤：[0008]将触觉信号输入触觉自编码器，并通过聚类任务，对触觉信号进行特征提取；[0009]通过跨模态迁移学习方法，将触觉自编码器的特征提取能力迁移到音频特征提取网络和图像特征提取网络，并进行优化；[0010]通过联合考虑聚类约束、中心约束、排序约束对所提取的触觉、音频、图像模态特征进行约束，使属于同一语义的各模态特征靠近，而不属于同一语义的各模态特征分离，获得具有细粒度分类的触觉、音频和图像模态特征；[0011]基于触觉、音频和图像模态特征构建三元组集合，进行三元组约束的共享语义学习，对多模态融合映射函数进行优化，得到包含共享语义信息的融合特征；[0012]预置触觉生成网络，将融合特征输入触觉生成网络重建触觉信号。[0013]进一步地，所述预置触觉生成网络，将融合特征输入触觉生成网络重建触觉信号，包括：[0014]预置触觉自编码器、音频特征提取网络和图像特征提取网络的参数；[0015]预置多模态融合映射函数的参数以及触觉生成网络的参数；[0016]训练出触觉自编码器、音频特征提取网络、图像特征提取网络、多模态融合映射函数以及触觉生成网络；[0017]将新接收到的图像信号和音频信号分别输入训练好的图像特征提取网络与音频特征网络之中，分别得到图像特征和音频特征；然后将上述特征输入多模态融合映射函数，得到融合特征；最后将融合特征输入训练好的触觉生成网络中，得到重建的触觉信号。[0018]进一步地，将触觉信号输入触觉自编码器，并通过聚类任务，对触觉信号进行特征[0019]将触觉信号输入触觉自编码器进行学习，提取出相应的触觉特征，并基于触觉特征对触觉信号实施基于K-means算法的聚类：[0020]h为输入的触觉信号，h={h}i-1,…,,i表示输入触觉信号的排序下标，N为输入的触觉信号总量，经过自编码器的编码模块E(·)后，是触觉信号h的特征表编码模块参数；将f:输入解码模块D(·),得到输出触觉信号是解码模块参数；此外，对特征f实施基于K-means算法的聚类，输出对应的类别标签为st;将上述过程中的参数进行联合测算，设计损失函数如下：元素，如果其中的元素s;值为1,其他元素都为0,则表明st对应的原始触觉[0026]采用特征自适应方法来最小化触觉域和视听域之间的最大平均差异准则来实现征向量φ⁸(a;θ)=f,φ(v;θ)=f",三个模态的特征集合表示为(fh,fa,f);0和θ、分别为音频和图像特征提取网络的参数，θne为编码模块参数；对于任意函数f∈H,且任意X∈P,Ex~pf(X)=<f(X),μe(P)Hk⁷He(P)是P在H中的平均嵌入，即分布P在空[0031]计算相应MMD(P,Q)和MMD²(P,R)的值，作为跨模态迁移的损失函数，具体公[0033]通过优化Lc,引导触觉特征提取自编码器模型和音频、图像特征提取网络之间的音频信号和图像信号对应的特征fh,fa,f。是使类间方差最大化，从而使得不同子类别的特征输出比相同子类别的特征输出更不相相似语义的各模态特征f,f,和f“进一步接近，而使得具有不同语义的各模态[0050]在图像数据集中选取一个和h属于同一类且语义特征距f;最近的样本v作为正[0051]由此为数据集内样本构成三元组集合{(h;,v:,vj)};[0053]通过最小化锚点h的语义特征f与音频、图像模态中h′,并将生成的触觉信号h’通过E(·)重新映射到触觉特征f,选用类中心对其进行语义的聚类损失，它们共同作为损失函数的正则化项；通过优化该损失函数，得到θ的最优值，[0070]进一步地，预置触觉自编码器、音频特征提取网络和图像特征提取网络的[0071]预置多模态融合映射函数的参数以及触觉生成网络的参数；[0072]训练出触觉自编码器、音频特征提取网络、图像特征提取网络、多模态融合映射函[0073]步骤1:预置0,02,0n,0。和M,并且优化{s7},{si},{s?}:[0074]步骤11、初始化网络参数θ,θ,0he,θn;节点类标签{s7},{s⁴},{s?};类别中心矩阵M;设置聚类簇数C,学习率μ₁,迭代次数T;[0075]步骤12、固定{s+},{s⁴3,{s?}和M,基[0081]步骤13、固定θ,02,0n,0n,和M,优化{s4},{s⁹},{S'}:[0086]mk←mk-(1/ck){(mk-[0088]步骤16、经过T轮迭代后，得到最优的音频特征提取网络的参数θ、图像特征提取类中心向量矩阵M;[0091]步骤22、根据Lsn利用随机梯度下降法估计0:[0095]步骤24、如果n<n,则跳转步骤22,n=n+1,继续下一次迭代；否则终止迭代；[0097]本发明采用以上技术方案与现有技术相比，具有以下技术效果：[0098]本发明借助于跨模态迁移的深度聚类算法，学习得到三种模态样本的细粒度分类之后，进行共享语义学习，充分发挥多模态特征融合的优势，最终实现基于聚类约束的细粒度触觉信号生成；最大程度地利用现有存在弱监督和弱匹配问题的数据集；并借此生成了高质量、细粒度的触觉信号，这更加符合跨模态服务的要求。附图说明[0099]图1是本发明的一种视听辅助的细粒度触觉信号重建方法流程图。[0100]图2是本发明的完整网络结构示意图。[0101]图3是本发明的基于跨模态迁移的深度聚类模型架构示意图。[0102]图4是本发明和其他对比方法的触觉信号重建结果图。具体实施方式[0103]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。[0104]本发明提供了一种视听辅助的细粒度触觉信号重建方法，其流程图如图1所示，该方法包括如下步骤：[0105]步骤1:首先将触觉信号输入触觉自编码器，并通过聚类，实现触觉信号的特征提取；接着利用跨模态迁移学习技术，将触觉自编码器的特征提取能力分别迁移到音频特征提取网络与图像特征提取网络之中，并进行优化，然后通过联合考虑聚类约束、中心约束、排序约束对所提取的触觉、音频、图像模态特征进行进一步的约束，使属于同一语义的各模态特征接近，而不属于同一语义的各模态特征分离，获得具有细粒度分类的触觉、音频和图像模态特征；[0106](1-1)、首先对触觉、图像和音频三种模态信号进行聚类约束的特征学习，得到具有细粒度子类别的区分特征。其中又可以分为三个步骤：[0107](1-1-1)、第一步：首先将触觉信号输入自编码器进行学习，提取出相应的触觉特征，并基于触觉特征对触觉信号实施基于K-means算法的聚类：[0108]具体地，假设h;为输入的触觉信号，h={h}i-1,…,,i表示输入触觉信号的排序下标，N为输入的触觉信号总量，经过自编码器的编码模块E(·)后，f;=E(h;θhe)是触觉信号h的特征表示，f={f;}i=1,…,N,he为编码模块参数；将特征f:输入解码模块D₁(·),得到输出触觉信号hi=Dn(f:;θna),其中0是解码模块参数；此外，对特征f:实施基于K-means算法的聚类，输出对应的类别标签为s;;将上述过程中的参数进行联合测算，设计损失函数如下：表示第c个簇的质心。θ=[0ne,0na为编码器模块和解码器模块的参数；s;为s的第j音频和图像特征向量φ⁸(a;0)=f⁸,φ(v;0)=f,三个模态的特征集合可表示为(fh,f,H,且任意X∈P,Ex~pf(X)=<f(X),μk(P))Hk'[0120]通过优化Lc,可引导触觉特征提取自编码器模型和音频、图像特征提取网络之间其输入一个三层的全连接神经网络(256-128-32)和一个带有K个节点和softmax函数的全为θ时得到音频信号类别s'的概率；p(f;θ、)的含义是当图像特征提取网络输入为f₁,图像信号的类别；需要注意的是，音频数据和图像数据共相似语义的各模态特征f:,f:,和f:相互接近。类间方差最大化，从而使得不同子类别的特征输出比相同子类别的特征输出更不相似。排序约束的定义如下：[0134]其中，C是触觉信号经过K-means算法聚类之后的总类别数，即，聚类簇数。通过最小化Lrank,可以有效解决细粒度分类中的类间差异小的问题。通过上述过程，使具有相似语义的各模态特征f:,f:,和f;进一步接近，而使得具有不同语义的各模态特征尽可能分离。[0135]步骤2:在获得具有细粒度分类的触觉、音频、图像特征后，将三种模态特征构建成三元组集合，进行三元组约束的共享语义学习，对多模态融合映射函数进行优化，得到包含共享语义信息的融合特征，为触觉信号生成奠定基础。[0137](2-1)、在某个细粒度子类内随机选取一个触觉信号样本h,将该样本作为锚(Anchor),然后在图像数据集中选取一个和h属于同一类且语义特征距f“最近的样本v作为正匹配样本，而后再选取一个和h,不属于同一类且语义特征距f:最近的样本vj作为负匹配样本。由此为数据集内的所有样本构成三元组集合{(h;,v:,vj)}。同理可得到由触觉信号样本和音频信号样本所组成的三元组集合{(h;,a,aj)}。通过最小化锚点h的语义特征f,与音频、图像模态中对应小类内的正匹配的语义特征fj+,fj+之间的距离，并最大化得到的两个三元组损失函数如下：先视听数据分别经过音频特征提取网络、图像特征提取网络得到特征f和f,之后将f和f[0143]将f和fY融合为fm,将f和f融合为fm。同样利用三元组损失对融合特征进行[0144]Lsyn=Z::jmax(0,t2(m,fh)+[0150]首先构建触觉生成网络，由于触觉解码器D₆(·)在步骤(1)中是作为完整自编码器的一部分进行训练，故这里将另行搭建一个触觉生成网络G(·),其结构与Dₙ(·)相同融合特征输入进触觉生成网络G(·)得到期望的触觉信号h',并将生成的触觉信号h′通过可以表示为：[0152]其中，h′,=GCf:7;θ2),L3(Ch,fh')表示特征f和f"的相似度，[0155]步骤411、初始化网络参数0,02,0he,0m;节点类标签{s7},{s3,{s'};类别中心矩阵M;设置聚类簇数C,学习率μ₁=0.0001,迭代次数T=600;[0156]步骤412、固定{s"},{s43,{s'}和M,优化0,0a,0ne,0na:[0170]特别地，在对m进行更新时并没有简单地使用m=(1|C|)2cyh第一个样本到当前样本分配给簇k的索引集，但已经出现的历史数据不足以代表全局的簇[0172]步骤421、初始化θ;批量大小bactch=64,学习率μ₂₃=0.0001,迭代次数n₁=[0179]步骤(5)、将新接收到的图像信号和音频信号分别输入训练完成的图像特征提取[0181]将新接收到的图像信号v和音频信号a分别输入训练完成的图像特征提取网络和音频特征提取网络，得到图像特征f和音频特征fa,并输入训练好的多模态融合映射函[0183]本实施例采用了LMT跨模态数据集进行实验，该数据集由文献“Multimodal练集和测试集，分别得到每个实例的20个图像样本、20个音频信号样本和20个触觉信号样本。然后扩充数据以训练神经网络，具体的，将每个图像水平和垂直翻转，以任意角度旋转它们，并在传统方法之外使用随机缩放、剪切及偏移等技术。至此将每个类别的数据扩展到100,因此总共有1500个图像，尺寸为224*224.在数据集中，80%被选择用于训练，而剩余的20%用于测试和性能评估。本实验默认细粒度类别是不可知的。[0184](1)聚类结果：为了验证本发明所提出的聚类方法的有效性，将其与多种基线方法[0186]自编码器+K-means(AutoencoderfollowedbyK-means,AE+KM):这是一个两阶段的方法。首先对不同模态的信号样本进行重建学习，从而得到各模态的特征表示，进而使用K-means进行聚类。[0187]三重深度聚类模型(3-DeepClusteringNetwork,3-DCN):对不同模态的信号分别利用DCN模型进行聚类。[0189]在对结果进行展示时选用的是多个子类上的平均值，主要采用三个指标：标准化互信息(NMI)、调整兰德系数(ARI)和聚类精度(ACC)。实验结[0190]表1所提出的聚类方法与其他竞争方法的性能比较图像本发明明方法在这个数据集中表现得非常有竞争力，结果要明显优于传统聚类算法和一般的深度聚类算法。分析可能的原因是其他算法的应用场景均是单一模态，这很容易造成聚类结果的不平衡。理论上，共存的跨模态数据在某一类别内的样本数量应该是相等的。除此以外，由本聚类方法学习得到的子类特征明显更加紧凑且不同类之间的区别度也更大，这将有助于后期的触觉信号重建。[0193](2)触觉重建结果：在细粒度类别确定的基础上，将所提的细粒度触觉重建方法与以下几种方法进行对比：[0194]现有方法一：文献“Learningcross-modalvisual-tactilerepresentationF.Sun)中的集成生成对抗网络(EnsembledGANs,简称E-GANs)利用图像特征得到所需类别信息，然后将其和噪声一起作为生成对抗网络的输入生成相应类别的触觉频谱图，最后再转化为触觉信号。[0195]现有方法二：文献“DeepVisuo-TactileLearning:EstimationofTactilePropertiesfromImages”(作者：KuniyukiTakahashiandJethroTan)中的深度视学习方法(Deepvisio-tactilelearning,简称：DVTL)扩展了传统的具有潜在变量的编码器-解码器网络，将视觉和