CN118135660B 一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识别方法 （山东大学）

一种视角缺失条件下的联合多视角信息瓶本发明涉及一种视角缺失条件下的联合多询数据集的步态轮廓序列送入训练好的视角缺失条件下的联合多视角信息瓶颈的跨视角步态本发明使网络可以更有效地捕捉输入数据中的21.一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识别方法，其特征在于，跨视角全局提取模块包括多阶段空间特征提取单元、时序特征提取与多阶段空间特征提取单元即改进的ResNet网络；包括顺跨视角一致性提取模块用于提取具有跨视角不变性的步态特征；具体是跨视角一致性提取模块包括两个完全结构一致的表征编码器和一个互自适应选择性特征融合模块用于对步骤A得到的判别性步态特征和步骤B得到的跨视过自适应特征选择组件对步骤A得到的判别性步态特征和步骤B得到的跨视角共享的身份步骤C中，对步骤A得到的判别性步态特征和步骤B得到的跨视角共享的身份特征进行通过自适应特征选择组件对步骤A得到的判别性步态特征和步骤B得到的跨视角共享首先，将跨视角全局提取模块的输出Xcvce和跨视角一致性提取模块的输出Xcvge在通道跨视角步态识别模型包括跨视角全局提取模块、跨视角一致性提取模对经由自适应选择性特征融合模块输出的判别性行人特征，作为32.根据权利要求1所述的一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识3.根据权利要求2所述的一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识对前三个不同阶段的特征在通道维度上进行拼接操作后，输入卷积核4.根据权利要求3所述的一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识将降维处理后得到的结果经过分离的全连接网络得到最终的跨视角全局提取模块的45.根据权利要求1所述的一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识对第四个基础残差模块的输出通过水平金字塔与池化与全连接层调取其中一个优化后表征编码器输出的视角一致性表征z1作为跨视角一致性提取模块的(z1fφD从边缘分布p(z1)和p(z2)中6.根据权利要求1所述的一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识57.根据权利要求1所述的一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识优化跨视角一致性提取模块时，跨视角一致性的损失函数Lms(0,Y;B)如式(XVII)8.根据权利要求1所述的一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识表示嵌入空间中锚定样本特征向量和正样本特征向量之间的欧氏距69.根据权利要求1_8任一所述的一种视角缺失条件下的联合多视角信息瓶颈的跨视角g将注册数据集输入训练好的视角缺失条件下的联合多视角信息瓶颈的跨视角步态识gq将查询数据集中的每一个步态样本的最终的特征表示f与得到的qgg7[0001]本发明涉及一种视角缺失条件下的联合多视角信息瓶颈可细分为基于类能量图和基于步态轮廓序列的方法。基于类能量图的方法将轮廓序列叠提取时空信息的跨视角步态识别方法取得了较高的8[0020]自适应选择性特征融合模块用于对步骤A得到的判别性步态特征和步骤B得到的[0021]自适应选择性特征融合模块包括自适应特征选择组件和交流注意力特征融合组9[0027]多阶段空间特征提取单元即改进的ResNet网络；包括顺序连接的卷积层Conv_1、的二分之一；多阶段空间特征提取的输出为和[0039]将降维处理后得到的结果经过分离的全连接网络得到最终的跨视角全局提取模[0042]跨视角一致性提取模块包括两个完全结构一致的表征编码器和一个互信息估计[0043]对第四个基础残差模块的输出通过水平金字塔与池化与[0046]取其中一个优化后表征编码器输出的视角一致性表征z1作为跨视角一致性提取[0047]互信息估计器用于计算同一个人的两个视角v1,v2的表征z1，z2间的互信息I(z1；2)中独立采样。[0055]通过自适应特征选择组件对步骤A得到的判别性步态特征和步骤B得到的跨视角[0056]首先，将跨视角全局提取模块的输出Xcvce和跨视角一致性提取模块的输出权求和后的值与主输出流Xmain通过可学习特征缩放参数β进行加权融合，得到最终特征[0073]优化跨视角一致性提取模块时，跨视角一致性的损失函数如式[0083]将注册数据集输入训练好的视角缺失条件下的联合多视角信息瓶颈的跨视角步ggq[0084]将查询数据集中的每一个步态样本的最终的特征表示f与得到的注册数据集中qgg[0086]1、本发明提出的跨视角一致性提取模块能够在视角缺失时提取跨视角一致性的[0087]2、本发明提出的自适应选择性特征融合模块能够自适应的选择融合跨视角全局[0100]自适应选择性特征融合模块用于对步骤A得到的判别性步态特征和步骤B得到的[0101]自适应选择性特征融合模块包括自适应特征选择组件和交流注意力特征融合组[0103]本发明的整体框架如附图1所示。整体的网络架构为视角缺失条件下的联合多视[0107]根据实施例1所述的一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识疑是一项具有挑战性的任务。浅层卷积网络通常能够很好地捕捉到细粒度的像素点信息，的二分之一；多阶段空间特征提取的输出为和对应公式如式(II)所示：[0124]将降维处理后得到的结果经过分离的全连接网络得到最终的跨视角全局提取模块的输出结果对应的计算公式如式(III[0127]假设v1和v2是同一个人的不同视角，y是这个人身份标签，z)+I(v2)v1和z1之间的互信息最小化以减)，可以通过舍弃无关信息来提取视角一致性的表))的期望求平均值得加一致，促使模型学习到跨视角共享和一致的表示。系数β定义了压缩率和预测性能的权差网络作为表征编码器的基础架构。在这里，对ResNet_18进行了一些修改以适应步态任[0139]跨视角一致性提取模块包括两个完全结构一致的表征编码器和一个互信息估计[0142]对第四个基础残差模块的输出通过水平金字塔与池化与[0145]取其中一个优化后表征编码器输出的视角一致性表征z1作为跨视角一致性提取[0146]互信息估计器用于计算同一个人的两个视角v1,v2的表征z1，z2间的互信息I(z1；[0153]步骤C中，对步骤A得到的判别性步态特征和步骤)得到的跨视角共享的身份特征[0154]通过自适应特征选择组件对步骤A得到的判别性步态特征和步骤B得到的跨视角[0155]首先，将跨视角全局提取模块的输出Xcvce和跨视角一致性提取模块的输出辅助流Xsub用于后面的注意力图的计算。这一自适应特征选择的过程使得网络能够灵活地征的相关性来计算注意图，提出了交流注意力特征融合组件。对主输出流Xmain和辅助流提下，尽可能地舍弃冗余信息。可以得到跨视角一致性的损失函数如式al=Luiple+L[0185]将注册数据集输入训练好的视角缺失条件下的联合多视角信息瓶颈的跨视角步ggq[0186]将查询数据集中的每一个步态样本的最终的特征表示f与得到的注册数据集中qgg据集上，训练阶段设置批次(BatchSize)大小为4x8个步态序列有4个受试者的视角集合(typexviews)中的8个视角的步态序列。跨视角一