CN118447576B 一种基于骨架时空联合特征交互增强的跨视角步态识别方法 （山东大学）

WO2024021394A1,2024.0一种基于骨架时空联合特征交互增强的跨本发明涉及一种基于骨架时空联合特征交2全局时空特征提取网络用于提取关键点间的全局空间关系和长程时微时空联合特征提取网络用于建模关键点间的短程时空依赖即微时空联分层特征交互增强融合模块用于融合全局时空特征提取网络和微时空联合特征提取整体框架包括全局时空特征提取网络、微时空联合特征提独立计算全局时空特征提取网络、微时空联合特征提取网络和分交互增强融合模块的损失的平均值来监督整体框将注册集和查询集的步态骨架序列送入训练好的整体框架，通过比较全局时空特征提取网络包括全局空间特征提取网络及长程c、全局空间特征提取网络构建；对于输入其中，是线性层可学习的参数矩阵，Ck表示线性层输出张量的通道维3计算H头自注意力A",he{0,…,H-1}:d、长程时间特征提取网络构建；对步骤c全局空间特征提取网络的输出特征通过卷积核大小为9x1的时间卷积提取时间特征：N(F))(9)首先在人体骨架图序列设置一个大小为τ的时间滑动窗口；时间滑动窗口在人体骨架图序列上以步长为1滑动，每滑动一步，都产生一个微时空子图，t时刻的微时空子图其中是窗口中τ帧骨架图的节点组成的节点集，其节点特征用张量表示为时空边用时空邻接矩阵表f、时空联合图卷积运算；在步骤e定义节点特征和K跳时空邻接矩阵4为第l层微时空联合特征提取网络中时空联合图卷积运算的输入和输出特征，v3d(reshape1(F?')))(15)·)将特征维度由TxτNxCl变换为ClxTxτxN，Cl+1xTx1xN变换为TxNxCl+1，进而得到第l层微时空联合特征提取网络最终的输出特征2.根据权利要求1所述的一种基于多尺度骨架时空特征提取的跨视角步态识别方法，3.根据权利要求1所述的一种基于多尺度骨架时空特征提取的跨视角步态识别方法，T帧人体骨架图组成S={srnERIt,nEN,t<T,n<N和快速运动F=ifneRIt,neN,t<T,n<N}两5骨骼角度集E=fernERIt,neN,t<T,n<N],其对应张量表示为sFBSFB4.根据权利要求1所述的一种基于多尺度骨架时空特征提取的跨视角步态识别方法，和微时空联合特征提取网络的中间层特征为全局时空特征提取网络和微时空联合特征提取网络的通道维度调·)分别全局时空特征提取网络和微时空联合特征提取网络的通道维度调整网络；6息并生成注意力向量；以Ffs1作为源特征、Ffs2作为待增强的目标特征，对于源特征2将时间、空间和通道维度的注意力权重进行逐元素相乘，通过广播5.根据权利要求1所述的一种基于多尺度骨架时空特征提取的跨视角步态识别方法，7t得到微时空联合特征提取网络和分层特征交互增强融合模块最终的输出特征和将输出特征和拼接作为整体框架最终的输出特征Fout：6.根据权利要求1所述的一种基于多尺度骨架时空特征提取的跨视角步态识别方法，全局时空特征提取网络的三元组损失的计算方式如得到微时空联合特征提取网络和分层特征交互增强融合模块的损失函数7.根据权利要求1_6任一所述的一种基于多尺度骨架时空特征提取的跨视角步态识别8往借助于中间向量处理骨架这种非欧几里得空间的图结构数据，图卷积网络(GCN)的发展键点间特征的空间图卷积和用于建模序列时间特征的一维时间卷积组成。Teepe等人提出9上一帧膝关节的运动会带动下一帧踝关节的运动。忽略这种相关性会削弱模型的表示能部位需要根据关键点语义人工划分，因此对于不同的关键点形式需要设计不同的划分策计算自注意力邻接矩阵用于提取全局空间关系，然后通过大核时间卷积建模长程时间关[0018]微时空联合特征提取网络用于建模关键点间的短程时空依赖[0020]分层特征交互增强融合模块用于融合全局时空特征提取网络和微时空联合特征特征交互增强融合模块的损失的平均值来监包括N个表示人体关键点的节点；边集ε包括表示关键点间连接的边，采用邻接矩阵骨架图组成的序列为输入，其节点特征集合x={xrneRIt,neN,[0031]相对关键点位置集R=frrnER"It,neEN,t<T,n<N],其对应张量表示为连接的关键点xt,adj的坐标之差来表示，骨骼长度集B={b,neR"It,neN,t<T,n<N]},[0051]计算H头自注意力A",he(0,…,H-1}:[0055]d、长程时间特征提取网络构建；对步骤c全局空间特征提取网络的输出特征通过卷积核大小为9×1的时间卷积提取时间特N(F))(9)图其中是窗口中τ帧骨架图的节点组成的节分别为第l层微时空联合特征提取网络中时空联合图卷积运算的输入和输出特征，Ff,F",…,F和微时空联合特征提取网络的中间层特征[0074]F,-ii为全局时空特征提取网络和微时空联合特征提取网络的通道维度调·)分别全局时空特征提取网络和微时空联合特征提取网络的通道维度调整网络；效信息并生成注意力向量；以Ffs1作为源特征、Ffs2作为待增强的目标特征，对于源特征[0081]其中，ateRI11,reshape1(·)将特征维度由T×N×Cfs转换为Cfs×T×N，是两个全连接层可学习的参数矩阵，r是维度缩减因[0093]将Ffs2作为源特征、Ffs1作为待增强的目标特征，得到Ffs2增强后的输出特征pool,(Ff")(25)oI,(r")(26)[0101]得到微时空联合特征提取网络和分层特征交互增强融合模块最终的输出特征和全局时空特征提取网络的锚样本步态特征，为与锚样本身份相同的正样本步态特征，[0108]得到微时空联合特征提取网络和分层特征交互增强融合模块的损失函数和通过时空联合图卷积捕捉关键点间微小的短出信息量更大的互补特征的同时避免了对原始分支[0122]图5为本发明提出的基于骨架时空联合特征交互增强的跨视角步态识别方法的整计算自注意力邻接矩阵用于提取全局空间关系，然后通过大核时间卷积建模长程时间关[0131]微时空联合特征提取网络用于建模关键点间的短程时空依赖[0133]分层特征交互增强融合模块用于融合全局时空特征提取网络和微时空联合特征特征提取网络和分层特征交互增强融合模块的三元组损失，并使用全局时空特征提取网征维度一致，全局时空特征提取网络、微时空联合特征提取网络每层网络的名称均为[0142]根据实施例1所述的一种基于多尺度骨架时空特征提取的跨视角步态识别方法，骨架图组成的序列为输入，其节点特征集合x=fxrnER"It,neN,t<T,n<N},用张量以规范化关键点坐标。相对关键点位置集R=frrnERCIt,neN,t<T,n<N},其对应张B=fbrnERIt,neN,t<T,n<N},其对应张量表示为bt,n由下式计算：[0157]骨骼角度集E=fernERIt,neN,t<T,n<N},其对应张量表示为[0164]如图1所示，全局时空特征提取网络包括全局空间特征提取网络及长程时间特征A",he(0,…,H-1}:[0172]d、长程时间特征提取网络构建；对步骤c全局空间特征提取网络的输出特征通过卷积核大小为9×1的时间卷积提取时间特图其中是窗口中τ帧骨架图的节点组成的节C表,示第i帧骨架图关键点与第j帧骨架图中对应空间相邻位分别为第l层微时空联合特征提取网络中时空联合图卷积运算的输入和输出特征，为了减少参数量，通道维数在这里保持不变，在后续步骤g的窗口维度压缩中改变通道维数；[0186]为了提高模型的灵活性，本发明为时空联合图卷积设计两个可学习的参数分别为第l层微时空联合特征提取网络中时空联合图卷积运算的输入和输出特征，为了减少参数量，通道维数在这里保持不变，在后续步骤g的窗口维度压缩中改变通道维数；和微时空联合特征提取网络的中间层特征为全局时空特征提取网络和微时空联合特征提取网络的通道维度调12u'eR,reshape1(·)将特征维度由T×N×Cfs转换为Cfs×T×N，wc2egcIi/rxcf是两个全连接层可学习的参数矩阵，r是维度缩减因[0212]其中，pen1eRTxwxcf为Ffs1增强后的输出特征；提取网络的输出特征和分层特征交互增强融合模块的输出特征e、r"、Fen1、Fen2分别输Ff",池化过程用公式表示为：pool.(Ff")(25)pool,(r")(26)[0221]通过上述相同方法得到微时空联合特征提取网络和分层特征交互增强融合模块全局时空特征提取网络的锚样本步态特征，为与锚样本身份相同的正样本步态特征，[0228]通过上述相同方法得到微时空联合特征提取网络和分层特征交互增强融合模块Fout作为每个步态骨架序列的特征表示，用每个步态骨架序列的特征表示构建注册集的特算，最终将查询样本的身份识别为与其特征欧氏距