CN114187653B 一种基于多流融合图卷积网络的行为识别方法 （复旦大学）

院一种基于多流融合图卷积网络的行为识别明主要通过提取并融合多类行为信息进行行为与摄像机距离等因素对人体骨架数据表示的影明针所提出的方法更加有效的利用了多类行为2数据预处理阶段，利用骨架规范化模块对输入的人体骨架序列特征提取阶段，利用时空图卷积网络分别提取关节点数据和f2特征提取阶段中，通过时空图卷积网络来提取关节数据、骨在步骤(1)得到的人体骨架时空图上进行时空图卷积，空间上的图卷积采用ST-GCN实3特征提取阶段中，时空图卷积网络由一个批规范化BN层和首先对输入骨架序列进行位置规范化处理，即给定人体骨架序列其中,xtyvx＝x1,5-x1,2yyproi,(e.n)表示v1,0在vx上的投影；4和p3L=αL0+βL1+γL2+δL3和L3分别是每一类特征对应的损失，γ和δ分别是每一种损失的权重。5识别方法。该方法是针对现有模型没有很好的挖掘多类信息间互补性这一缺陷进行的改6t+f1+f2。[0016]首先对输入骨架序列进行位置规范化处理，即给定人体骨架序列x=fxe1,其yy7U为H和M的并集。[0050]在步骤(1)得到的人体骨架时空图上进行时空图卷积，空间上的图卷积采用ST-8和p3和L3分别是每一类特征对应的损失，[0070]本发明提出一种基于多流融合图卷积网络的行为识9t+f1+f2。[0083]首先对输入骨架序列进行位置规范化处理，即给定人体骨架序列x={xe1,其yy[0112]在步骤(1)得到的人体骨架时空图上进行时空图卷积，空间上的图卷积采用ST-[0118]时空图卷积网络由一个批规范化(BN)层和六个连续的时空图卷积单元(G1至G6)两拼接，特征的维度由变化为256XXN:将拼接后的特征输入到两个连续的和L3分别是每一类特征对应的损失，为NVIDIATitanXP12GB，内存64GB，操作系统为Ubuntu16.04(64位)，编程语言为88.595.185.291.789.295.089.396.0[0144][1]ShiL,ZhangY,ChengJ,etal.Two-streamadaptivegraphconvolutionalnetworksforskeleton-basedactionrecognition[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2019:12026-12035.[0145][2]LiS,YiJ,FarhaYA,etal.PoseRefinementGraphConvolutionalNetworkforSkeleton-BasedActionRecognition[J].IEEERoboticsandAutomationLetters,2021,6(2):1028-1035.[0146][3]HuangL,HuangY,OuyangW,etal.Part-LevelGraphConvolutionalNetworkforSkeleton-BasedActionRecognition[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence.2020,34(07):1104