CN114038056B 一种跳跃式及下蹲式逃票行为识别方法 （同济大学）

ShizeHuang等.Adete本发明提供了一种跳跃式及下蹲式逃票行2(2)利用人体关键点检测算法对每一帧图像进行检测，获得每一帧图像的人体骨架数(3)利用多目标跟踪算法对连续多帧图像中的行人进行多目标跟踪，得到每一个行人果用独热码表示为{ot,o},其中ot和的定义如下：通过以上独热码编码方法，关于行人状态的时间序列Y(pred)变成了两条时间序列O1和(6b)对编码后的时间序列进行卡尔曼滤波，卡尔曼滤波器包含预测和更新两部分工3(6c)对滤波后的时间序列进行阈值分割；通过设置阈值的方法将O_kf1和O_kf2进行离th2进行逆变换，即得到行人状态时间序列为Y(pred)经过卡尔曼滤波其处理后的结果其具体转换规则如下：2.根据权利要求1所述的跳跃式及下蹲式逃票行为识其中ρ1和分别为第一阶段的CNN结构，之后的每一个阶段的输入都来自前一个阶段的预4候选关节点表示第j1类关节点的第m个关候选关节点表示第j2类关节点的第n个关表示候选关节点和候选关节点之间是否有线连接，跳=1表示两者有线numf表示第t帧图像中第i个行人的人体姿态估计结果中关节点置信度大于0.2的关节3.根据权利要求2所述的跳跃式及下蹲式逃票行述的OpenPose算法使用BODY_25人体骨架模型对人体关键点进行检测并对肢体进行连接和54.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，后的前num个关节点检测框交并比的平均值作为行人C1和行人P1之间关节点检测框交并比素直接剔除；将排序后的前num个关节点检测框的特征点交并比的平均值作为行人之间关节点检测框的特征点交并比ORBpose23的行人进行匹配，基于所有行人匹配指标S最大的匹配原则对当前帧中的行人和行人候选假设当前帧中有M个行人，行人候选集中有N个行人，当前帧中的行人Ci与行6ij的赋值规则如下：通过匈牙利算法对以上模型进行求解得到行人匹配状态矩阵K，即得到当前帧中的行(3e1)若行人候选集中的行人与当前帧中的行人匹配成功，则用当前帧中的行人信息(3e3)若当前帧存在一个行人Cx没有与行人候选集中的行人匹配成功，将该行人加入5.根据权利要求1所述的跳跃式及下蹲式逃票(4a)相对距离关系：距离关系是用来描述人体骨架中任意一对关节点在空间上的远un-严ii)和(xj,yj)分别表示关节点Ji和关节点Jj在同一iijjeefef在同一时刻的位置7采用计算相对距离关系时所使用的方法，将得到瞬时速度除以该行人在t时刻的半关节点Ji在t时刻沿着脊椎方向矶的相对速度Vi,t为：6.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方7.根据权利要求1或者6所述的跳跃式及下蹲9.根据权利要求1所述的跳跃式及下蹲式逃票行为识别列中的每一个人体骨架作为逃票行为检测模型的输入，得到该行人状态随时间变化情况，89铁站自主逃票行为进行检测和识别，通过监控视频及时捕捉到乘客的逃票行为并进行制[0009](2)利用人体关键点检测算法对每一帧图像进行检测，获得每一帧图像的人体骨[0010](3)利用多目标跟踪算法对连续多帧图像中的行人进行多目标跟踪，得到每一个行人的人体骨架序列；[0015](2a)：第一阶段网络产生一组检测置信度图S1=ρ1(F)和一组关节仿射场图L'=P'(r),其中ρ1和分别为第一阶段的CNN结构，之后的每一个阶段的输入都来自前一[0038]numf表示第t帧图像中第i个行人的人体姿态估计结果中关节点置信度大于0.2排序后的前num个关节点检测框交并比的平均值作为行人C1和行人P1之间关节点检测框交的元素直接剔除；将排序后的前num个关节点检测框的特征点交并比的平均值作为行人之间关节点检测框的特征点交并比ORBps集中的行人进行匹配，基于所有行人匹配指标S最大的匹配原则对当前帧中的行人和行人ij的赋值规则如下：[0065]通过匈牙利算法对以上模型进行求解可以得到行人匹配状态矩阵K，即可得到当[0067](3e1)若行人候选集中的行人与当前帧中的行人匹配成功，则用当前帧中的行人=0,1,…,14和i≠j的条件；dis_shoulder表示同一时刻下该行人左肩关节点J5与右肩关供关键的动态信息，通常采用关节点在vt时间内的平均速度来作为关节点在t时刻的瞬时[0090]进一步的步骤(6)所述的时间序列曲线，是利用人体姿态估计和行人跟踪获取的预测结果ypred)用独热码表示为{of,o},其中ot和o'的定义如下：[0097]通过以上独热码编码方法，关于行人状态的时间序列Y(pred)变成了两条时间序列t-1表示t-1时刻的最优估计值，B表示表示可[0107](6c)对滤波后的时间序列进行阈值分割；通过设置阈值的方法将O_kf[0112](6d)对分割后的时间序列进行独热码逆变换；按照定义的独热码编码规则对O_[0118](3)充分利用时空特征，规避了基于单帧骨架信息的逃票行为检测模型造成的误[0132](2)利用人体关键点检测算法对每一帧图像进行检测，获得每一帧图像的人体骨[0133](3)利用多目标跟踪算法对连续多帧图像中的行人进行多目标跟踪，得到每一个行人的人体骨架序列；[0139]步骤(2)中所述的利用OpenPose算法的BODY_25人体骨架模型对人体关键点进行[0140](2a)：第一阶段网络产生一组检测置信度图S1=ρ1(F)和一组关节仿射场图L'=P'(P),其中ρ1和分别为第一阶段的CNN结构，之后的每一个阶段的输入都来自前一[0163]numf表示第t帧图像中第i个行人的人体姿态估计结果中关节点置信度大于0.2[0166]步骤(3)所述的利用PoseFlow算法对行人进行多目标跟排序后的前num个关节点检测框交并比的平均值作为行人C1和行人P1之间关节点检测框交的元素直接剔除；将排序后的前num个关节点检测框的特征点交并比的平均值作为行人之间关节点检测框的特征点交并比ORBpos集中的行人进行匹配，基于所有行人匹配指标S最大的匹配原则对当前帧中的行人和行人ij的赋值规则如下：[0190]通过匈牙利算法对以上模型进行求解可以得到行人匹配状态矩阵K，即可得到当[0192](3e1)若行人候选集中的行人与当前帧中的行人匹配成功，则用当前帧中的行人=0,1,…,14和i≠j的条件；dis_shoulder表示同一时刻下该行人左肩关节点J5与右肩关则关节点Ji在t时刻沿着脊椎方向矶的相对速度Vi,t为：[0215]本发明中，步骤(5)所述的基于机器学习的跳跃式及下蹲式逃票行为检测模型为用特征xj在决策树节点t分枝前后基尼指数的预测结果vrei)用独热码表示为{of,o},其中和的定义如下：[0236]通过以上独热码编码方法，关于行人状态的时间序列Y(pred)变成了两条时间序列[0244]利用卡尔曼滤波算法对4.4.1中得到时间序列O1和O2进行处理，得到时间序列O_[0246](6c)对滤波后的时间序列进行阈值分割。通过设置阈值的方法将O_kf[0251](6d)对分割后的时间序列进行独热码逆变换。按照定义的独热码编码规则对O_现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0260]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/