CN110378259A 一种面向监控视频的多目标行为识别方法及系统 （桂林电子科技大学）

一种面向监控视频的多目标行为识别方法本发明提出一种面向监控视频的多目标行为识别模型；预测视频当前帧中行人的位置信2建立目标检测数据集和行为识别数据集，并通过根据所述目标检测模型，预测视频当前帧中行人的根据所述当前帧目标检测框，及通过上一帧信息预测到根据所述目标框匹配度，将当前帧的目标检测框与当根据所述匹配信息，估计当前帧的行人目标框坐标，根据所述行人编号，将连续多帧中编号相同的行人图片若列表长度达到指定帧数阈值，则将列表中保存的行人图片输入到所述行为识别模在采集到的每张图片中以矩形框的形式标注出行人多均方差损失函数对预训练的目标检测神经网络进行微调，其中多分类i3在采集到的图片中，依据视频中行人移动的轨根据所述目标检测框，使用OpenCV裁出仅包含目标行人计算上一帧信息预测到的目标跟踪框与当前帧检测到目计算上一帧保存的表层特征和当前帧的表层特征之间的4根据本次预测的协方差矩阵Σt和当前帧行人目标框坐标预测出下一秒的行人目标将预测信息保存入轨迹中替代之前的目标跟踪框位置信训练模块，用于建立目标检测数据集和行为识别第二匹配模块，用于根据所述目标框匹配度，行为识别模块，用于在列表长度达到指定帧数5[0001]本发明属于视频分析领域，涉及一种面向监控视频的多目标行为识别方法及系标跟踪是多个目标框同时进行跟踪。利用跟踪算法可以保证识别动作的目标是同一个对[0005]而人体行为识别的方法是利用计算机自动的提取视频或者图像中的人体行为特成一个利用现有摄像头拍摄内容自行识别出复杂6利用第二双向反馈神经网络,基于所述每一帧图像的第一特征信息,获取所述每一帧图像的第二特征信息；基于所述第二特征信息,确定所述连续帧图像的每一帧图像中包含目标的一个或多个区域,其中,所述每一帧图像的所述第二特征信息综合所述每一帧图像的预目标检测步骤,获得已知类别的待跟踪目标,采用经训练的目标检测网络对当前视频帧进述待定目标的局部特征描述符,基于局部特征描述符获得各待定目标与之前视频帧中待跟踪目标的相似性,以相似性最大的待定目标作为当前视频帧中待跟踪目标的位置；201的所有检测结果对应的目标特征向量的相关矩阵,进而得到视频序列中所有在频序列内的跟踪结果。最后按时间轴对分段抽样的视频图像帧序列进行排序,将视频图像帧序列的目标检测跟踪轨迹和特征矩阵输入至神经网络模型,得到每个视频图像帧序列中每个目标的跟踪特征,利用此跟踪特征计算相邻两个视频图像帧序列之间所有目标的相个3D卷积神经网络，该3D卷积神经网络的输入层包括原始灰度图和注意力矩阵两个通道；7一种结合3D跃层连接和循环神经网络的人体行为识别方法，先将视频分成N份并提取L帧/[0016]根据所述目标框匹配度，将当前帧的目标检测框与当前帧的目标跟踪框进行匹[0022]在采集到的每张图片中以矩形框的形式标注出行人目标的位置8ii)表示标注的左上角坐标，表示预测的左上角坐标，wi[0039]计算上一帧信息预测到的目标跟踪框与当前帧检测到目标检测框之间的马氏距9[0045]将所述马氏距离和所述最小余弦距离加权求和，作为目标框匹配度保存为矩阵[0053]根据计算得的卡尔曼增益Kt，计算出当前帧行人目标框坐标以及协方差矩阵[0058]根据本次预测的协方差矩阵Σt和当前帧行人目标框坐标预测出下一秒的行[0077]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构[0089]采集实际使用环境建立图片，并且标注出每张图片目标对象的位置信息(左上角ii)表示标注的左上角坐标，表示预测的左上角坐标，wi[0097]为了拓展数据，这里采用反转图片和随机缩放(缩放的比例在20％以内)的并在HSV颜色空间中随机调整(调整大小在1.5倍以内熵公式(2)：[0103]设置网络模型训练过程的相关参数mini-batchsize为30。设置初始学习率为[0104]为了增加网络的拟合程度，先在公开数据集Kinetics对行为识别网络进行预训[0107]在需要进行监控的场景中布置摄像头，摄像机将拍到的图像以RGB图片的形式储[0120]根据步骤4中的匹配程度利用匈牙利法对预测目标框和检测目标框进行配对。如后存在多出的预测目标框尚未得到匹配，令Ai加1，当Ai大于阈值At(在此设阈值A[0128]之后根据本次预测的协方差矩阵Σt和当前帧行人目标框坐标预测出下一秒[0132]根据步骤6得到的当前帧行人目标框坐标(左上角坐标和宽高)，利用OpenCV裁剪[0136]读取步骤8中保存的列表，判断列表是否包含了行人帧数阈值n(在此设n＝16)的[0138]将列表中信息的图片全部