CN118334743B 一种公共场所中的人员逗留行为检测方法 （苏州罗盘网络科技股份有限公司）

本发明公开了一种公共场所中的人员逗留一步对目标数据进行监测处理，并结合Deep_SORT算法确定关联目标行人在多目标跟踪信息2噪计算公式为式中，G(Ovd)表示为原始视频数据Ovd的高斯函式中，P(x,,y,)表示为调整P(x,y)分辨率后新像素点坐在传输过程和存储前，对原始视频数据Ovd采用AES算法进Y,式中，X、Y分别表示为加密后数据信号Eds进行重新标准3y0)表示为卷积层在YOLOv5模型将批量归一化输出的特征图会用作预测训练，生出预测输Y(k0)＝则类别概率PC是采用归一化指数函数通过预测每一个锚框属于每个类别的概率分布，已知图像分割的网格单元的左上角坐标为(Gx,Gy)，宽度和高度分别为Gw、Gh，则采用4YOLOv5模型在训练时，通过前向传播算法调整网络参数算公式为式中，L(CIoU)表示为k)表示为检测对象属于类别k的真实概率，p(PC)k表示为检测对象属于类别k的预测概位置融合处理是采用平均融合算法获取检测目标行人最终的边界框坐标构建行人目表示为融合框的置信度，k表示为类别总数，N2表示为检测到的边界框的个数，Yxi、Yyiii分别表示为每个边界框的坐标位置和宽高；S4、行人重识别：采用ReID技术将公共场景中不同使用卷积神经网络CNN模型从行人目标数据集Ptd中学习并提取具有区分度的行为特5使用欧氏距离计算两个特征向量之间的距离进行特征匹配，n表示为目标行人的行为特征信息f(Ptd)和多目标的运动轨迹信息H的最小距离成本，n表示为检测目标的个数，则根据检测目标和对应的轨迹计算出彼此关通过多目标的运动轨迹信息H(Ptd|t0+1)n和轨迹关联数据rgn，采用路Bi(",y"),-H(pudh,+1),xrg,,式中，Bit":,"h,表示为多目标行人的最佳运动轨迹信任意选定一个多目标行人的最佳运动轨迹信息并从目标行人的所在轨迹np-丽丽研:6读取加密待处理数据Tds，利用AES密钥进行逆算法解密，则AES解密计算公式为x2YOLOv5模型将目标特征图的图像分割为一个个网格单元，基于YOLO7用非极大值抑制NMS比较交并比阈值来移除重叠的边界框，确保每个真实目标只有一个边来预测当前帧内t0时刻目标的位置和速度状态，则卡尔曼滤波的预测计算公式为且1)表示为上一时刻t0_1时刻行人目标数据集Ptd的式中，表示为目标状态H(Ptd|t0)和检测Ptdt0之间的总距离，λ表示为平衡距离的参数，表示为矩阵乘积，表示为基于卡尔曼滤波预测的马氏距离，表示为目标状态H(Ptd|t0)和检测rd,之间基于余弦相似度的预测值；再次对每个匹配的目标和检测对，使用卡尔曼滤波的更新步骤来更新的新状态，则更新卡尔曼滤波的新状态计算公式为K(t0)＝P(t0_1)xH(t0)Tx(H(t0)xP(t0_1)xH(t0)T+R(t0))_1，且H(Ptd|t0+1)＝H(Ptd|t0)+K(t0)x(B(Ptd)t0_H(t0)xH(Ptd|0)表示为观测噪声协方差，P(t0_1)表示为上一时刻t0_1时刻的状态协方差矩H(Ptd|t0)表示为当前t0时刻行人目标数据集Ptd的状态预测值，B(Ptd)t0表示为行人目标8每个跟踪目标的位置随时间的变化被记录下来，形成运动轨迹，态和基于新观测数据更新状态实现轨迹平滑来优化目标的使用YOLOv5模型在当前帧的目标数据中检测出目标行人的位置信根据检测的预测目标边界框中提取特征，并确定检测对象置信度，从行使用匈牙利算法来匹配检测目标所在的轨迹，并使用卡尔曼根据卡尔曼滤波平滑轨迹技术通过预测当前状态和基于新观测数9行业内的常规技术包括基于视频分析和基于传感器[0003]基于视频分析的人员逗留算法通常使用计算机视觉技术和深度学习算法来检测则降噪计算公式为式中，G(Ovd)表示为原始视频数据Ovd的高tt[0028]读取加密待处理数据Tds，利用AES密钥进行逆算法解密，则AES解密计算公式为数据Ovd中可操作的帧序列的色彩空间进行转换，即从BGR转换为RGB格式，得到格式化数1x表分别表示为图像中相邻四个像素值目标点与原像素点[0031]归一化处理是将图像缩放数据Sd2内的每个像素值范围[0,255]归一化到[0,1]范30Sd21过采用非极大值抑制NMS比较交并比阈值来移除重叠的边界框，确保每个真实目标只有一y0)表示为卷积层在位置(x0000+i0公式为且[0041]YOLOv5模型将批量归一化输出的特征图会用作预测训练，生出预0)＝[0042]则类别概率PC是采用归一化指数函数通过预测每一个锚框属于每个类别的概率模型预测出目标特征的得分，Y(k0)m表示为预测输出值Y(k0)在当前m类别的特征向量，表示为k个类别的特征向量求和；测输出值Y(k0)设定预测边界框的中心坐标值为(Yx,Yy)，预测边界框的宽高度分别为Yw、和网格单元真实框(Gx,Gy)中心点的欧氏交叉熵损失算法计算出的预测的类别分布与真实类别分布之间差异损失值，k表示为类别k)表示为检测对象属于类别k的真实概率，p(PC)k表示为检测对象属于类别k的预[0047]位置融合处理是采用平均融合算法获取检测目标行人最终的边界框坐标构建行i分别表示为每个边界框的坐标位置和宽高。行人目标数据集中的多目标进行高效且准确波器来预测当前帧内t0时刻目标的位置和速度状态，则卡尔曼滤波的预测计算公式为且[0051]根据卡尔曼滤波预测的目标状态H(Ptd|t0)和当前t0时刻观测到的检测pid,,并使用匈牙利算法来分配检测目标所在的轨迹，则匈牙利算法的轨迹计算公式为表示为目标状态H(Ptd|t0)和检测prd,之间基于余弦相似度的预测值；测值，B(rd),表示为行人目标数据集Ptd的控制输入矩阵，即当前t0时刻行人目标数据集Ptd的观测值，P(t0+1)表示为下一时刻t前状态和基于新观测数据更新状态实现轨迹平滑来优[0064]使用卷积神经网络CNN模型从行人目标数据集Ptd中学习并提取具有区分度的行[0065]使用欧氏距离计算两个特征向量之间的距离进行特征匹配，产生关联的距离矩f(Ptd)设定两个特征向量式中，的行为特征信息f(Ptd)和多目标的运动轨迹信息H(Ptd|t0+1)n，并关联成本矩阵并寻找最n表示为目标行人的行为特征信式中，Bi(x",y",表示为多目标行人的最佳运动轨迹信[0071]任意选定一个目标行人的最佳运动轨迹信息Bi(x",y"),,并从目标行人的所在轨t[0082]本发明提供了如图1所示的一种公共场所中的人员逗留行为检测方法，包括步骤以提高原始视频数据的准确性，则降噪计算公式为式中，G(x,y)点到P(x+i,y+j)点之间距离加权平均tt[0092]读取加密待处理数据Tds，利用AES密钥进行逆算法解密，则AES解密计算公式为数据Ovd中可操作的帧序列的色彩空间进行转换，即从BGR转换为RGB格式，得到格式化数1x表分别表示为图像中相邻四个像素值目标点与原像素点[0095]归一化处理是将图像缩放数据Sd2内的每个像素值范围[0,255]归一化到[0,1]范30标系的位置x1′0公式为且0)＝[0107]则类别概率PC是采用归一化指数函数通过预测每一个锚框属于每个类别的概率模型预测出目标特征的得分，Y(k0)m表示为预测输出值Y(k0)在当前m类别的特征向量，起来等于一；测输出值Y(k0)设定预测边界框的中心坐标值为(Yx,Yy)，预测边界框的宽高度分别为Yw、式中，L(CIoU)表示为CIoU损失函真实框(Gx,Gy)中心点的欧氏距离，表示为预测框和真实框两个框的最小闭包区域的对交叉熵损失算法计算出的预测的类别分布与真实类别分布之间差异损失值，k表示为类别k)表示为检测对象属于类别k的真实概率，p(PC)k表示为检测对象属于类别k的预[0112]位置融合处理是采用平均融合算法获取检测目标行人最终的边界框坐标构建行iii分别表示为每个边界框的坐标位置和波器来预测当前帧内t0时刻目标的位置和速度状态，则卡尔曼滤波的预测计算公式为且[0118]根据卡尔曼滤波预测的目标状态H(Ptd|t0)和当前t0时刻观测到的检测pid,,并使用匈牙利算法来分配检测目标所在的轨迹，则匈牙利算法的轨迹计算公式为表示为目标状态H(Ptd|t0)和检测prd,之间基于余弦相似度的预测值；测值，Blrd),表示为行人目标数据集Ptd的控制输入矩阵，即Ptd的观测值，P(t0+1)表示为下一时刻t[0132]使用卷积神经网络CNN模型从行人目标数据集Ptd中学习并提取具有区分度的行[0133]使用欧氏距离计算两个特征向量之间的距离进行特征匹配，产生关联的距离矩f(Ptd)设定两个特征向量T),T,,式中，的行为特征信息f(Ptd)和多目标的运动轨迹信息H(Ptd|t0+1)n，并关联成本矩阵并寻找最