CN119169536B 一种基于多源数据融合的智能视频监控方法及系统 （青岛宝森网络科技有限公司）

一种基于多源数据融合的智能视频监控方本发明提供了一种基于多源数据融合的智预处理后的视频数据输入到时空特征编解码网能够融合多源监控数据并适应不同场景和光照2S2，将预处理后的视频数据输入到时空特征编解码S3，基于S2得到的行人图像异常行为检测初步结Fg，局部特征Fg输入到特征映射模块获得超球面域映射特征FC；所述特征识别网络基于首先采用超球面流形损失函数对特征识别网络进行训练，加类别之间的向量夹角;表示第个行人图像的异常行为预测输出向量与真实标签向量之间的夹角；然后构建KL散度约束训练特征识别网络；即使用基于Kullbac约束方法来衡量同一个人不同模态的概率预测值p1和p2之间的相似性，提高跨模态特征S5，将S4获得的特征向量输入基于双对齐特征嵌3采用主干网络和全局平均池化层提取FC的细粒度特征，接着使用了卷积层和批归一化层时空一致性判别器，将可见光视频数据和红外视频数据x'输入时空特征编解码网络获z=μ+oe其中，e是一个零到一之间的随机向量，u和o2分别为v在高维空间中所服从的标准正在采样过程中使用KullbackLeibler离散度做重采样的4个高度和宽度相同的张量在通道维度上直接合并；2D解码模块中的卷积操作均为二维卷所述像素级的误差平方函数Lrec，通过最小化如下代价函数来训练整个时空特征编解,表示时间通道的级联，i表示维度与D(csen)一致单位矩阵；cgt为实际的视频帧序列，相应的真实的视频帧xk+1与输入到时空特征编解码网络中的解5时空一致性增强网络的训练过程使用时空特征编解码网络中的解码器和时空一致性S5中基于双对齐特征嵌入的跨模态行人特征S52，将特征图沿垂直方向随机分为K个无重叠的部分后对其中mk为2048维度的特征向量；基于双对齐特征嵌入的跨模态行人特征配准网络通过模态一致性度量学习策略进行训练，所述类内分布约束损失函数通过最小化如下公式来实现最小化离散度，获得类内其中uv和u分别是可见光模态行人特征和红外模态行人特征的均值，o"和o'是可见6所述类间相关性约束损失函数L.的具体计算公式如下：6.一种基于多源数据融合的智能视频监控系统，所述后端服务器内部部署有视频预处理模块、时空特征编解码网络、异所述视频预处理模块用于对多源视频进行标准化、去噪，并对空间所述时空特征编解码网络，用于将预处理后的视频数据输入，得到行所述基于双对齐特征嵌入的跨模态行人特征配准网络用于获得最终的行人图像异常7所提供的信息具有互补性，融合这些多源数据可以显著提升监控系统的鲁棒性和适应能有异常事件检测模型在处理与正常事件差异不大的8[0012]S5，将S4获得的特征向量输入基于双对齐特征嵌入的跨[0013]优选的，所述S1中多源视频数据包括可见光行人视频数据和红外光行人视频数空特征编解码网络获得异常行为检测初步结果的具体[0021]v=E;(m)；9[0031]mg=D,((mf,T(m)))；一致性训练策略的代价函数由像素级的误差平方函数和对抗实际的视频帧序列，相应的真实的视频帧与输入到时空特征编解码网络中的解码器中[0047]时空一致性增强网络的训练过程使用时空特征编解码网络中的解码器和时空一[0049]将S3获得的行人图像输入特征学习模块获得图像的局部特征，具体计算公式不同模态的域详细特征被映射到了同一个超球面流形上，得到超球面流形上的域共享特[0056]首先采用超球面流形损失函数对特征识别网络进行训练为类别之间的向量夹角;表示第个行人图像的异常行为预测输出向量与真实标签向量概率约束方法来衡量同一个人不同模态的概率预测值和之间的相似性，提高跨模态特[0068]S52，将特征图沿垂直方向随机分为K个无重叠的部分后[0071]S53，将细粒度特征输入卷积层和批归一化层降低的维度，将其降为维度为[0084]其中为一个批次的红外图像的皮尔逊相关系数矩阵c'中的第i个元素，为一个[0094]所述基于双对齐特征嵌入的跨模态行人特征配准网络用于获得最终的行人图像[0097]2.针对难以有效统一跨模态行人重识别中多模态视频数据的特征提取与度量学输入时空特征编解码网络获得异常行为检测初步结果的具体步[0111]将输入依次串联的5个3D编码模块后得到的隐层特征向量，具体计算公式如[0116]v=E;(m)；[0121]在采样过程中使用KullbackLeibler离散度做重采样的约束条件保证重采样后[0124]将输入依次串联的5个2D解码模块后被解码为输入序列的下一帧图[0126]mg=D,((mf,T(m)))；编解码网络中的3D编码模块和2D解码模块能充分学习行人视频中每一帧图像之间的时空一致特征，时空一致性训练策略的代价函数由像素级的误差平方函数和对抗损失函数组实际的视频帧序列，相应的真实的视频帧与输入到时空特征编解码网络中的解码器中[0147]时空一致性增强网络的训练过程使用生成器和判别器交替训练的方式直到二者[0156]将获得的行人图像输入特征学习模块获得图像的局部特征，具体计算公式如不同模态的域详细特征被映射到了同一个超球面流形上，得到超球面流形上的域共享特Kullback_Leibler离散度的概率约束方法来衡量同一个人不同模态的概率预测值p和pa之[0172]五、构建基于双对齐特征嵌入的跨模态行人特征配准网络，该网络结构如图4所[0174]本发明构建基于双对齐特征嵌入的跨模态行人特征配准网络获得最终的行人图均池化层提取RC的细粒度特征，接着使用了卷积层和批归一化层来减少细粒度特征的维[0178]2）将特征图沿垂直方向随机分为K个无重叠的部[0181]3）将细粒度特征输入卷积层和批归归一化层降低的维度，将其降为维度为[0184]本发明通过模态一致性度量学习策略对基于双对齐特征嵌入的跨模态行人特征其可见光模态的图像和红外模态的图像是该行人这一客观主体在不同模态表示空间的不一个行人可见光图像特征分布应当尽可能地与其红外光图像特征分布相近似。使用Jensen_Shannon离散度衡量两个分[0197]其中w和w分别是特征f和fi的均值，和(o)2是由协方差矩阵z,和B[0202]将一个可见光批次中的累积特征记为f"-1,2…N)，与其对应的红外光批次中的通过计算一个可见光批次中的每两个图像之间的特征f"的皮尔森相关系数可以得到可[0204]其中，表示可见光一个批次的图像特征中的第i个特征f:"和第i个特征f;"的相关[0208]通过构造一个相关损失函数以约束矩阵cv和c'[0210]其中为一个批次的红外图像的皮尔逊相关系数矩阵c'中的第i个元素，为一个批次的可见光图像的皮尔逊相关系数矩阵cv光行人视频数据和可见光摄像头采集的可见光行人视频数据输入后端服务器后进行视频[0220]为了验证本发明的方法的有效性和鲁棒性，本发明选择ShanghaiTechCampus损失函数数值，每一条曲线代表一次实验。6次实验模型训练过