CN114821421B 一种交通异常行为检测方法与系统 （南京理工大学）

段输入孪生互相关与P3D-Attention结合网络模为异常目标车辆，结合发生异常行为时的视频用本发明能够提高对交通异常静止车辆状态检2通过背景建模，将交通监控视频每一帧中正常移动的车辆从框架中对通过背景建模提取的每一帧背景进行透视图裁剪，根据车辆大小通监控视频进行裁剪的裁剪框；每隔第一帧数对所述交通监控视频进行一次异常目标检根据异常目标车辆检测结果进行异常开始时间估计，包括所述异常车辆状态检测，将所述异常目标车辆的裁剪图片与所述裁剪视生互相关与P3D-Attention结合网络模型，检测所述裁剪视频片段中的异常目标是静止状通过P3D-Attention模块分别提取输入的异常目标车辆的裁剪图片的特征图、输入的视频关操作结果使用multiply方法将输入图片和输入视频经过孪生互相关操作后提取的特征图与互相关之前经过P3D-Attention模块提取出的输入的视频片段每一帧的特征图融合；所述异常目标匹配，将待匹配的车辆图片与异常目标车辆的裁剪图输入所所述P3D-Attention模块由1×3×3卷积核和3×1×1卷积核分别在空间域和时间域上34.根据权利要求1所述的交通异常行为检测方法，其特征在于，所述P3D-块还包括提高重要特征的相关度的双通道注意力模块和空5.根据权利要求4所述的交通异常行为检测方块通过空间域上的1×3×3卷积核和时间域上3×1×1卷积核结合成3×3×3卷积，学习帧的权重来表达对通道的关注；其中F代表特征图reRooci的7.一种交通异常行为检测系统，实现根据权利异常目标检测模块，对通过背景建模提取的每一帧背景进行将所述异常目标车辆的裁剪图片与所述裁剪视频片段输入孪生互相关与P3D-Attention结异常目标车辆的裁剪图输入所述孪生互相关与P3D-Attention结合网络，确定该待匹配的显示模块，显示输入的视频、图像信息和输出的异常行为检测位4[0001]本发明属于智能视频分析技术领域，具体涉及一种交通异常行为检测方法与系[0005]基于分类的异常行为检测方法，将带有标签信息的异常排名模型可以在Real-world数据集上获得较行轨迹估计，以找到异常轨迹进行异常检测。《ZhaoJ,YiZ,PanS,etal.UnsupervisedTrafficAnomalyDetectionUsingTrajectories[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognitionWorkshops,5督异常检测问题。《BaiS,HeZ,LeiY,etal.TrafficAnomalyDetectionviaPerspectiveMapBasedonSpatial-TemporalInformationMatrix[C]//2019IEEE/CVFConferenceonComputerVisionandPatternRecongnition,2019:117–124.》公开的etal.AnomalyCandidateIdentificationandStartingTimeEstimationofVehiclesfromTrafficVideos[C]//IEEEComputerSocietyConferenceonComputerGranularityTrackingwithModularlizedComponentsforUnsupervisedVehiclesAnomalyDetection[C]//IEEEComputerSocietyConferenceonComputerVisionand[0008]但是这些方法都需要使用目标跟踪获取高级轨迹特征，需要消耗大量计算成本、入孪生互相关与P3D-Attention结合网络模型，检测所述裁剪视频片段中的异常目标是静止状态还是行驶状态，根据异常车辆状态检测结果分别给所述裁剪视频片段打上分类标6异常目标车辆为中心裁剪出的空间容量为2倍车辆大小、时间为设定的第二帧数的视频片[0020]所述异常车辆状态检测包括：通过P3D-Attention模块分别提取输入的异常目标频经过孪生互相关操作后提取的特征图与互相关之前经过P3D-Attention模块提取出的输[0022]所述异常目标车辆匹配包括：通过P3D-Attention模块分别提取两个输入图片的择在三个不同感受野大小的层通过孪生互相关操作进行融合；获得三个不同大小的特征[0023]进一步的，所述P3D-Attention模块由1×3×3卷积核和3×1×1卷积核分别在空间域和时间域上模拟3×3×3卷积，在时间和空间上将3×3×3卷积进行解耦；P3D-Attention模块还包括提高重要特征的相关度的双通道注意力模块和空间注意1×1卷积核结合成3×3×3卷积，学习帧注意力模块的权重来表达对帧的表特征图reR(r-oc的帧数，C代表特征图的通道数，H代表特征图的高，W代表特征图7检测，将所述异常目标车辆的裁剪图片与所述裁剪视频片段输入孪生互相关与P3D-车辆图片与异常目标车辆的裁剪图输入所述孪生互相关与P3D-Attention结合网络，确定孪生互相关与P3D-Attention网络结合的机制。孪生互相关主要用于加强对异常目标车辆8[0035]图2是本发明的抖动视角裁剪视频示意图a）为摄像头场景下的视频b）[0042]本发明的一个实施例，为一种交通异常检测方法，基于孪生互相关与P3D-[0043]如图1所示，本实施例的交通异常检测方法的输入为一个摄像头拍摄的交通监控进行异常目标检测，获得异常目标车辆的裁剪图片和裁剪视频；将其输入孪生互相关与9出的异常目标车辆数据太少，为了防止孪生互相关与P3D-Attention结合网络模型学习偏[0054]三、将异常目标车辆的裁剪图片和裁剪视频输入孪生互相关与P3D-Attention网[0055]异常时间估计采用构建的孪生互相关与P3D-Attention结合网络模型，对输入图行驶状态，根据异常车辆状态检测结果分别给视频片段打上分类标签，分别标记为异常常时间点即为行驶和静止这两种状态变化的瞬间。[0061]与本发明提出的孪生互相关与P3D-Attention网络结合的模型相对应有三个输孪生互相关与P3D-Attention结合网络中孪生互相关的卷积核操作后提取的特征。本实施的图片与30×80x80x3(帧数×宽度×高度x通道数)的视频，且三者都通过P3D-40x40x3(宽度x高度x通道数)二是以异常目标车辆为中心裁剪出的通过P3D-Attention提高重要通道特征的相关度；接着将分别提取的特征图选择在三个不选的，孪生互相关操作采用SiamFC模型的互相关操作。前两个孪生互相关操作结果使用multiply方法将输入图片和输入视频经过孪生互相关操作后提取的特征图与互相关之前孪生互相关操作后提取的特征图与互相关之前经过P3D-Attention模块提取出的视频特征辆裁剪图片经P3D-Attention模块提取的特征图，该提取的特征图用作深度互相关的操作的卷积核输入，强化异常目标车辆裁剪图片与输入视频匹配的特征，通过孪生互相关与40x40x3(宽度x高度x通道数)二是用于异常目标匹配模型的正负类padding进行互相关操作，获得1x1x1x64、1x1x1x12[0069]在对所有输入进行处理获得全部异常的开始时间与结束时间之后，进行异常融[0073]本发明提取特征的主干网络为P3D-Attention网络。在实现孪生互相关与P3D-[0074]孪生互相关与P3D-Attention结合网络模型的两种输入分别为图片和视频。其中帧数×宽度X高度×通道数，即FXHXWXC）的视频。两种输入都通过P3D-Attention主干网络提取特征，即异常车辆状态检测的两个输入及异常目标匹配的两个输入的主干网络是共享权重的。两个输入在同时通过同一个网络的情况下，不仅图片大维度的数据（例如1x40x40x3(FXHXWXC)以适应对视频维度的卷积操作；但依然存在时间维度上大小不同的情况（12：1）。针对于此，孪生互相关与P3D-Attention结合网络模型结构的实现需要分别在P3D模块和Attention模块1x40x40x3(FXHXWXC)时需要忽略3×1×1的卷积核操作，因为对于[0077]对于Attention模块，分别使用双通道注意力模块与空间注意力模块在时间帧和[0081]由伪3D卷积神经网络与注意力机制结合的P3D-Attention网络，采用P3D-Attention模块实现使用注意力机制对通道与特征图施加关注，包括双通道注意力模块和[0082]双通道注意力模块，分别在视频帧之间和每一帧的通道上施加关注。特征图的权重来分别表达对帧与通道的关注。特征图的宽，空间注意力模块主要通过一个2D卷积核学习单通道的特征图权重矩阵[0084]在P3D模块将3D卷积解耦成空间与时间卷积的基础上，注意力模块分为以下三个(2)[0090]原有的P3D-B采用两个卷积核之间的间接影响，使得两个卷积核以并行方式处理[0095]为了适应孪生网络与注意力机制的融合，需要对输入的了双通道注意力模块（dual-channelattentionmodel通过空间域上的1×3×3卷积核输入的帧的注意力机制时本发明忽略帧的注意力参数的共享同时对异常车辆状态检测方法与基于孪生网络的图像匹配方法进行多任务学检测，将所述异常目标车辆的裁剪图片与所述裁剪视频片段输入