CN114580541B 一种基于时空域双通道火灾视频烟雾识别方法 （郑州轻工业大学）

一种基于时空域双通道火灾视频烟雾识别本发明提出了一种基于时空域双通道火灾2步骤二：搭建静态特征提取网络和动态特征提取网所述静态特征提取网络是基于残差注意力模块搭建的；所述静态特步骤三：利用步骤一中的烟雾数据集对步骤二构建的视频烟雾识别网络模型进行训步骤四：利用优化后的视频烟雾识别网络模型对实时3.根据权利要求1或2所述的基于时空域双通道火灾视频烟雾识别方法，其特征在于，特征提取网络和动态特征提取网络均与融合组件相连接，融合组件与全连接单元相连接；征向量经过重组转化为的特征矩阵I，特征矩阵I通过卷积处理得到权值矩阵征图X经过主干分支中的卷积运算传送至通道注意力单元，然后经过通道注意力单元处理',特征图是重新分配权值后的特征图，特征图与跳跃分支中的输入特征图X相加得到输出特征图3动态特征提取网络的特征提取模块包括5个特征提取单元，特征提取单元中的3D卷积层均4式的烟雾检测方法很难满足当今工业流程和烟雾安全预警的要求，迫切需要一种更高性视频监控装置获取场景中的烟雾视频；然后通过人工设计算法提取视频图像中烟雾的色烟雾区域的分割。Peng等人通过提取图像中运动区域的最小外接矩形作为烟雾的形状特时的收敛速度和识别速度。Cao等人提出了一种特征前景模型来构建增强特征前景网络进流法或ViBe(VisualBackgroundExtractor：视觉背景提取器)算法计算得到运动物体的5体引起的误报率，但是视觉变化图像仍然需要人工设计复杂算法计算得到。Gao等人利用下ViBe算法产生的空白区域问题，生成了代表烟雾运动特征的更加完整的候选烟雾区域，提高了烟雾识别的准确率，降低漏检率，但是在相同硬件条件下算法成本增加了20倍。Sheng等人提取图像中时域、频域和时频域的所有统计图像作为烟雾的静态特征和运动特CNN的方法能够自动学习视频图像中的运动特征，无需利用先验知识设计算法对运动的干特征的烟雾识别任务具有与生俱来的优势。但是现有方法中采用3DCNN的文献还非常少，[0012]步骤四：利用优化后的视频烟雾识别网络模型对实时采6[0014]所述视频烟雾识别网络模型包括并联连接的静态特征提取网络和动态特征提取图X经过主干分支中的卷积运算传送至通道注意力单元，然后经过通道注意力单元处理得到的特征图传送至空间注意力单元，空间注意力单元处理得到特征图新分配权值后的特征图，特征图与跳跃分支中的输入特征图X相加得到输出特征图ak}中的特征ak作为权重和特征图F＝{f1,f2,...,fk}中的特征fk依次相乘，得到动态特征且[0022]所述动态特征提取网络的特征提取模块包括5个特征提取单元，特征提取单元中像中空间域的烟雾静态特征；并且针对烟雾的扩散特性，提出权值3D卷积神经网络(W-7[0037]静态特征提取网络用于提取更深层次的烟雾静态特征，提高烟雾识别的准确8[0038]静态特征提取网络采用RAB层与池化层堆叠而成，网络末端由全连接层汇总烟雾的输入发生简单变换后不会影响模型结果。[0039]网络的输入为256×256像素的RGB图像，RAB采用3×3大小的卷积核，当步长和多个跳跃连接构建而成，如图3所示，其中，channelattention表示空间注意力层，通过通道注意力层得到特征R',通过输入特征X经过残差结构与特征相加得到输出特征9经网络无法从时序上感知这种多样的变化。3D神经卷积网络(CNN)的输入为连续的视频序特征提取模块中均采用大小为3×3×3的3D卷积核，步长stride为1×1×1，填充属性[0050]动态特征提取网络在3D卷积中加入3D注意力连接，得到权值3D卷积神经网络(W-3DCNN)，用于更加充分、高效的提取视频图像中相邻帧之间的烟雾运动信息，利用W-3D[0052]融合组件对n组静态特征图和k组动态特征分别执行3D全局平均池化得到1×(k+reshape表示将1×(k+n)的实数矩阵转换为的特征矩阵，unreshape表示将的特征矩阵转换为1×(k+n)权值矩阵。最终使用融合后的特征输入到末端全[0059]自适应特征融合方法将烟雾图像的静态特征与烟雾视频[0061]为验证本发明所提出的RAB模型的有效性，将静态特征提取网络在数据集set1上1.46召回率高了0.84误报率低了2.0表明了RAB模块对烟雾图像更加敏感，系统[0065]通过对RAB模块进行多次的训练和测试，并对每次实验结果中误检和漏检样本进献Real-timevideo-basedsmokedetectionwithhighaccuracyandefficiency、方法[2]-文献VisualSmokeDetectionBasedonE