CN114005090B 一种基于疑似烟雾提议区域及深度学习的烟雾检测方法 （中山大学）

一种基于疑似烟雾提议区域及深度学习的本发明提出一种基于疑似烟雾提议区域及选区是覆盖整个图片并且候选区的尺度从小区筛选出的疑似烟雾提议区域的生成包围框bboxDEN的空间嵌入向量输入，以对深度学习神经网2S2.构建深度学习神经网络模型，所述深度学习神经网络模型包括依次连接的特征提S6.对所有疑似烟雾提议区域进行筛选，基于筛选出的疑似烟雾提议区域的生成包围框bbox并计算包围框bbox的值，将包围框bbox的值作为动态嵌入层DEN的空间嵌入向量输S7.将步骤S1的RGB图片样本进行数据增强操作，数据增强后的RGB图片样本输入至特2.根据权利要求1所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征包围框bbox的值作为空间嵌入向量输入动态嵌入层DEN，动态嵌入层DEN的尾端连接3.根据权利要求1所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征4.根据权利要求3所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征35.根据权利要求1所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征6.根据权利要求1所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征S61.利用LBP算法对RGB图片样本灰度处理后得到的灰度图像进行局部二进制模式处S62.对纹理图像的每一行做一次一维离散小S64.利用所有疑似烟雾提议区域生成掩模mask，使用掩模mask在小波能量图E上截取7.根据权利要求6所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征4在于，步骤S61所述利用LBP算法对RGB图片样本灰度处理后得到的灰度图像进行局部二进在半径为R的区域内，以区域的中心像素值为阈值，将相邻c8.根据权利要求7所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征(x2y3)和最下方像素(x4，y4)，包围框bbox的左上角坐标(xtop-left，每一个包围框的位置的左上角坐标值和右下角的坐标值均不小于0，且左上角横坐标框bbox复制，做随机缩放处理，填补至原来的包围框bbox中，直至包围框bbox数目达到9.根据权利要求8所述的基于疑似烟雾提议区域及深度学习的烟雾检测方法，其特征conf表示置信度损失；LSmoothL1表示包围框bbox回归值的损失，采用SmoothL1范CIOU表示CIOU损失，为深度学习神经网络模型预测的包围框bbox回归值和空间嵌入向5度共生矩阵的统计量构造纹理特征向量，再将纹理特征向量输入到烟雾识别BP神经网络[0005]为解决当前将传统基于烟雾特征提取与深度学习结合的烟雾检测方法容易造成6[0009]S2.构建深度学习神经网络模型，[0013]S6.对所有疑似烟雾提议区域进行筛选包围框bbox并计算包围框bbox的值，将包围框bbox的值作为动态嵌入层DEN的空间嵌入向[0014]S7.将步骤S1的RGB图片样本进行数据7[0020]S31.对RGB图片样本进行灰利用图像的HSV通道进行烟雾正样本扩充以对烟雾正样本[0031]S61.利用LBP算法对RGB图片样本灰度处理后得到的灰度图像进行局部二进制模8[0036]S64.利用所有疑似烟雾提议区域生成掩模ma[0042]优选地，步骤S61所述利用LBP算法对RGB图片样本灰度处理后得到的灰度图像进[0048]每一个包围框的位置的左上角坐标值和右下角的坐标值均不小于0，且左上角横9CIoU表示CIOU损失，为深度学习神经网络模型预测的包围框bbox回归值和空间嵌入[0057]图1表示本发明实施例中提出的基于疑似烟雾提议区域及深度学习的烟雾检测方[0059]图3表示深度学习神经网络模型中的第一CBL模块～第五CBL模块中的任意一个改[0076]S2.构建深度学习神经网络模型，深[0080]S6.对所有疑似烟雾提议区域进行筛选包围框bbox并计算包围框bbox的值，将包围框bbox的值作为动态嵌入层DEN的空间嵌入向[0081]S7.将步骤S1的RGB图片样本进行数据率，第三CBL模块、第四CBL模块及第五CBL模块中的后一个模块与前一个模块进行级联[0085]特征提取层backbone采用CSPDarknet53网络结构，特征提取层backbone中的CBL块～第五CBL模块)做出如下改进：将每一个CBL模块中的普通卷积层Conv修改为深度可分[0086]特征提取层backbone接收输入数据进行特征提取，动态嵌入层DEN接收特征提取层backbone中第三CBL模块、第四CBL模块及第五CBL模块输出的特征图以及一个空间嵌入自于疑似烟雾提议区域(上述步骤S3～S6获取)，动态嵌入层DEN利用空间嵌入向量和特征的0.05；小特征图通过上采样与第四CBL输出的特征图结合后，最终输出结果称为中特征[0090]S31.对RGB图片样本进行灰到Euclid图像，然后在Euclid图像中以20领域的尺寸选取出其中的局部最大值，随后将[0105]S61.利用LBP算法对RGB图片样本灰度处理后得到的灰度图像进行局部二进制模[0106]利用LBP算法对RGB图片样本灰度处理后得到的灰度图像进行局部二进制模式处[0120]排序只是基于小波能量对疑似烟雾区域进行排序，排序排序后选择前150个疑似烟雾提议区域，基于筛选出的疑似烟雾提议区域的生成包围框[0121]基于筛选出的疑似烟雾提议区域的生成包围框bbox并计算包围框bbox的值的过[0123]每一个包围框的位置的左上角坐标值和右下角的坐标值均不小于0，且左上角横块是借鉴SPPnet中实现的采用不同尺寸的最大池化操作进行级联输出过程。CBL是基本卷Scale操作实际上是将C×H×W的输入数据和C×1[0126]因为第三CBL模块～第五CBL模块是做下采样操作，所以将输出不同尺度的特征向量数据结合最后一个CBL输出的特征图尺寸计算提议区域bbox坐标和宽高，若bbox边界[0128]检测头部分head的第一CSP_0模块或第一CSP_0模块指的是CSP模块中启用0个个ROI对应的(dx,dy,dh,dw,confidenceCIOU表示CIOU损失，为深度学习神经网络模型预测的包围框bbox回归值和空间嵌入[0133]模型输出的预测值将与GT值计算损失，CI