CN114998132B 一种通过双网络挖掘互补特征的弱监督阴影检测方法 （中国电子科技集团公司第二十研究所）

号一种通过双网络挖掘互补特征的弱监督阴本发明提供了一种通过双网络挖掘互补特基于初始种子区域学习基于区域的阴影特性对网络的阴影检测结果来训练区域分割网络，最过程中完成了基于区域特征和上下文特征的融地利用了分类网络在超像素块中提取的特征和弱监督的情况下，也可有效达到阴影检测的目2步骤1，训练VGG网络作为阴影分类网络，并利用训练好a)对于输入阴影图像Image，区域分割网络R-net利用t＝0处与Image对应的阴影种子b)对于输入图像Image，像素分割网络P-net利用t＝1处与Image对应的生成于区域分c)此时区域分割网络R-net使用由像素分割网络P-net生成的t＝1时刻的阴影检测结2.根据权利要求1所述的通过双网络挖掘互补特征的弱监督阴影检测方法，其特征在采用VGG16作为阴影分类网络；阴影分类网络采用通过ImageNet数据集预训练好的该阴影分类网络使用ISTD数据集进行训练，输入图像为阴采用Grad-CAM方法制作阴影的类激活图，并以此获得阴影种子区域当两个维度分别全局池化后，得到神经元的权重f,定义如下所示：33.根据权利要求1所述的通过双网络挖掘互补特征的弱监督阴影检测方法，其特征在采用GraphCuts方法处理图像以获取图像的超像素块，采用GraphCuts4.根据权利要求1所述的通过双网络挖掘互补特征的弱监督阴影检测方法，其特征在采用FastR-CNN网络模型作为区域分割网络框架，将网络的输入阴的两个值分别代表该超像素块是阴影区域的在训练中，为了平衡包含阴影的超像素块个数A和无5.根据权利要求1所述的通过双网络挖掘互补特征的弱监督阴影检测方法，其特征在4像素分割网络的构建采用In-Net的网络结构，在下采样ReLu激活层和最大池化层，下采样的特征图会与其对应上采样后相同尺度的特征图拼接，像素分割网络的损失函数为使全卷积网络更关注阴影l5[0007]正是因为深度学习方法对大规模数据集的需求以及数据集中标签标注的难度过6[0017]采用VGG16作为阴影分类网络；阴影分类网络采用通过ImageNet数据集预训练好[0018]该阴影分类网络使用ISTD数据集进行训练，输入图像为[0021]已获得阴影分类网络的softmax层输入表示为yc，阴影分类网络最后一个卷积层宽和高两个维度分别全局池化后，得到神经元的权重f,定义如下所示：7[0028]采用GraphCuts方法处理图像以获取图像的超像素块，采用Gra输出的两个值分别代表该超像素块是阴影区域的概率和不是阴[0033]其中m表示输入阴影图像超像素分割后获得的第m个超像素块；gm表示第m块像素函数中阴影区域的权值利用系数w(i，j)进行加强，加权得到的像素分割网络损失函数如8[0043]a)对于输入阴影图像Image，R-net利用t＝0处与Image对应的阴影种子区域图像[0046]本发明的有益效果在于提出了一种使用双网络迭代挖掘局部特征与上下文特征[0048]本发明首次提出了一种可以使用弱标签来解决阴影检测问题的训练方法与网络9[0066]整个网络框架如图1所示。其中初始阴影种子区即为第一步获得的阴影图像的类[0070]采用VGG16作为阴影分类网络；阴影分类网络采用通过ImageNet数据集预训练好[0074]类激活图(ClassActivationMapping,CAM)方法仅利用图像级标签得到目标的[0075]若将本发明已获得阴影分类网络的softmax层输入表示为yc，阴影分类网络最后[0083]采用GraphCuts方法处理图像以获取图像的超像素块。采用Gra[0087]相较传统的FastR-CNN网络对输入阴影图像使用边界框搜索方法获取兴趣区域[0090]其中m表示输入阴影图像超像素分割后获得的第m个超像素块；gm表示第m块像素[0093]像素分割网络的构建采用In-Net的网络结构，网络结构与具体参数设置如图6所特征图会与其对应上采样后相同尺度的特征图拼接，达到高层特征与低层特征融合的效函数中阴影区域的权值利用系数w(i，j)进行加强，加权得到的像素分割网络损失函数如[0100]在步骤2中已经介绍了本发明选用的两种经典的网络模型以及其训练参数。本发步骤1中得到的阴影种子区域即为t＝0时刻红色虚线框标出的InitialShadowSeeds。训[0103]a)对于输入阴影图像Image，R-net利用t＝0处与Image对应的阴影种子区域图像[0111]本方法首次提出了一种可以使用弱标签来解决阴影检测问题的训练方法与网络