CN115035293B 一种无监督深度学习的sar影像海水养殖智能提取方法（国家海洋环境监测中心）

(19)国家知识产权局(12)发明专利地址116023辽宁省大连市沙河口区凌河街42号专利权人大连工业大学公司21102GO6V10/26(2022.01)GO6V10/762(2022.0GO6T5/70(2024.01)GO6T5/10(2006GO6T5/20(2006GO6T5/40(2006(56)对比文件权利要求书2页说明书9页附图3页(57)摘要达影像中相干斑噪声的干扰，有效提高了无监督21.一种无监督深度学习的SAR影像海水养殖智能提取方法，其特征在于：1.1)通过设置三种不同的截断值增强图像对比度，读取原始图像的最大值和最小值，对原始图像进行直方图统计，找到截断值对应的原始图像灰度值，并将灰度值作为输出图像的最大值和最小值，最终将原始图像线性拉伸为输出图像；改善相干斑噪声问题；设置三种不同的截断值，分别得到三种输出图像；1.2)在SAR影像中，引入伽马变换，增强原始图像暗部细节，通过非线性变换，将图像中较暗区域的灰度值得到增强，得到第四种增强后的输出图像；1.3)为了得到更好的养殖区域的图像边缘，采用高斯滤波平滑原始图像，通过高斯滤图像增强后的输出图像作为S3中特征提取网络和S4中全卷积语义分割网络的输入；S2,在输出图像进入网络之前需要提供一些先验知识，通过传统无监督方法得到养殖区域的边缘信息和海水与养殖之间的像素值差异，采用超像素分割算法，将图像分割为具有相似纹理、颜色、亮度特征的相邻像素构成的不规则像素块；能够检测出养殖轮廓，并将整张图像分割成多个小块，每个小块边缘较为吻合养殖区域边缘，保留其边缘信息，即每个小块所包含的像素点位置，在S3中做进一步处理生成伪标签；S3,在完全无监督的情况下，需要伪标签作为深度学习网络的目标；利用S1中得到的五张图像，进行通道变换，每张图像作为一个输入通道，深度学习网络的输入为五通道的增强图像；3.1)搭建特征提取网络模型，通过特征提取网络得到养殖区域深度特征，特征提取网络主要由卷积层、ReLU层和BN层构成，以这三层作为一个整体模块，整体模块中卷积层、ReLU层和BN层首尾相连，能任意调整模块数量作为特征提取网络；其中，S1中的输出图像作为第一个模块中的卷积层的输入，其余模块的卷积层的输入则为上一个模块中BN层的输出；3.2)将特征提取网络模型最后一层输出接入softmax函数；3.3)通过softmax函数将输出值转换为范围在[0,1]内且和为1的概率分布；海水与养殖二分类：设置softmax函数输出通道数为2,每个通道分别代表海水区域概率和养殖区域概率；将2通道的输出概率转换为单通道索引值，对softmax输出进行通道最大值索引，返回最大值的通道索引值，这样在单通道图像上只存在0或1索引值，将其作为伪标签；3.4)利用S2中得到的超像素块的位置信息，进行块判断；将超像素分割块与3.3)得到的伪标签进行对应，在伪标签图的每个小块中进行优势占比判断，将标签图中的各个小块替换为其优势标签，保证小块中拥有统一的伪标签，避免相干斑噪声干扰，生成含有养殖语义信息的伪标签；S4,搭建全卷积语义分割网络模型；4.1)采用全卷积语义分割网络得到海水养殖区域提取结果，利用S3得到的具有养殖语义信息的伪标签为目标进行训练；通过全卷积语义分割网络强化学习含有养殖语义信息的伪标签中的海水养殖语义信4.2)将全卷积语义分割网络生成的海水养殖区域提取结果与S3中特征提取网络输出3的伪标签做交叉熵损失，反向传播优化伪标签的生成过程；特征提取网络的伪标签能够被全卷积语义分割网络所优化，进而优化的伪标签再次作为全卷积语义分割网络目标进行第二轮的迭代，完成双网络的交替迭代，即固定特征提取网络的伪标签优化全卷积语义分割网络，固定全卷积语义分割网络养殖提取结果优化特征提取网络；实现伪标签和海水养殖区域提取结果的交替更新；当特征提取网络与块操作生成的伪标签不再发生变化时，双网络交替迭代停止，单单训练全卷积语义分割网络直至网络收敛。4一种无监督深度学习的SAR影像海水养殖智能提取方法技术领域[0001]本发明属于海洋遥感与人工智能交叉技术领域，涉及一种无监督深度学习的SAR影像海水养殖智能提取方法。背景技术[0002]中国是世界上海水养殖发达的国家，无论从养殖面积和总产量均居世界首位。在经济利益的驱动下，不少地区无序盲目发展海水养殖业，大规模的围垦造成海域面积减少，纳潮量降低，削弱了海洋的自净能力，加剧了水域环境的恶化。为合理规划养殖区域，卫星遥感被广泛应用于养殖信息提取，浮筏养殖在可见光下具有清晰明显的特征，但可见光容易被云层、雨雪等自然条件干扰，造成信息大范围缺失。基于合成孔径雷达(SyntheticApertureRadar,SAR)遥感影像具有全天时、全天候对地实施观测能力，且可以克服云层对养殖提取的干扰。因此，基于SAR影像智能提取养殖具有十分重要的意义。[0003]现有的海水养殖提取算法大多基于有监督方法，大体流程为：选择样本并制作标况复杂、目标变化大，标签成本过高。而从数据本身制定分类规则的传统无监督方法易受SAR影像中相干斑噪声影响，精度较低，且无法提取出有效的养殖语义信息。尚未开展无监督深度学习方法在SAR影像海水养殖信息提取的相关研究。因此，有必要针对长序列SAR影像海水养殖，搭建无监督深度学习模型，实现无需任何标签样本的深度学习网络海水养殖智能提取。发明内容[0004]本发明主要解决在完全无标签的情况下，如何搭建无监督深度学习网络，并使其学习到海水养殖语义信息，克服SAR影像中相干斑噪声干扰的问题，提出了一种无监督深度学习的SAR影像海水养殖智能提取方法，采用双深度学习网络结构，通过超像素块增强语义信息，生成伪标签，使双网络不断交替迭代，更新伪标签，实现无监督深度学习高精度海水养殖提取。[0005]为了达到上述目的，本发明采用的技术方案为：[0006]一种无监督深度学习的SAR影像海水养殖智能提取方法，本方法针对海水养殖遥感影像难以获得标签样本、传统无监督方法无法避免SAR影像相干斑噪声干扰、如何搭建无监督深度学习网络模型并获得海水养殖语义信息等难题，通过块判断和特征提取网络生成含有海水养殖语义信息的伪标签，使全卷积语义分割网络学习其语义信息，避免了相干斑噪声干扰，并通过两个深度学习网络的交替迭代，构建了无监督深度学习网络模型。包括以下步骤：[0007]第一步，采用线性截断拉伸、伽马变换和高斯滤波三种图像增强方法对原图进行处理，其中三种图像增强方法均是对原图进行处理：[0008]1.1)采用线性截断拉伸对原始图像进行处理，线性截断拉伸是遥感影像增强处理5像灰度值，比如截断值设置为2,则找到对应2%的灰度值和98%的灰度值，并将灰度值作为98%的灰度值被输出图像的最大值代替，原始图像中小于2%的灰度值被输出图像的最小断值，一共得到五种不同的增强后的输出图构成的具有一定视觉意义的不规则像素块。使用的超像素算法为简单线性迭代聚类6x、y分别代表像素点在图像中的横纵坐标，d为像素点与聚类中心之间的空间位置的距离；大颜色距离。[0022]2.2)将每个像素点分配给最近的聚类中心后，在同一聚类中心下的像素点的1、a、b、x、y通道中取平均，更新聚类中心。根据L₂范数计算新的之前的聚类中心位置残留误差，公式如下：[0024]2.3)分配像素和更新聚类中心迭代重复，直到误差收敛或者达到一定的迭代次数。经过实践发现10次迭代对绝大部分图片都可以得到比较理想效果，实际中一般固定迭代10次。[0025]经过SLIC算法得到超像素分割后的结果图，成功检测出养殖轮廓，并将整张图像分割成多个小块，每个小块边缘较为吻合养殖区域边缘，但也存在很多误判，精度较低，而且仅检测出边缘，并未得到养殖提取结果，需要保留其边缘信息，即每个小块所包含的像素点位置，在第三步中做进一步处理生成伪标签。[0026]第三步，在完全无监督的情况下，需要伪标签作为深度学习网络的目标。利用第一步中得到的五张图像，将其进行通道变换，每张图像作为一个输入通道，最终，深度学习网络的输入为五通道的增强图像。[0027]3.1)搭建特征提取网络模型，通过特征提取网络得到养殖区域深度特征，特征提体模块中的三个层首尾相连，可以任意调整模块数量作为特征提取网络。比如，输入图像进入卷积层、ReLU层和BN层模块后，输出的值再次进入新一个卷积层、ReLU层和BN层模块。其中，卷积层公式如(6)所示，第一步中的输出图像作为第一个模块中的卷积层的输入，其余模块的卷积层的输入则为上一个模块中BN层的输出。I为输入的总个数；G为卷积核总个数。[0030]为了使特征提取网络快速收敛，在卷积层之后加入ReLU层，公式如(7)所示，即卷积层的输出作为ReLU层的输入。[0033]为了防止特征提取网络训练时梯度消失及过拟合，在ReLU层之后加入BN层，公式如(8)所示，即ReLU层的输出作为BN层的输入。7[0036]3.2)将特征提取网络模型最后一层输出接入softmax函数，公式如(9)所示，即将第N个卷积层、ReLU层和BN层模块的输出作为softmax函数的输入。[0039]3.3)通过softmax函数可以将输出值转换为范围在[0,1]内且和为1的概率分布。为区分海水与养殖，将其转换为二分类问题，设置softmax函数输出通道数为2,每个通道分别代表海水区域概率和养殖区域概率。为了得到伪标签，将2通道的输出概率转换为单通道索引值，对softmax输出进行通道最大值索引，返回最大值的通道索引值，这样在单通道图像上只存在0或1索引值，可将其作为伪标签。[0040]3.4)由于SAR影像中的相干斑噪声，导致伪标签没有很好的语义信息，养殖区域可能参杂海水标签。于是利用第二步中得到的超像素块的位置信息，进行块判断操作。详细解释如下，将超像素分割块对应刚刚得到的伪标签(通道最大值索引)中，在伪标签图的每个小块中(小块来自超像素块位置信息)进行优势占比判断，将标签图中的各个小块替换为其优势标签，这样保证了小块中拥有统一的伪标签，避免了相干斑噪声干扰，增强了空间一致性，生成了为含有养殖语义信息的伪标签。[0041]第四步，为充分利用上步生成的含有养殖语义信息的伪标签，搭建全卷积语义分割网络模型。[0042]4.1)采用全卷积语义分割网络得到海水养殖区域提取结果，利用第三步得到的具方法，f(·)为特征提取网络模型，g(·)为全卷积语义分割网络模型。[0045]这样，通过全卷积语义分割网络进一步强化学习含有养殖语义信息伪标签中的海水养殖语义信息，提高提取精度，改善块判断中优势占比而忽略的养殖区域。[0046]4.2)为使双网络在无监督情况下的提取精度逐步提高，伪标签需要不断更新优化，故将全卷积语义分割网络生成的海水养殖区域提取结果与第三步中特征提取网络输出的伪标签做交叉熵损失，反向传播优化伪标签的生成过程(也就是通过海水养殖区域提取结果优化伪标签，实现交替优化，即伪标签优化提取结果、提取结果反过来优化伪标签，不8断循环),其目标函数LE如下：[0048]这样，特征提取网络的伪标签能够被全卷积语义分割网络所优化，进而优化的伪标签再次作为全卷积语义分割网络目标进行第二轮的迭代，完成了双网络的交替迭代，即固定特征提取网络的伪标签优化全卷积语义分割网络，或固定全卷积语义分割网络养殖提取结果优化特征提取网络。实现了伪标签和海水养殖区域提取结果的交替更新，逐步生成泛化能力更强、精度更高的全卷积语义网络。当特征提取网络与块操作生成的伪标签不再发生变化时，双网络交替迭代停止，单单训练全卷积语义分割网络直至网络收敛。[0049]本发明的有益效果为：[0050]本发明提高了传统无监督方法的提取精度，避免了SAR影像中的相干斑噪声干扰，为SAR影像中的海水养殖区域的智能提取提供了一种无监督深度学习方法。在深度学习卷积神经网络中，往往需要一个明确的损失目标，即真值标签，本发明利用特征提取网络生成了简易伪标签，并针对海水养殖提取问题提出了块操作，在避免SAR影像相干斑噪声的同时，也使得简易伪标签含有了养殖语义信息。同时，本专利为了进一步加强这种语义信息提高养殖提取精度，提出双网络结构，增加全卷积语义分割网络，在增强养殖语义的同时，又能使其结果反向优化特征提取网络进而实现优化伪标签，并且，双网络的交替更新为伪标签的优化提供了方向，使得伪标签越来越靠近真值，实现了无监督深度学习的高精度养殖提取。本发明提出的方法精度较高、满足长序列SAR影像海水养殖监测的可附图说明[0051]图1为一种无监督深度学习的SAR影像海水养殖智能提取方法的整体框图；[0053]图3为特征提取网络得到的没有语义信息的伪标签，(a)、(b)、(c)分别为三个不同的养殖区域；[0054]图4为块操作方法得到的含有语义信息的伪标签，(a)、(b)、(c)分别为三个不同的养殖区域；[0056]图6为筏式养殖高分3号卫星的智能提取结果详情，(a)为区域一的原始图，为具体实施方式[0058]为使本发明解决的方法问题、采用的方法方案和达到的方法效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。[0059]如图1所示，本发明实施例提供的一种无监督深度学习的SAR影像海水养殖智能提9度值，比如截断值设置为2,则找到对应2%的灰度值和98%的灰度值，并将灰度值作为输出的灰度值被输出图像的最大值代替，原始图像中小于2%的灰度值被输出图像的最小值代水养殖提取提供了三个不同截断值大小2,5和7,通过不同的截断值改善不同强度的相干斑值差异，传统无监督方法采用超像素分割算法，将图像分割为具有相似纹理、颜色、亮度等特征的相邻像素构成的具有一定视觉意义的不规则像素块。使用的超像素算法为简单线性迭代聚类(SimpleLinearIterativeClustering,SLIC),其在运算速度、物体轮廓保持、超像素形状方面具有较高的综合评价。SLIC超像素算法具体如下：[0074]2.1)将原始图像转换到国际照明协会颜色模型(CommissionInternationaledeL'EclairageLab,CIELAB)的色彩空间，设置初始聚类中心个数k和距离测量D,将限制区域内的每个像素分配给最近的聚类中心，公式如下：x、y分别代表像素点在图像中的横纵坐标，d为像素点与聚类中心之间的空间位置的距离；为预期的超像素块大小，由图片大小N和初始聚类中心个数k=30决定；m=5为常[0077]2.2)将每个像素点分配给最近的聚类中心后，在同一聚类中心下的像素点的1、a、b、x、y通道中取平均，更新聚类中心。根据L₂范数计算新的之前的聚类中心位置残留误差，公式如下：[0079]2.3)分配像素和更新聚类中心迭代重复，直到误差收敛或者达到一定的迭代次数。经过实践发现10次迭代对绝大部分图片都可以得到比较理想效果，实际中一般固定迭代10次。本专利规定SLIC超像素算法迭代十次后停止。[0080]经过SLIC算法得到超像素分割后的结果图，结果如图2所示，成功检测出养殖轮廓，并将整张图像分割成多个小块，每个小块边缘较为吻合养殖区域边缘，但也存在很多误块所包含的像素点位置，在第三步中做进一步处理生成伪标签。[0081]第三步，在完全无监督的情况下，需要伪标签作为深度学习网络的目标。利用第一步中得到的五张图像，将其进行通道变换，每张图像作为一个输入通道，最终，深度学习网络的输入为五通道的增强图像。[0082]3.1)搭建特征提取网络模型，通过特征提取网络得到养殖区域深度特征为伪标签的生成提供先验知识。特征提取网络主要由卷积层、ReLU层和BN层构成，以卷积层、ReLU层和BN层作为一个整体模块T,可以调整模块数量T=5作为特征提取网络。比如，输入图像进入卷积层、ReLU层和BN层模块后，输出的值再次进入新一个卷积层、ReLU层和BN层模块。其中，卷积层公式如(6)所示，第一步中的输出图像作为第一个模块中的卷积层的输入，其余模块的卷积层的输入则为上一个模块中BN层的输出。出通道数G等于100,第五个模块输入通道数I=100,输出通道数G=2,偏置b”由网络训练[0095]3.3)通过softmax函数可以将输出值转换为范围在[0,1]内且和为1的概率分布。