CN113205474B 屏幕检测和屏幕检测模型训练方法、装置及设备 （华为技术有限公司）

本申请实施例提供一种屏幕检测和屏幕检据所述第一图像中每个像素点的特征向量对所2获取第一图像中每个像素点的特征向量，所述第一图像为拍摄待检测屏幕得到的图将所述第一图像中每个像素点的特征向量输入至预设模型，得到C-1张第一输出图像根据所述C-1张第一输出图像上每个像素点的灰度值、以及所述第二输出图像上每个维特征图像在纵向包括N个像素点，各所述三维特征图像的通道数为C，所述C为预设类别其中，每两次特征提取处理中包括的特征提取操作的次对所述第一图像执行卷积操作和下采样操作，得到K个下采样特征图对所述第一个下采样特征图像依次执行i次第一操作，得到第i+1个下采样特征图像，对所述第K个下采样特征图像进行下采样操作、卷积操作和上采样操作3对第i个上采特征样图像和第i个下采样特征图像依次进行合并操作根据每个三维特征图像中像素点的像素值，确定目标三维特根据所述目标三维特征图像中各像素点的像素值，确定第一图8.根据权利要求7所述的方法，其特征在于，根据每个三维特征图像中像素点的像素根据每个三维特征图像中第x个通道的M*N个像素的像素值，确定所述目标三维特征将所述第一图像输入至特征提取模型，得到所述第一图像中每个像素点的特征向量，4若所述灰度值最大的像素点所在的图像为所述第二输出图像，则否则，将所述灰度值最大的像素点所在的第一获取训练样本，所述训练样本中包括样本图像和所述样本图像中的像素点的标注信息，所述样本图像中的像素点的标注信息为标注了所述样本图像中的像素点的类别的信根据所述特征提取网络对所述样本图像进行特征提取处理，得到多根据所述预设模型对所述多个样本三维特征图像进行处理，根据所述样本图像中的像素点的训练输出类别和所述样本图像中的像素点的标注信根据所述特征提取网络对所述样本图像进行多次特征提取处理，得其中，每两次特征提取处理中包括的特征提取操作的次根据所述卷积层和所述池化层对所述样本图像执行卷积操作和下采样操作，得到K个样本下采样特征图像，第i个样本下采样特征图像的尺寸为，所述i依次取1,根据所述卷积层和所述上采样层对所述K个样本下采样特征图像执行卷积操作和上采5根据所述卷积层和所述池化层对所述第一个样本下采样特征图像依次执行i次第一操根据所述池化层、所述卷积层和所述上采样层对所述第K个样本下采样特征图像进行根据所述卷积层和所述上采样层对第i个样本上采特征样图像和第i个样本下采样特根据所述卷积层对第一个样本上采样图像进行卷积操作，得到所述样本三维特征图获取模块，用于获取第一图像中每个像素点的特征向量，所述根据所述C-1张第一输出图像上每个像素点的灰度值、以及所述第二输出图像上每个维特征图像在纵向包括N个像素点，各所述三维特征图像的通道数为C，所述C为预设类别其中，每两次特征提取处理中包括的特征提取操作的次对所述第一图像执行卷积操作和下采样操作，得到K个下采样特征图6对所述第一个下采样特征图像依次执行i次第一操作，得到第i+1个下采样特征图像，对所述第K个下采样特征图像进行下采样操作、卷积操作和上采样操作对第i个上采特征样图像和第i个下采样特征图像依次进行合并操作根据每个三维特征图像中像素点的像素值，确定目标三维特根据所述目标三维特征图像中各像素点的像素值，确定第一图根据每个三维特征图像中第x个通道的M*N个像素的像素值，确定所述目标三维特征将所述第一图像输入至特征提取模型，得到所述第一图像中每个像素点的特征向量，所述预设模型是对多组第二样本学习得到的，每组第二样本7若所述灰度值最大的像素点所在的图像为所述第二输出图像，则否则，将所述灰度值最大的像素点所在的第一训练模块，用于获取训练样本，所述训练样本处理模块，用于根据所述特征提取网络对所述样本图像进行特征提根据所述预设模型对所述多个样本三维特征图像进行处理，调整模块，用于根据所述样本图像中的像素点的训根据所述特征提取网络对所述样本图像进行多次特征提取处理，得其中，每两次特征提取处理中包括的特征提取操作的次根据所述卷积层和所述池化层对所述样本图像执行卷积操作和下采样操作，得到K个样本下采样特征图像，第i个样本下采样特征图像的尺寸为，所述i依次取1,根据所述卷积层和所述上采样层对所述K个样本下采样特征图像执行卷积操作和上采8根据所述卷积层和所述池化层对所述第一个样本下采样特征图像依次执行i次第一操根据所述池化层、所述卷积层和所述上采样层对所述第K个样本下采样特征图像进行根据所述卷积层和所述上采样层对第i个样本上采特征样图像和第i个样本下采样特根据所述卷积层对第一个样本上采样图像进行卷积操作，得到所述样本三维特征图所述图像采集设备用于拍摄待检测屏幕，得到第一图像，并向所述所述屏幕检测设备用于根据权利要求1-17任一项所述的方法对所述第一图像进行处算机程序在被一个或多个处理器执行时实现权利要求1-17任一项9[0001]本申请涉及图像处理技术领域，尤其涉及一种屏幕检测和屏幕检测模型训练方个三维特征图像中第x个通道的M*N个像素的像素值，确定目标三维特征图像的第x个通道来确定第一图像中第(a，b)个像素点的特征向量：根据目标三维特征图像的C个通道中第和目标三维特征图像的尺寸均为M*N，每个三维特征图像和目标三维特征图像的通道数均为C，目标三维特征图像中任一通道上的像素点的像素值即为每个目标三维特征图像的对应通道上相同位置的像素点中的最大值。通过目标三维特征图像上每个像素点在C个通道[0021]在一种可能的实现方式中，可以通过如下的方式对第一图像中的像素点进行分拍摄第二样本屏幕得到的图像，标注信息为标注了第二样本图像上的像素点的类别的信[0023]在一种可能的实现方式中，可以通过如下方法得到第一图像中每个像素点的类个像素点的灰度值用于指示第一图像上的第(c，d)个像素点的缺陷类别为第一输出图像i[0024]在一种可能的实现方式中，可以通过如下方法得到第一图像中每个像素点的类中每个像素点的灰度值指示第一图像中相同位置的像素点为该第一输出图像指示的缺陷图像中相同位置的像素点为正常像素的概率。得到了C-1张第一输出图像和一张第二输出中像素点的实际类别来对屏幕检测模型中的参数进行调整，直至两者之间的误差较小时，[0040]根据所述第一图像，确定多个三维特征图像，所述第一图像在横向包括M个像素[0047]根据所述K个下采样特征图像执行卷积操作和上采样操作，得到所述三维特征图[0069]将所述第一图像中的像素点的特征向量输入至所述预设模型，得到C-1张第一输[0070]根据所述C-1张第一输出图像上每个像素点的灰度值、以及所述第二输出图像上样本三维特征图像在横向包括M个像素点，各所述样本三维特征图像在纵向包括N个像素K个样本下采样特征图像，第i个样本下采样特征图像的尺寸为所述i依次取1,[0088]根据所述卷积层和所述上采样层对所述K个样本下采样特征图像执行卷积操作和[0090]根据所述卷积层对所述样本图像执行卷积操作，得到第一个样本下采样特征图[0091]根据所述卷积层和所述池化层对所述第一个样本下采样特征图像依次执行i次第[0093]根据所述池化层、所述卷积层和所述上采样层对所述第K个样本下采样特征图像[0094]根据所述卷积层和所述上采样层对第i个样本上采特征样图像和第i个样本下采样特征图像依次进行合并操作、卷积操作和上采样操作，得到第i-1个样本上采样特征图[0100]所述屏幕检测设备用于根据第一方面任一项所述的方法对所述第一图像进行处[0137]屏幕缺陷(ScreenDefect)：显示器屏幕通常是由粘合在一起的多个材料和基底[0158]视觉相机43用于给屏幕42拍照，当屏幕42随着传送带41[0161]图4示例的应用场景可应用于屏幕的生产制造过程中，或带屏设备的屏幕组装环前未检测出缺陷而在屏幕组装后检测出缺陷的屏幕，可确定为屏幕组装过程中出现的缺设类别数。预设类别数C为一个预先设置的数值，在后续对第一图像中的像素点进行分类行卷积操作和下采样操作，得到K个下采样特征图像，第i个下采样特征图像的尺寸为样特征图像执行1次下采样操作得到第一个尺度图像，然后对第一个尺度图像执行卷积操第三个下采样特征图像和第三个上采样特征图像执行合并操作即为将第三个下采样特征[0177]然后将第二个下采样特征图像和第二个上采样特征图像进行合并操作和卷积操素值为0的像素点，然后根据卷积核中这个权值矩阵的中心与第一图像中左上角的像素点[0186]图7中示例了根据卷积核中的一个权值矩阵对第一图像中的一个像素点进行的处[0188]图7中示例了对第一图像进行卷积操作得到第一个下采样特征图像的过程，当对个尺度图像82中的像素点的像素值可以由第一个下采样特征图像81中的每四个像素点的素点中的最大值作为第一个尺度图像82中对应像素点的像素值。图8中示例的是将第一个下采样特征图像81中的每四个像素点中的最大值作为第一个尺度图像82中对应像素点的[0193]根据上述方法，得到第一个尺度图像82中的每个像素点的像素值，均在图8中标[0194]图8中示例了对第一个下采样特征图像进行下采样操作得到第一个尺度图像的过像92的左上角的四个像素点的像素值与第一个卷积合并图像91上的左上角的像素点的像[0198]需要说明的是，图9示例的上采样操作后的像素点的像素值的求取方式仅仅为一特征图像的通道数均为3，每个三维特征图像在横向包括5个像素点，在纵向包括4个像素像素点的像素值为73，三维特征图像103的第一个通道上的第(1,1)个像素点的像素值为[0213]图12为本申请实施例提供的第一图像中的像素点分类的流程示意图，如图12所输出图像中的像素点的灰度值用于指示第一图像上相应位置的像素点的类别为正常的概[0223]每张第一输出图像中的各个像素点与第一图像中的各个出图像中各个像素点的灰度值均反映该像素点200区域的像素点的异常，则该区域为一个线缺陷。点缺陷为待检测屏幕上的小区域的缺像131上的每个像素点的灰度值用于指示像素点的缺陷类别为线缺陷的概率；第一输出图用于指示像素点的缺陷类别为点缺陷的概率；第一输出图像133是针对漏光缺陷进行检测得到的输出图像，第一输出图像133上的每个像素点的灰度值用于指示像素点的缺陷类别出图像134上的每个像素点的灰度值用于指示像素点为正133和一张第二输出图像134中像素点的颜色表示像[0239]若灰度值最大的像素点所在的图像为第二输出图像，则确为第一输出图像132上的像素点，第一输出图像132为针对点缺陷进行检测得到的输出图出图像134上的像素点，第二输出图像134为针对正常类型像素点进行检测得到的输出图[0249]本申请实施例提供的屏幕检测方法，首先获取第一图像中每个像素点的特征向[0255]需要说明的是，可以通过图12-图15实施例所示的方法对第一图像中的像素点进[0259]训练模块用于根据图像上每个像素点的特征向量和标注了缺陷类别的掩膜图进[0261]利用训练模块训练的预设模型，将第一图像中像素点的特征向量输入至预设模[0262]图18为本申请实施例提供的屏幕检测模型训练方法的流程标注信息标注了样本图像中像素点的类别。提取网络为多尺度U-Net结构的特征提取模型。图20为本申请实施例提供的屏幕检测模型像素点的训练输出类别。根据卷积层和池化层对样本图像执行卷积操作和下采样操作，得到K个样本下采样特征图和上采样层对K个样本下采样特征图像执行卷积操作和上采样操作，得到样本三维特征图下采样特征图像依次执行i次第一操作，得到第i+1个样本下采样特征图像，i依次取1,[0276]虽然U-Net本身具有部分多尺度特征提取的能力，但是对于屏幕缺陷这样尺度差[0279]表一为采用本申请实施例提供的屏幕检测方案检测出的缺陷统计表，如表一所[0283]图22为本申请实施例提供的第一图像，是采用相机对待检测屏幕进行拍摄得到[0285]获取模块241用于获取第一图像中每个像素点的特征向量，所述第一图像为拍摄[0286]分类模块242用于根据所述第一图像中每个像素点的特征向量对所述第一图像中[0288]根据所述第一图像，确定多个三维特征图像，所述第一图像在横向包括M个像素[0295]根据所述K个下采样特征图像执行卷积操作和上采样操作，得到所述三维特征图[0317]将所述第一图像中的像素点的特征向量输入至所述预设模型，得到C-1张第一输[0318]根据所述C-1张第一输出图像上每个像素点的灰度值、以及所述第二输出图像上[0325]图25为本申请实施例提供的屏幕检测模型训练装置的结构[0326]训练模块251用于获取训练样本，所述训练样本中包括样本图像和所述样本图像[0327]处理模块252用于将所述样本图像输入至屏幕检测模型，得到所述样本图像中的[0328]调整模块253用于根据所述样本图像中的像素点的训练输出类别和所述样本图像样本三维特征图像在横向包括M个像素点，各所述样本三维特征图像在纵向包括N个像素K个样本下采样特征图像，第i个样本下采样特征图像的尺寸为所述i依次取1,[0337]根据所述卷积层和所述上采样层对所述K个样本下采样特征图像执行卷积操作和[0339]根据所述卷积层对所述样本图像执行卷积操作，得到第一个样本下采样特征图[0340]根据所述卷积层和所述池化层对所述第一个样本下采样特征图像依次执行i次第[0342]根据所述池化层、所述卷积层和所述上采样层对所述第K个样本下采样特征图像[0343]根据所述卷积层和所述上采样层对第i个样本上采特征样图像和第i个样本下采样特征图像依次进行合并操作、卷积操作和上采样操作，得到第i-1个样本上采样特征图[0345]本申请实施例所示的屏幕检测模型训练装置可以执行上述方法实施例所示的屏[0348]屏幕检测设备262用于根据上述实施例中的屏幕检测方法对第一图像进行处理，的获取模块和分类模型执行的动作。在一些实施例中，图像采集设备261和屏幕检测设备序，所述处理器272执行所述计算机程序，以实现上述实施例中的屏幕检测方法的各个步[0364]实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功[0366]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一