CN115643811B 一种图像处理方法、数据的获取方法及设备 （华为技术有限公司）

2021.11.29PCT/CN2020/1423272020.12.31WO2022/141476ZH2022.07.07一种图像处理方法、数据的获取方法及设取被摄对象在照明光源的照射下的第一图像数权重数据包括与m个像素点一一对应的m个权重的饱和度低于与第二像素点对应的颜色的饱和2获取被摄对象在照明光源的照射下的第一图像数据，所述第一根据第一权重数据，调整所述第一图像数据中第一像素点和第二一像素点对应的颜色的饱和度低于与所述第二像素点对应的颜色根据所述第二图像数据，确定所述照明光源的光谱信息，所述照明光源对所述第二图像数据进行特征提取，得到第一特征信息，所述第一感器针对所述照明光源在所述n个光谱通道的根据所述第一特征信息和所述图像传感器在n个光谱波段的光谱灵敏度，生成所述照根据所述第一权重数据，降低所述第一图像数据中所述第一像素的像素值，所述第二像素点的像素值的下降比例大于所述第一像素点的像素值的下降比将所述第一图像数据中所述第一像素点的像素值与所述第一权将所述第一图像数据中所述第二像素点的像素值与所述第二权将所述m个权重值中的第三权重值的数值增大，将所述m个权重所述根据所述第一权重数据，调整所述第一图像数据中所述第一3根据所述更新后的第一权重数据，调整所述第一图像数据根据所述第一权重数据，对所述m个像素点进行分类，以得到与所述将所述m个像素点中类别为第一类别的像素点的像素值置零，得到更新后的第一图像所述调整所述第一图像数据中所述第一像素调整所述更新后的第一图像数据中所述第一像素点和所述第二像素点的像素值的大根据所述第一图像数据和所述照明光源的光谱信息，生成所述被摄对象在所述n个光谱波段的光谱反射比，所述被摄对象在所述n个光谱波段的光谱反射比用于执行以下中任获取被摄对象的训练图像数据和与所述训练图像数据对应的第中第一像素点的权重值高于所述m个像素点中第二像素点的权重值，与所述第一像素点对应的颜色的饱和度低于与所述第二像素点对应的颜色的将所述训练图像数据与第一向量进行矩阵乘法，得到第二权重数据根据目标函数，对所述第一向量中n个元素的元素值进行迭代训练，直至满足预设条获取模块，用于获取被摄对象在照明光源的照射下的第一图4调整模块，用于根据第一权重数据，调整所述一对应的m个权重值，所述第一像素点对应的第一权重值高于所述第二像素点对应的第二度；对所述第二图像数据进行特征提取，得到第一特征信息，所述第一感器针对所述照明光源在所述n个光谱通道的根据所述第一特征信息和所述图像传感器在n个光谱波段的光谱灵敏度，生成所述照二像素点的像素值的下降比例大于所述第一像素点的像素值的下降比例。将所述第一图像数据中所述第一像素点的像素值与所述第一权将所述第一图像数据中所述第二像素点的像素值与所述第二权所述调整模块，还用于将所述m个权重值中的第三权重值的数值增大，所述调整模块，具体用于根据所述更新后的第一权重数据，调整所述第5所述调整模块，具体用于调整所述更新后的第一图像数据中生成模块，用于根据所述第一图像数据和所述照明光源的光谱获取模块，用于获取被摄对象的训练图像数据和与所述训练图像数据包括m个像素点，所述第三权重数据包括所述m个像素点中每个像素点的标注权重，第一像素点对应的颜色的饱和度低于与所述第二像素点对应的颜色的至满足预设条件，所述目标函数指示所述第一权重数据与所述第三权重数据之间的相似6据包括与m个像素点一一对应的m个权重值，与m个像素点中第一像素点对应的第一权重值高于与m个像素点中第二像素点对应的第二权重值，与第一像素点对应的颜色的饱和度低像数据包括的m个像素点中的任意两个不同的像素点，此处引出第一像素点和第二像素点7第一图像数据包括的m个像素点中每个像素点所对应的权重值均在0至1之间，则电子设备图像数据包括的n个光谱通道的图像数据中每个光谱通道的图像数据与第一权重数据进行以表现为p乘q的矩阵。电子设备将第一图像数据包括的n个光谱通道的图像数据中每个光8个元素，第一向量包括的n个元素的元素值为基于预先的训练操作得到并配置于电子设备[0015]本实现方式中，由于与高饱和度的颜色对应的像素点的特性为n个光谱通道中几饱和度的颜色对应的像素点和与低饱和度的颜色对重值的数值增大，将m个权重值中的第四权重值的数值减小，以得到更新后的第一权重数一权重数据；也即在第一权重数据包括的m个权重值中的一个权重值小于预设阈值的情况9分别为图像传感器针对照明光源在n个光谱通道的响应值的估计值。电子设备根据第一特个光谱波段的光谱反射比，进而列举了被摄对象在n个光谱波段的光谱反射比的多种应用的权重值高于m个像素点中第二像素点的权重值，与第一像素点对应的颜色的饱和度低于[0042]图3为本申请实施例提供的图像处理方法中更新后的第一权重数据的一种示意[0044]图5为本申请实施例提供的图像处理方法中第一图像数据和更新后的第一图像数[0046]图7为本申请实施例提供的图像处理方法中更新后的第一图像数据和第二图像数[0050]图11为采用本申请实施例提供的图像处理方法生成的照明光源在n个光谱通道的响应值的估计值与照明光源在n个光谱通道的[0051]图12为采用本申请实施例提供的图像处理方法生成的照明光源的光谱信息与照片包括中央处理器(centralprocessingunit，CPU)、神经网络处理器(neural_network(applicationspecificintegratedcircuit，ASIC)、现场可编程逻辑门阵列(field[0064]基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、[0074]本申请实施例可以应用于各种领域中需要对多光谱图像或高光谱图像进行处理对象在照明光源的照射下的第一图像数据，并利用照明光源在n个光谱波段的光谱信息和摄对象在照明光源的照射下的第一图像数据，并利用照明光源在n个光谱波段的光谱信息专用测量仪采集照明光源的光谱信息的方式不仅成本高且操作麻烦。为了解决前述问题，[0079]本申请实施例中，电子设备获取被摄对象在照明光源的谱相机/高光谱相机集成于一个完整的设备中，则该芯片可以通过该完整的设备中的多光个像素点中第一像素点对应的第一权重值高于与m个像素点中第二像素点对应的第二权重的是，第一像素点和第二像素点为第一图像数据包括的m个像素点中的任意两个不同的像[0086]本申请实施例中，由于与高饱和度的颜色对应的像素点的特性为n个光谱通道中高饱和度的颜色对应的像素点和与低饱和度的颜色一图像数据从3维数据转换为2维的矩阵数据后可[0089]其中，a11至a1n代表第一图像数据包括的n个图层(也即n个中与第一个像素点对应的n个像素值，am1至amn代表第一图像数据包括的n个图层(也即n个光谱通道的图像数据)中与第m个像素点对应的n一图像数据包括的m行数据中的每行数据按照从大到小的顺序进行排列，C代表第一向量，Sort(M)*C代表第一图像数据与第[0094]针对对第二权重数据中的每个权重值进行归一化处理的过程。在一种实现方式大的第五权重值，w/Max(w)代表将第二权重数据包括的m个权重值中每个权重值与该第五并将第二权重数据包括的m个权重值中每个权重值与前述m个权重值的和相除，也即对m个设阈值的权重值，第四权重值为第二权重数据包括的多个权重值中小于预设阈值的权重到更新后的第一权重数据；也即在第一权重数据包括的m个权重值中的一个权重值小于预一标签信息可以表现为p乘q的矩阵，与第一图[0110]为更为直观地理解本方案，本申请实施例中将第一标签信息转换为示意图的形[0112]本申请的一些实施例中，电子设备在生成与m个像素点一一对应的m个标签值之每个光谱通道的图像数据与第一标签信息进行哈达玛积运算，以将m个像素点中不可靠的设备根据第一标签信息生成第一张量，第一张量为三维的张量，其中包括n个第一标签信去噪操作和去除坏点操作。其中，低通滤波器包括但不限于高斯滤波器(Gaussian据表现为三维的张量，其中包括n个p乘q的矩阵；第一权重数据具体可以表现为p乘q的矩[0128]若步骤202中生成的为更新后的第一权重数据，则电子设备根据更新后的第一权[0129]进一步地，电子设备将第一图像数据包括的n个光谱通道的图像数据中每个光谱生成的更新后的第一图像数据(或去噪后的第一图像数据)中的第一像素点和第二像素点像数据)中每个光谱通道的图像数据与步骤202中生成的第一权重数据(或更新后的第一权重数据)进行哈达玛积运算，以调整步骤204中生成的更新后的第一图像数据(或去噪后的一权重数据(或更新后的第一权重数据)，调整[0135]具体的，电子设备将步骤201中获取到的第一图像数据中每个光谱通道的图像数据与步骤202中生成的第一权重数据(或更新后的第一权重数据)进行哈达玛积运算，以调整步骤201中获取到的第一图像数据中的第一像素点和第二像素点的像素值的大小，得到意图代表根据第一图像数据和更新后的第一权重数据(也即将m个权重值中的第三权重值第二图像数据进行可视化处理后得到的。对比图6的(a)子示意图和图6的(b)子示意图可方法中照明光源的光谱信息的一种示意图。图8中以坐标图的形式来展示照明光源的部分表照明光源中每种色光的辐射能的数值，需要说明的是，图8中的示例仅为方便理解本方表采用PCF算法对二维数据形式的第二图像数据进[0145]电子设备在通过PCA算法得到第二特征信息之后，将第二特征信息中的第一主成[0146]丽=coff(::;1);(9)法中第一特征信息的一种示意图。图9中以坐标图的形式来展示进行过归一化处理的第一明光源的光谱信息的具体实现方式。生成照明光源的光谱信息的过程为利用照明光源在n谱图像或高光谱图像的生成过程可以采用如下[0158]结合上述原理可知，电子设备根据第一特征信息和图像传感器在n个光谱波段的摄对象在n个光谱波段的光谱反射比输入用于图像分类的神经网络中，以通过神经网络对[0165]电子设备也可以将被摄对象在n个光谱波段的光谱反射比输入用于图像识别的神[0166]电子设备还可以将被摄对象在n个光谱波段的光谱反射比输入用于物理特性分析[0167]电子设备还可以将被摄对象在n个光谱波段的光谱反射比输入用于化学特性分析[0168]电子设备可以采用除神经网络之外的其他算法，根据被摄对象在n个光谱波段的[0169]电子设备还可以根据被摄对象在n个光谱波段的光谱反射比和照明光源的光谱信提供的数据的获取方法的一种流程示意图，本申请实施例提供的数据的获取方法可以包像数据对应的第三权重数据。其中，训练图像数据包括被摄对象在n个光谱通道的图像数包括m个像素点中每个像素点的标注权重，m个像素点中第一像素点的权重值高于m个像素与m个像素点一一对应的m个权重值。步骤1002的具体实现方式可参阅图2对应实施例中步[0178]1004、训练设备根据第一目标函数，对第一向量中n个元素的元素值进行迭代训数还可以为L2范数函数或其他类型的目标函数。预设条件可以为训练的次数达到预设次[0181]需要说明的是，图2对应实施例中的电子设备和图10对应实施例中的训练设备可对本申请实施例所带来的有益效果作进一步的介绍，图11和图12均以照明光源采用CIE标准光源为例。图11为采用本申请实施例提供的图像处理方法生成的照明光源在n个光谱通道的响应值的估计值与照明光源在n个光谱通道的真实响应值之间的一种对比示意图，图用本申请实施例提供图像处理方法生成的照明光源在n个光谱通道的响应值的估计值的准[0185]在图1至图10所对应的实施例的基础上，为了更好的实施本申请实施例的上述方调整所述第一图像数据中第一像素点和第二像素点的像素值的大小，得到第二图像数据，具体用于根据更新后的第一权重数据，对第一图像数据中的第一像素点的像素值进行增像数据对应的第三权重数据，其中，训练图像数据包括被摄对象在n个光谱通道的图像数(其中电子设备1500中的处理器1503的数量可以一个或多个，图15中以一个处理器为例)，数据。存储器1504的一部分还可以包括非易失性随机存取存储器(non_volatilerandom[0200]上述本申请实施例揭示的方法可以应用于处理器1503中，或者由处理器1503实理器或微控制器，还可进一步包括专用集成电路(applicationspecificintegrated[0202]需要说明的是，对于应用处理器15031执行图像处理方法的具体实现方式以及带[0203]请参阅图16，图16是本申请实施例提供的训练设备一种结构示意图，训练设备存储器1632，一个或一个以上存储应用程序16