CN114445314B 一种图像融合方法、装置、电子设备及存储介质 （杭州海康威视数字技术股份有限公司）

见光图像和目标红外图像之间的亮度差分特征证了融合图像的质量的前提下获得了颜色准确2根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定基于所述亮度差分特征图以及预设的差分特征与融合权重之权重呈反相关关系；根据所述第一融合权重，计算得到所述目标可见光图像的各个像基于所述第一融合权重以及所述第二融合权重，对所述目标所述根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤计算所述可见光亮度特征图像和所述红外亮度特征图像中对应位置的像素点之间的根据所述融合后的图像的亮度和所述目标可见光图像的亮度针对所述融合后的图像的每个像素点，根据该像素点的每个颜色参数以及最大灰度值与该通道的灰度值的差值中的最小值和该像素点对应的偏色校正参将该像素点的每个颜色通道的灰度值分别减去对应的校正值，得到校正后的融合图计算所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间亮度3根据所述红外图像细节纹理图层、所述第一融合权重以及所述对所述目标红外图像的每个像素点的Y值和所述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的Y值和所述第二融合权重的乘积以及所述红外图光图像中该位置处的像素点Y值的比值作为亮度增益，并将所述目标可见光图像中该位置针对所述目标红外图像的每个像素点，如果该像素点在所述如果该像素点在所述亮度差分特征图中对应的像素值大差分特征确定模块，用于根据所述目标可见光图像的亮度和所述目标红外图像的亮差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射第一权重确定模块，用于基于所述亮度差分特征图以及预第二权重确定模块，用于根据所述第一融合权重，计算得图像融合模块，用于基于所述第一融合权重低通滤波子模块，用于对所述目标可见光图像的亮度通道和所差分特征计算子模块，用于计算所述可见光亮度特征图像和49.一种计算机可读存储介质，其特征在于，所述5[0002]城市道路卡口系统是在城市出入口和收费站等卡口处通过安装摄像头对过往车所述目标可见光图像和所述目标红外图像之间的反射特6[0014]基于所述融合后的图像的各个像素点对应的预设颜色以及每个像素点的R、G、B[0018]针对所述融合后的图像的每个像素点，根据该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值和该像素点对应的偏色校[0021]对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低[0022]计算所述可见光亮度特征图像和所述红外亮度特征图像中对应位置的像素点之[0024]计算所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间[0027]对所述目标红外图像的每个像素点的Y值和所述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的Y值和所述第二融合权重的乘积以及所述红可见光图像中该位置处的像素点Y值的比值作为亮度增益，并将所述目标可见光图像中该7度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射以及第二融合权重，对目标可见光图像和目标红外图像对应位置的每个像素点进行融合，使得到的融合后的图像中每个像素点中来自目标红外图像的亮度和来自目标可见光图像8[0043]当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优9见光图像101与红外图像102融合得到融合图像103，由于车身具有红外反光特性(图1中车像的另一种示意图，如图2所示，图2中车身具有红外反光特性(图2中车辆外壳颜色为红[0063]本发明实施例所提供的图像融合方法可以应用于任何可以进行图像处理的电子标可见光图像和所述目标红外图像之间的亮度差分[0068]S303，基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关以及第二融合权重，对目标可见光图像和目标红外图像对应位置的每个像素点进行融合，使得到的融合后的图像中每个像素点中来自目标红外图像的亮度和来自目标可见光图像例提供的方法可在低照度场景下获得清晰的光图像。双传感器相机采用两颗星光级图像传感器，其中一颗传感器通过红外补光并对红外光波段感光获取红外图像，提供亮度信息，另外一颗传感器对可见光波段感光获取可见特征图703中越亮的图像区域，红外图像702和可见光图像701中对应的该区域的红外反射[0086]其中，abs为取绝对值的运算，diff(x)为所述亮度差分特征图中像素点x的像素vis(x)为所述可见光亮度特征图像中与像素点x相同位置处的像素点的亮度通道的像nir和所述可见光图像中对应的像素点之间的反射特性差异不足以导致融合后的图像产生偏[0092]由于所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之素点在亮度差分特征图中对应的像素值diff(x)不大于预设差分阈值Thresh，则该像素点对应的第一融合权重为目标权重值b。如果该像素点在亮度差分特征图中对应的像素值diff(x)大于预设差分阈值Thresh，由于预设权重系数S小于0，则可以根据“diff(x)>融合时对该区域直接使用红外图像中的亮度，较容易引起偏色导致出现颜色失真的问题，因此图像融合时可以对该区域适当减少红外图像中的亮像与目标可见光图像中对应位置的像素点x之间的亮度差分特征diff(x)小于等于预设差外图像进行图像融合得到的融合后的图像中该位置处的像素点对应的第一融合权重α随着[0099]在一种可能的实施方式中，所述基于所述第一融合权重对应位置的各个像素点之间亮度通道的像素值之差，然后像素值之差再乘以预设强弱参道的像素值，ynir(x)8k(x)表示对所述目标红外图像的亮度通道进行低通滤波得到红外[0106]对所述目标红外图像的每个像素点的Y值和所述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的Y值和所述第二融合权重的乘积以及所述红可见光图像中该位置处的像素点Y值的比值作为亮度增益，并将所述目标可见光图像中该[0109]例如，可以将目标可见光图像的Y通道和目标红外图像Y素点x位置相同的像素点的Y值，(1-α(x))为目标可见光图像中与像素点x位置相同的像素[0112]然后，可以基于融合后的该位置处的像素点的Y值与所述目标可见光图像中该位[0118]在一种可能的实施方式中，图9为本发明实施例提供的对融合后的图像进行偏色述已经确定像素点x1对应的预设颜色为黄色，则可以得到像素点x1对应的偏色校正参数偏色校正参数之间的乘积，然后将乘积除以每个通道的最大灰度值(255)后得到的值作为rgrgb[0145]像素点x的每个颜色通道的灰度值分别减去对应的校正值，可以得到每个通道对进一步进行颜色还原，最终得到的校正后的融合图像可以在较大程度上避免颜色失真问述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差所述对应关系为差分特征与融合权重呈反相关特征与融合权重之间的对应关系，确定目标红外图像的各个像素点对应的第一融合权重，像中该区域图像的亮度，即本发明实施例提供的装置可以在保证融合图像的质量的前提标红外图像的亮度通道分别进行低通滤波，得到可见光亮度特征图像和红外亮度特征图权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的Y值和所述第二融合权重的乘积以及所述红外图像细节纹理图层与该像素点位置相同的像素点的该位置处的像素点的Y值与所述目标可见光图像中该位置处的像素点Y值的比值作为亮度[0170]上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，PCI)总线或扩展工业标准结构(ExtendedIndustryStandard[0173]上述的处理器可以是通用处理器，包括中央处理器(CentralProce