CN114445314B 一种图像融合方法、装置、电子设备及存储介质 （杭州海康威视数字技术股份有限公司）

(19)国家知识产权局(12)发明专利公司地址310051浙江省杭州市滨江区阡陌路555号务所(普通合伙)11413专利代理师项京孙翠贤介质见光图像和目标红外图像之间的亮度差分特征证了融合图像的质量的前提下获得了颜色准确2获取目标可见光图像和目标红外图像；根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；其中，所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异；基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；其中，所述对应关系为差分特征与融合权重呈反相关关系；根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像；所述根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图，包括：对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤波，得到可见光亮度特征图像和红外亮度特征图像；计算所述可见光亮度特征图像和所述红外亮度特征图像中对应位置的像素点之间的亮度差值的绝对值，得到以所述绝对值为像素值的图像作为亮度差分特征图。2.根据权利要求1所述的方法，其特征在于，在所述对所述目标可见光图像和所述目标基于所述融合后的图像的各个像素点对应的预设颜色以及每个像素点的R、G、B值，确定每个像素点对应的偏色校正参数；根据所述融合后的图像的亮度和所述目标可见光图像的亮度，确定所述融合后的图像的各个像素点对应的亮度参数；基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的R、G、B值和3.根据权利要求2所述的方法，其特征在于，所述基于所述融合后的图像的每个像素点针对所述融合后的图像的每个像素点，根据该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值和该像素点对应的偏色校正参数，计算该像素点的每个颜色通道对应的校正值；4.根据权利要求1所述的方法，其特征在于，所述基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像，计算所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间亮度3通道的像素值之差，得到红外图像细节纹理图层；根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。5.根据权利要求4所述的方法，其特征在于，所述根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行对所述目标红外图像的每个像素点的Y值和所述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的Y值和所述第二融合权重的乘积以及所述红外图像细节纹理图层与该像素点位置相同的像素点的像素值进行求和，得到的和值作为融合后的该位置处的像素点的Y值，以及，基于融合后的该位置处的像素点的Y值与所述目标可见光图像中该位置处的像素点Y值的比值作为亮度增益，并将所述目标可见光图像中该位置处的像素点U、V值与亮度增益的乘积分别确定为融合后的该位置处的像素点的U、V值，得到融合后的图像。6.根据权利要求1所述的方法，其特征在于，所述基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融针对所述目标红外图像的每个像素点，如果该像素点在所述亮度差分特征图中对应的像素值不大于预设差分阈值，确定该像素点对应的第一融合权重为目标权重值；如果该像素点在所述亮度差分特征图中对应的像素值大于所述预设差分阈值，基于所述像素值以及预设权重函数，确定该像素点对应的第一融合权重；其中，所述预设权重函数表示第一融合权重在所述目标权重值的基础上，随着所述像素值的递增而线性递减。图像获取模块，用于获取目标可见光图像和目标红外图像；差分特征确定模块，用于根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；其中，所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异；第一权重确定模块，用于基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；其中，所述对应关系为差分特征与融合权重呈反相关关系；第二权重确定模块，用于根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；图像融合模块，用于基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像；低通滤波子模块，用于对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤波，得到可见光亮度特征图像和红外亮度特征图像；差分特征计算子模块，用于计算所述可见光亮度特征图像和所述红外亮度特征图像中对应位置的像素点之间的亮度差值的绝对值，得到以所述绝对值为像素值的图像作为亮度差分特征图。48.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。5技术领域[0001]本发明涉及图像处理技术领域，特别是涉及一种图像融合方法、装置、电子设备及存储介质。背景技术[0002]城市道路卡口系统是在城市出入口和收费站等卡口处通过安装摄像头对过往车辆进行自动实时拍摄与记录的系统。为了使拍摄的画面更清楚，城市道路卡口系统通常会在拍摄过往车辆时采用爆闪灯补光，因此，爆闪灯带来的光污染问题越来越普遍。为了避免光污染，如何在低照度场景下提升成像质量[0003]目前通常是通过同时拍摄同一场景的红外图像和可见光图像，利用红外图像的高信噪比的特点，对红外图像和可见光图像进行融合得到亮度较高的融合图像，这样可以降[0004]然而，对于一些红外反射特性差异较大的物体，红外图像和可见光图像融合后得到的融合图像会存在一定的色彩失真。可以通过整体限制红外图像的亮度在融合图像中的权重校正融合图像的色彩失真。但是限制权重会导致无法保证融合图像的高信噪比及信息量最大化，即会导致融合图像质量较差。也就是说，目前无法在保证融合图像的质量的前提发明内容[0005]本发明实施例的目的在于提供一种图像融合方法、装置、电子设备及存储介质，以在保证融合图像的质量的前提下，获得颜色准确的融合图像。[0007]获取目标可见光图像和目标红外图像；[0008]根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；其中，所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异；[0009]基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；其中，所述对应关系为差分特征与融合权重呈反相关关系；[0010]根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；[0011]基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。[0012]可选的，在所述对所述目标可见光图像和所述目标红外图像进行图像融合，得到[0013]根据所述融合后的图像的各个像素点的R、G、B值，确定每个像素点对应的预设颜6[0014]基于所述融合后的图像的各个像素点对应的预设颜色以及每个像素点的R、G、B值，确定每个像素点对应的偏色校正参数；[0015]根据所述融合后的图像的亮度和所述目标可见光图像的亮度，确定所述融合后的图像的各个像素点对应的亮度参数；[0016]基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的R、G、B值和每个像素点对应的亮度参数，对该像素点的R、G、B值进行校正，得到校正后的融合图[0017]可选的，所述基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的R、G、B值和每个像素点对应的亮度参数，对该像素点的R、G、B值进行校正，得到校正后的融合图像，包括：[0018]针对所述融合后的图像的每个像素点.根据该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值和该像素点对应的偏色校正参数，计算该像素点的每个颜色通道对应的校正值；[0019]将该像素点的每个颜色通道的灰度值分别减去对应的校正值，得到校正后的融合图像。[0020]可选的，所述根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图，包括：[0021]对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤波，得到可见光亮度特征图像和红外亮度特征图像；[0022]计算所述可见光亮度特征图像和所述红外亮度特征图像中对应位置的像素点之间的亮度差值的绝对值，得到以所述绝对值为像素值的图像作为亮度差分特征图。[0023]可选的，所述基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像，包括：[0024]计算所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间亮度通道的像素值之差，得到红外图像细节纹理图层；[0025]根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。[0026]可选的，所述根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像，包括：[0027]对所述目标红外图像的每个像素点的Y值和所述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的Y值和所述第二融合权重的乘积以及所述红外图像细节纹理图层与该像素点位置相同的像素点的像素值进行求和，得到的和值作为融合后的该位置处的像素点的Y值，以及，基于融合后的该位置处的像素点的Y值与所述目标可见光图像中该位置处的像素点Y值的比值作为亮度增益，并将所述目标可见光图像中该位置处的像素点U、V值与亮度增益的乘积分别确定为融合后的该位置处的像素点的U、V值，得到融合后的图像。[0028]可选的，所述基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对7应关系，确定所述目标红外图像的各个像素点对应的第一融合权重，包括：[0029]针对所述目标红外图像的每个像素点，如果该像素点在所述亮度差分特征图中对应的像素值不大于预设差分阈值，确定该像素点对应的第一融合权重为目标权重值；[0030]如果该像素点在所述亮度差分特征图中对应的像素值大于所述预设差分阈值，基于所述像素值以及预设权重函数，确定该像素点对应的第一融合权重；其中，所述预设权重函数表示第一融合权重在所述目标权重值的基础上，随着所述像素值的递增而线性递减。[0032]图像获取模块，用于获取目标可见光图像和目标红外图像；[0033]差分特征确定模块，用于根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；其中，所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异；[0034]第一权重确定模块，用于基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；其中，所述对应关系为差分特征与融合权重呈反相关关系；[0035]第二权重确定模块，用于根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；[0036]图像融合模块，用于基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。[0037]第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和[0039]处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法[0040]第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。[0041]本发明实施例有益效果：[0042]采用本发明实施例提供的方法，获取目标可见光图像和目标红外图像；根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。即可以通过亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定目标红外图像的各个像素点对应的第一融合权重，根据第一融合权重计算得到目标可见光图像的各个像素点对应的第二融合权重，可以根据第一融合权重以及第二融合权重，对目标可见光图像和目标红外图像对应位置的每个像素点进行融合，使得到的融合后的图像中每个像素点中来自目标红外图像的亮度和来自目标可见光图像的亮度达到最佳比例。由于亮度差分特征图用于表征所述目标可见光图像和所述目标红外8图像之间的反射特性差异，差分特征与融合权重呈反相关关系，因此对于红外反射特性差异较大的区域，可以通过降低该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，减少融合图像中该区域图像来自红外图像的亮度，进而避免了融合图像中该区域图像的色彩失真，对于红外反射特性差异较小的区域，可以通过提升该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，增加融合图像中该区域图像来自红外图像的亮度，提升融合图像中该区域图像的亮度，即本发明实施例提供的方法可以在保证融合图像的质量的前提下，获得颜色准确的融合图像。融合后的图像既具有可见光所具有的颜色信息，又具有红外光图像所具有的高信噪比的优点，因此，采用本发明实施例提供的方法可在低照度场景下获得清晰的彩色图像。[0043]当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优附图说明[0044]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施[0045]图1为可见光图像、红外图像与融合图像的一种示意图；[0046]图2为可见光图像、红外图像与融合图像的另一种示意图；[0047]图3为本发明实施例提供的图像融合方法的一种流程图；[0048]图4为红外图像与可见光图像的一种对比示意图；[0049]图5为红外图像与可见光图像的另一种对比示意图；[0050]图6为红外图像与可见光图像的又一种对比示意图；[0051]图7为本发明实施例提供的获得亮度差分特征图的一种示意图；[0052]图8为本发明实施例提供的一种差分特征映射示意图；[0053]图9为本发明实施例提供的对融合后的图像进行偏色校正的一种流程图；[0054]图10为本发明实施例提供的校正后的融合图像的一种示意图；[0055]图11为本发明实施例提供的图像融合装置的一种结构示意图；[0056]图12为本发明实施例提供的图像融合装置的另一种结构示意图；[0057]图13为本发明实施例提供的电子设备的结构示意图。具体实施方式[0058]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。[0059]由于爆闪灯带来的光污染问题越来越普遍，为了避免光污染，目前城市道路卡口系统通常会降低爆闪灯的强度，在低照度场景拍摄过往车辆的图像。然而低照度场景下的成像质量较差。为了提升低照度场景下的成像质量，目前通常是通过同时拍摄同一场景的9红外图像和可见光图像，对红外图像和可见光图像进行融合得到亮度较高的融合图像。[0060]由于可见光图像具有颜色信息，红外图像具有高信噪比等特点，因此在低照度场景下可以将红外图像和可见光图像融合得到清晰的彩色图像——融合图像。但是对于一些具有红外反光材料的物体，将红外图像和可见光图像融合所得到的融合图像往往会出现色彩失真的问题。图1为可见光图像、红外图像与融合图像的一种示意图见光图像101与红外图像102融合得到融合图像103,由于车身具有红外反光特性(图1中车辆外壳颜色为红色),因此得到的融合图像103中车身颜色与真实颜色相比存在颜色失真的问题。[0061]为了避免融合图像出现颜色失真的问题，一些方法可以通过整体限制红外图像的亮度在融合图像中的权重校正融合图像的色彩失真。图2为可见光图像、红外图像与融合图像的另一种示意图，如图2所示，图2中车身具有红外反光特性(图2中车辆外壳颜色为红色),将图2中可见光图像201与红外图像202进行融合得到融合图像203,并且在进行图像融合时整体限制了红外图像202的亮度在融合图像203中的权重，因此，所得到的融合图像203的色彩失真问题得到了一定程度的解决，然而，由于整体限制了红外图像202的亮度在融合图像203中的权重，因此所得到的融合图像203的亮度受到了影响，融合图像203的信噪比及信息量也受到了限制，图像质量较差。也就是说，目前利用红外图像和可见光图像融合所得到的融合图像存在一定的色偏问题或者对红外亮度信息利用不足的问题，即目前无法在保证融合图像的质量的前提下，获得颜色准确的融合图像。[0062]为了在保证融合图像的质量的前提下，获得颜色准确的融合图像，本发明实施例提供了提供一种图像融合方法、装置、电子设备、计算机可读存储介质以及计算机程序产[0063]本发明实施例所提供的图像融合方法可以应用于任何可以进行图像处理的电子以对图像进行滤波和图像融合等处理。[0064]图3为本发明实施例提供的图像融合方法的一种流程图，如图3所示，所述方法包[0065]S301,获取目标可见光图像和目标红外图像。[0066]S302,根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图。[0067]其中，所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异。[0068]S303,基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重。[0069]其中，所述对应关系为差分特征与融合权重呈反相关关系。[0070]S304,根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重。[0071]S305,基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。[0072]采用本发明实施例提供的方法，获取目标可见光图像和目标红外图像；根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。即可以通过亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定目标红外图像的各个像素点对应的第一融合权重，根据第一融合权重计算得到目标可见光图像的各个像素点对应的第二融合权重，可以根据第一融合权重以及第二融合权重，对目标可见光图像和目标红外图像对应位置的每个像素点进行融合，使得到的融合后的图像中每个像素点中来自目标红外图像的亮度和来自目标可见光图像的亮度达到最佳比例。由于亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差异，差分特征与融合权重呈反相关关系，因此对于红外反射特性差异较大的区域，可以通过降低该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，减少融合图像中该区域图像来自红外图像的亮度，进而避免了融合图像中该区域图像的色彩失真，对于红外反射特性差异较小的区域，可以通过提升该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，增加融合图像中该区域图像来自红外图像的亮度，提升融合图像中该区域图像的亮度，即本发明实施例提供的方法可以在保证融合图像的质量的前提下，获得颜色准确的融合图像。融合后的图像既具有可见光所具有的颜色信息，又具有红外光图像所具有的高信噪比的优点，因此，采用本发明实施例提供的方法可在低照度场景下获得清晰的彩色图像。[0073]本发明实施例中，可以针对同一被拍摄场景，使用红外摄像机和可见光摄像机同时拍摄该场景的图像，得到目标红外图像和目标可见光图像。[0074]或者，也可以通过双传感器相机拍摄被拍摄场景，得到该场景的红外图像和可见光图像。双传感器相机采用两颗星光级图像传感器，其中一颗传感器通过红外补光并对红外光波段感光获取红外图像，提供亮度信息，另外一颗传感器对可见光波段感光获取可见光图像，提供环境颜色信息和亮度信息。具体的，可以预设快门增益光圈值，通过双传感器相机抓拍被拍摄场景，获取可见光图像和红外光图像，经图像信号处理和图像配准，可以得“U”和“V”表示色度和浓度。[0075]红外图像对于同一颜色的亮度表现不一致，风格迥异。图4为红外图像与可见光图像的一种对比示意图，图5为红外图像与可见光图像的另一种对比示意图，图6为红外图像与可见光图像的又一种对比示意图。图4中包括可见光图像401和红外图像402,图5中包括可见光图像501和红外图像502,图6中包括可见光图像601和红外图像602。图4、图5和图6中图像502和红外图像602中，有的明亮有的暗淡。并且，可见光图像601中人物衣服上的条纹在红外图像602中不可见，黑色安全带在红外图像中均变为灰色。如果对红外图像对于同一颜色的亮度表现不一致的特点不加以区分，势必会导致融合得到的图像产生偏色问题。[0076]本发明实施例中，利用了可见光图像和红外图像之间的亮度差分特征图进行图像融合。可见光图像和红外图像之间的亮度差分特征图可以很好得反映融合图像中容易偏色11的图像区域，因此本发明实施例可以利用亮度差分特征图，在融合图像时对融合图像中容易偏色的图像区域做偏色校正，避免融合后得到的融合图像出现偏色等颜色失真的问题。[0077]图7为本发明实施例提供的获得亮度差分特征图的一种示意图，如图7所示，对可见光图像701和红外图像702进行差分处理，可以得到对应的亮度差分特征图703。亮度差分特征图703中越亮的图像区域，红外图像702和可见光图像701中对应的该区域的红外反射特性差异越大，越容易产生偏色问题，如亮度差分特征图703中驾驶人员的上衣对应的图像区域；反之亮度差分特征图703中越暗的图像区域，红外图像702和可见光图像701中对应的该区域的红外反射特性差异越小，越不容易产生偏色问题，如亮度差分特征图703中方向盘对应的图像区域。也就是说，红外反射较可见光更强烈，在可见光图像中非常暗的、红外图像中非常亮的区域，对融合图像中该区域进行亮度消减可以还原真实颜色。[0078]在一种可能的实施方式中，所述根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图，可以包括如下步骤A1-A2:[0079]步骤A1,对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤波，得到可见光亮度特征图像和红外亮度特征图像。[0080]本实施方式中，可以选择能够消除噪点的滤波器对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤波，例如，可以选择尺度为3的高斯滤镜对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道进行局部平滑、消除噪点，得到可见光亮度特征图像和红外亮度特征图像：[0082]其中，K(x)为低通保边滤波器算子，例如高斯滤波算子等，Fvis为可见光亮度特征图像和目标红外图像中相同位置处的像素点，⊗表示低通滤波操作。[0083]步骤A2,计算所述可见光亮度特征图像和所述红外亮度特征图像中对应位置的像素点之间的亮度差值的绝对值，得到以所述绝对值为像素值的图像作为亮度差分特征图。[0086]其中，abs为取绝对值的运算，diff(x)为所述亮度差分特征图中像素点x的像素值，Fvis(x)为所述可见光亮度特征图像中与像素点x相同位置处的像素点的亮度通道的像素值，Fnir(x)为红外亮度特征图像中与像素点x相同位置处的像素点的亮度通道的像素值。[0087]在一种可能的实施方式中，所述基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重，可以包括如下步骤B1-B2:[0088]步骤B1,针对所述目标红外图像的每个像素点，如果该像素点在所述亮度差分特征图中对应的像素值不大于预设差分阈值，确定该像素点对应的第一融合权重为目标权重值。[0089]目标权重值可以根据实际的图像融合场景进行具体设定，通常可以设定为1,即如果该像素点在所述亮度差分特征图中对应的像素值不大于预设差分阈值，表示：该像素点和所述可见光图像中对应的像素点之间的反射特性差异不足以导致融合后的图像产生偏[0090]步骤B2,如果该像素点在所述亮度差分特征图中对应的像素值大于所述预设差分[0092]由于所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之素点在亮度差分特征图中对应的像素值diff(x)不大于预设差分阈值Thresh,则该像素点对应的第一融合权重为目标权重值b。如果该像素点在亮度差分特征图中对应的像素值diff(x)大于预设差分阈值Thresh,由于预设权重系数S小于0,则可以根据“diff(x)>融合时对该区域直接使用红外图像中的亮度，较容易引起偏色导致出现颜色失真的问题，像与目标可见光图像中对应位置的像素点x之间的亮度差分特征diff(x)小于等于预设差分阈值(Thresh)时，对目标可见光图像和目标红外图像进行图像融合得到的融合后的中该位置处的像素点对应的第一融合权重α最高，可以为1;当目标红外图像与目标可见光图像中对应位置的像素点之间的亮度差分特征大于Thresh时，对目标可见光图像和目标红外图像进行图像融合得到的融合后的图像中该位置处的像素点对应的第一融合权重α随着亮度差分特征的增大而减小，如图8所示，减小的速率可以用预设权重系数Slope表示。[0099]在一种可能的实施方式中，所述基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像，可以包括如下步骤C1-C2:[0100]步骤C1,计算所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间亮度通道的像素值之差，得到红外图像细节纹理图层。[0101]具体的，如下述公式所示，可以将所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间亮度通道的像素值之差，然后像素值之差再乘以预设强弱参[0102]D(x)=nir_det_str.(Y.(x)-Y(x)×[0103]其中，nir_det_str为预设强弱参数，预设强弱参数是用于控制融合细节叠加的参数，可以根据实际应用场景进行具体设定，Ynir(x)为所述目标红外图像中像素点x的亮度通道的像素值，Ynir(x)⊗K(x)表示对所述目标红外图像的亮度通道进行低通滤波得到红外亮度特征图像，K(x)为低通保边滤波器算子，D(x)为得到的红外图像细节纹理图层与像素点x对应位置处的像素点的像素值。[0104]步骤C2,根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。[0105]具体的，所述根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像，可以包括：[0106]对所述目标红外图像的每个像素点的Y值和所述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的Y值和所述第二融合权重的乘积以及所述红外图像细节纹理图层与该像素点位置相同的像素点的像素值进行求和，得到的和值作为融合后的该位置处的像素点的Y值，以及，基于融合后的该位置处的像素点的Y值与所述目标可见光图像中该位置处的像素点Y值的比值作为亮度增益，并将所述目标可见光图像中该得到融合后的图像。[0107]本发明实施例中，目标可见光图像和目标红外光图像的YUV数据中，“Y”表示明亮[0108]本发明实施例中，所述根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重，可以包括：将1减去所述目标可见光图像的各个像素点对应的第一融合权重所得的差值，作为该像素点对应的第二融合权重。[0109]例如，可以将目标可见光图像的Y通道和目标红外图像Y通道进行亮度加权融合，并与红外图像细节纹理图层D进行叠加，得到融合后的图像的Y通道：素点x位置相同的像素点的Y值，(1-a(x))为目标可见光图像中与像素点x位置相同的像素[0112]然后，可以基于融合后的该位置处的像素点的Y值与所述目标可见光图像中该位[0118]在一种可能的实施方式中，图9为本发明实施例提供的对融合后的图像进行偏色可以确定该像素点的颜色为R、G、B值中最小的值对应的颜色；如果第一差值等于第二差值，则可以确定该像素点的颜色为R、G、B值中最小的值对应的颜色或为R、G、B值中最大的值对应的颜色。G值在像素点的R、G、B值中排序最大，则该G值对应的颜色为绿色，如果像素点的G值在像素B值中排序最大，则该B值对应的颜色为蓝色，如果像素点的B值在像素点的R、G、B值中排序值按照大小进行排序为：R(100)>G(80)>B(20)。最大值为R值，最小值为B值，中间值为G值。然后计算R值与G值之间的第一差值为20,计算G值与B值之间的第二差值为60,可以得到第一差值20小于第二差值60,表示该像素点x1的颜色更靠近最小值B值对应的颜色，而B值按照大小进行排序为：R(255)>G(20)>B(10)。最大值为R值，最小值为B值，中间值为G值。然后计算R值与G值之间的第一差值为235,计算G值与B值之间的第二差值为10,可以得到第一差值235大于第二差值10,表示该像素点x2的颜色更靠近最大值R值对应的颜色，而R值在值。然后计算B值与G值之间的第一差值为95,计算G值与R值之间的第二差值也为95,可以得到第一差值95等于第二差值95,表示该像素点x3的颜色既可以被划分为R、G、B值中排序最大的B值对应的颜色——蓝色，也可以被划分为R、G、B值中排序最小的R值对应的颜色——青色(像素点的R值排序最小时对应的颜色为青色)。[0126]S902,基于所述融合后的图像的各个像素点对应的预设颜色以及每个像素点的R、[0127]具体的，本发明实施例中，可以采用如下公式确定每个像素点对应的偏色校正参示像素点x对应的预设颜色，scale(x)为像素点x对应的偏色校正参数，max表示取最大值的述已经确定像素点x1对应的预设颜色为黄色，则可以得到像素点x1对应的偏色校正参数scale(x1)=med(I(x),I⁸(x),Iᵇ(x))-min(I(x),I⁸[0131]S903,根据所述融合后的图像的亮度和所述目标可见光图像的亮度，确定所述融合后的图像的各个像素点对应的亮度参数。[0132]具体的，本实施方式中可以采用如下公式，确定所述融合后的图像的各个像素点对应的亮度参数：[0134]其中，k(x)为像素点x对应的亮度参数，Yfus(x)为融合后的图像中像素点x的Y值，Yvis(x)为目标可见光图像中与像素点x位置相同的像素点的Y值。[0135]S904,基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的合图像。[0136]在一种可能的实施方式中，所述基于所述融合后的图像的每个像素点对应的偏色行校正，得到校正后的融合图像的步骤，具体可以包括如下步骤D1-D2:[0137]步骤D1,针对所述融合后的图像的每个像素点，根据该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值和该像素点对应的偏色校正参数，计算该像素点的每个颜色通道对应的校正值。[0139]具体的，可以将该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值，与该像素点对应的偏色校正参数之间的乘积作为该像素点的每个颜色通道对应的校正值。或者，也可以先计算将该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值，与该像素点对应的偏色校正参数之间的乘积，然后将乘积除以每个通道的最大灰度值(255)后得到的值作为该像素点的每个颜色通道对应的校正值。[0140]步骤D2,将该像素点的每个颜色通道的灰度值分别减去对应的校正值，得到校正后的融合图像。[0141]具体的，本发明实施例中，可以采用如下公式，基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的R、G、B值和每个像素点对应的亮度参数为像素点x对应的偏色校正参数。[0144]其中，像素点x的R通道的灰度值“I(x)”、亮度参数“k(x)”以及最大灰度值与该通道的灰度值的差值“255-I(x)”中的最小值“min(255-I(x),I(x),k(x))”,和该像素点x对应的偏色校正参数scale(x)的乘积再除以最大灰度值255后得到的“min(255-I(x),I(x),k(x))*scale(x)/255”,为像素点x的R通道对应的校正值；同样的方式可以得到：“min(255-I⁸(x),I⁸(x),k(x))*scale(x)/255”为像素点x的G通道对应的校正值，“min(255-I(x),I(x),k(x))*scale(x)/255”,为像素点x的B通道对应的校正值。[0145]像素点x的每个颜色通道的灰度值分别减去对应的校正值，可以得到每个通道对得到对应的校正后的灰度值后，可以得到校正后的融合图像。[0146]图10为本发明实施例提供的校正后的融合图像的一种示意图，如图10所示，采用本发明实施例提供的图像融合方法，将低照度的目标可见光图像1001和目标红外图像1002进行融合，并对融合后的图像进行偏色校正，得到校正后的融合图像1003。可以看出，校正后的融合图像1003和目标红外图像1002的亮度和风格非常相似，即校正后的融合图像1003还充分利用了目标红外图像1002的亮度信息，并且通过偏色校正操作，校正后的融合图像1003具有明亮清晰且不偏色的特点。[0147]采用本发明实施例提供的方法，对融合后的图像进行偏色校正，对融合后的图像进一步进行颜色还原，最终得到的校正后的融合图像可以在较大程度上避免颜色失真问题，并且，校正后的融合图像的亮度和目标红外图像亮度非常相似，充分利用了目标红外图像的亮度信息，具有明亮清晰且不偏色的特点。[0148]相应于上述图像融合方法，本发明实施例还提供了一种图像融合装置，下面对本发明实施例所提供的图像融合装置进行介绍。图11为本发明实施例提供的图像融合装置的[0149]图像获取模块1101,用于获取目标可见光图像和目标红外图像；[0150]差分特征确定模块1102,用于根据所述目标可见光图像的亮度和所述目标红外图像的亮度，确定所述目标可见光图像和所述目标红外图像之间的亮度差分特征图；其中，所述亮度差分特征图用于表征所述目标可见光图像和所述目标红外图像之间的反射特性差[0151]第一权重确定模块1103,用于基于所述亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定所述目标红外图像的各个像素点对应的第一融合权重；其中，所述对应关系为差分特征与融合权重呈反相关关系；[0152]第二权重确定模块1104,用于根据所述第一融合权重，计算得到所述目标可见光图像的各个像素点对应的第二融合权重；[0153]图像融合模块1105,用于基于所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。[0154]可见，采用本发明实施例提供的装置，可以通过亮度差分特征图以及预设的差分特征与融合权重之间的对应关系，确定目标红外图像的各个像素点对应的第一融合权重，根据第一融合权重计算得到目标可见光图像的各个像素点对应的第二融合权重，可以根据第一融合权重以及第二融合权重，对目标可见光图像和目标红外图像对应位置的每个像素点进行融合，使得到的融合后的图像中每个像素点中来自目标红外图像的亮度和来自目标可见光图像的亮度达到最佳比例，对于红外反射特性差异较大的区域，可以通过降低该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，减少融合图像中该区域图像来自红外图像的亮度，进而避免了融合图像中该区域图像的色彩失真，对于红外反射特性差异较小的区域，可以通过提升该区域中各个像素点在目标红外图像中对应的像素点的第一融合权重的值，增加融合图像中该区域图像来自红外图像的亮度，提升融合图像中该区域图像的亮度，即本发明实施例提供的装置可以在保证融合图像的质量的前提下，获得颜色准确的融合图像。融合后的图像既具有可见光所具有的颜色信息，又具有红外光图像所具有的高信噪比的优点，因此，采用本发明实施例提供的装置可在低照度场景下获得清晰的彩色图像。[0156]色偏校正模块120个像素点对应的预设颜色；基于所述融合后的图像的各个像素点对应的预设颜色以及每个所述目标可见光图像的亮度，确定所述融合后的图像的各个像素点对应的亮度参数；基于所述融合后的图像的每个像素点对应的偏色校正参数、每个像素点的R、G、B值和每个像素[0157]可选的，所述色偏校正模块1201,具体用于针对所述融合后的图像的每个像素点，根据该像素点的每个颜色通道的灰度值、亮度参数以及最大灰度值与该通道的灰度值的差值中的最小值和该像素点对应的偏色校正参数，计算该像素点的每个颜色通道对应的校正值；将该像素点的每个颜色通道的灰度值分别减去对应的校正值，得到校正后的融合图像。[0159]低通滤波子模块(图中未示出),用于对所述目标可见光图像的亮度通道和所述目标红外图像的亮度通道分别进行低通滤波，得到可见光亮度特征图像和红外亮度特征图[0160]差分特征计算子模块(图中未示出),用于计算所述可见光亮度特征图像和所述红外亮度特征图像中对应位置的像素点之间的亮度差值的绝对值，得到以所述绝对值为像素值的图像作为亮度差分特征图。[0162]纹理图层计算子模块(图中未示出),用于计算所述目标红外图像和所述红外亮度特征图像中对应位置的各个像素点之间亮度通道的像素值之差，得到红外图像细节纹理图[0163]融合子模块(图中未示出),用于根据所述红外图像细节纹理图层、所述第一融合权重以及所述第二融合权重，对所述目标可见光图像和所述目标红外图像进行图像融合，得到融合后的图像。[0164]可选的，所述融合子模块，具体用于对所述目标红外图像的每个像素点的Y值和所述第一融合权重的乘积、所述目标可见光图像中与该像素点位置相同的像素点的Y值和所述第二融合权重的乘积以及所述红外图像细节纹理图层与该像素点位置相同的像素点的像素值进行求和，得到的和值作为融合后的该位置处的像素点的Y值，以及，基于融合后的该位置处的像素点的Y值与所述目标可见光图像中该位置处的像素点Y值的比值作为亮度增益，并将所述目标可见光图像中该位置处的像素点U、V值与亮度增益的乘积分别确定为融合后的该位置处的像素点的U、V值，得到融合后的图像。[0165]可选的，所述第一权重确定模块1103,具体用于针对所述目标红外图像的每个像素点，如果该像素点在所述亮度差分特征图中对应的像素值不大于预设差分阈值，确定该像素点对应的第一融合权重为目标权重值；如果该像素点在所述亮度差分特征图中对应的像素值大于所述预设差分阈值，基于所述像素值以及预设权重函数，确定该像素点对应的第一融合权重；其中，所述预设权重函数表示第一融合权重在所述目标权重值的基础上，随着所述像素值的递增而线性递减。[0166]可见，采用本发明实施例提供的装置，对融合后的图像进行偏色校正，对融合后的图像进一步进行颜色还原，最终得到的校正后的融合图像可以在较大程度上避免颜色失真问题，并且，校正后的融合图像的亮度和目标红外图像亮度非常相似，充分利用了目标红外图像的亮度信息，具有明亮清晰且不偏色的特点。[0167]本发明实施例还提供了一种电子设备，如图13所示，包括处理器1301、通信接口1302、存储器1303和通信总线1304,其中，处理器1301,通信接口1302,存储器1303通过通信总线1304完成相互间的通信，[0168]存储器1303,用于存放计算机程序；[0169]处理器1301,用于执行存储器1303上所存放的程序时，实现任一所述图像融合方法的步骤。[0170]上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。[0171]通信接口用于上述电子设备与其他设备之间的通信。[0172]存储器可以包括随机存取存储器(RandomAccessMemory,RAM),也可以包括非易失性存储器(Non-VolatileMemory,NVM),例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。[0173]上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit,CPU)、网络处理器(NetworkProcesso