CN113902657B 图像拼接方法、装置和电子设备 （北京旷视科技有限公司）

一神经网络模型对初始拼接图像中的目标重叠对应的融合重叠区域，不需要基于CPU对初始拼对初始拼接图像中所有像素进行融合计算的时2基于所述融合重叠区域和所述初始拼接图像，确定所述第一图像和基于第二神经网络模型和所述第一图像，对所述第二图像进行光照补将所述第一子重叠区域和所述第二子重叠区域，输入至所述第二所述第二神经网络模型确定所述第一子重叠区域中各个像素的第一像素值与所述第二子重叠区域中相同位置像素的第二像素值的映射针对各个颜色通道，基于所述映射关系，将所述第二图像中的获取所述第二图像的边界坐标；其中，所述边界坐标用于指示将所述投影变换后的第二图像与所述第一图像的重合图像区域，提取所述第一图像中的至少一个第一特征点，以及所述第二图像中基于所述至少一个第一特征点和所述至少一个第二特征点，确定3将所述第一图像和所述第二图像，输入至所述第二神经网络模型中，经网络基于所述第一图像对所述第二图像进行光照补偿，得到光照补偿后的所述第二图将所述第三子重叠区域和所述第四子重叠区域，输入至所述拼接模基于所述拼缝区域，对所述第三子重叠区域和所述第四子重叠区将所述初始融合重叠区域，所述第三子重叠区域，以及所述第四子将所述第三子重叠区域和所述第四子重叠区域，输入至所述拼接模对所述拼缝区域进行羽化处理，得到羽化后的重叠区域，将所述羽将所述融合重叠区域替换所述初始拼接图像中的目标重叠区域，得4融合模块，用于利用第一神经网络模型对所述初始拼接图像第二确定模块，用于基于所述融合重叠区域和所述初基于第二神经网络模型和所述第一图像，对所述第二图像进行光照补将所述第一子重叠区域和所述第二子重叠区域，输入至所述第二所述第二神经网络模型确定所述第一子重叠区域中各个像素的第一像素值与所述第二子重叠区域中相同位置像素的第二像素值的映射针对各个颜色通道，基于所述映射关系，将所述第二图像中的机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1-9任一项所述的图像所述计算机程序被处理设备运行时执行如权利要求1-9任一项所述的图5导致对初始拼接后的拼接图片中所有像素进行融合计算的时间较长，降低了融合处理效67术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范8辨率图像的过程。普通人的单只眼睛的视场角大概120°左右，两只眼睛的视场角一般能图像进行图像拼接处理，而当前较为新颖的图像处理及分析过程通常是基于RAW域图像实导致对初始拼接后的拼接图片中所有像素进行融合计算的时间较长，降低了融合处理效[0033]所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元[0034]所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用9[0037]所述图像采集设备110可以采集预览视频帧或图像数据，并且将采集到的预览视频帧或图像数据存储在所述存储装置104中以供其它组件使输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到目[0039]本实施例提供了一种图像拼接方法，该方法由上述电子系统该处理设备可以是具有数据处理能力的任何设备或芯片。如图2所示，该方法包括如下步[0045]上述第一神经网络模型可以通过多种卷积神经网络实现，如残差网络、VGG网络拼接图像后，可以从该初始拼接图像中确定第一图像和第二图像相重合的目标重叠区域，模型，只不过进行光照补偿的过程由第一神经网络模型中的某个子模型或子模块执行即[0061]上述步骤a中，提取第一图像中的至少一个第一特征点的步骤可以包括步骤a0至[0063]上述颜色通道可以理解为保存图像颜色信息的通道，比如RGB图像有三个颜色通SuperPoint是一种基于自监督训练的特征点检测和描[0070]上述步骤a中，提取第二图像中的至少一个第二特征点的步骤可以包括步骤a4至[0080]当通过上述步骤a提取到第一图像中的至少一个第一特征点和第二图像中的至少特征点对，该匹配特征点对的数量一般不少于四对；具体可参考相关技术中，采用KNN或中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性；二神经网络模型确定第一子重叠区域中各个像素的第一像素值与第二子重叠区域中相同以GT(GroundTruth，表示有监督学习的训练集的分类准确性，用于证明或者推翻某个假设)为0-65535的四个LUT表进行学习，最后通过该第二神经网络模型可以计算得到四个0-要逐像素进行计算，导致计算过程时间较长，效率较低，本实施例可以通过NN(Neural道的像素值，与第一图像中的各个像素点在颜色通道的像素值进行匹配,以对第二图像进图像中的各个像素点在该颜色通道的像素值与第一图像中的各个像素点在该颜色通道的后通过该第二神经网络模型计算得到光照补预先训练好的神经网络模型对第二图像进行光照补偿，不需要基于CPU对每个像素进行计初始拼接图像中的目标重叠区域进行融合处理，得到目标重叠区域所对应的融合重叠区经神经网络模型包括拼接模型和融合模型；该拼接模型可以通过多种卷积神经网络实现，索最佳缝合线，可以降低拼缝连接处的空间连续性，一般需要基于CPU对逐项数据进行计[0117]相关技术中，对重叠区域进行融合处理通常需要通过CPU对逐项数据进行计算融[0132]上述RAW图像通常是CMOS(ComplementaryMetal-Oxide-Semiconductor，互补金属氧化物半导体)或者CCD(ChargeCoupledDevice，电荷耦合器件)图像感应器将捕捉到[0135]上述羽化处理通常是将像素选区的边缘变得模糊，使所选区域与周围的像素混处理)的核心算法等方式对目标拼接图像进行处理，得到对应的RGB图像拼接结果，其中，ISP主要用于对前端图像像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去第一图像对应的第三子重叠区域和光照补偿后的第二图像对应的第四子重叠区域对应的初始重叠区域包括：第一图像对应的第一子重叠区域以及第二图像对应的第二子重叠区第二神经网络模型确定第一子重叠区域中各个像素的第一像素值与第二子重叠区域中相通道的像素值，与第一图像中的各个像素点在颜色通道的像素值进行匹配,以对第二图像RAW域的bayer-pattern(拜耳阵列)图像处理为rggb排列方式，即对bayer-tar进行格式转[0162]下面对rggb-tar图像和rggb-src图像进行空间配准，具体空间配准的流程可以rggb-src的投影后的区域信息，与rggb-tar图像取交即可得到重叠区域(对应上述初始重述rggb-tar图像和rggb-src图像的重叠区域的两个小图输入至神经网络模型，以GT为0-65535的LUT表来进行学习，最后通过该神经网络模型可以计算得到四个0-65535的LUT表，基于该LUT表对rggb-src图像进行光照补偿；另一种方式是将rggb-tar图像和rggb-src图像输入至神经网络模型，以GT为原始rggb-tar图像、基于直方图匹配进行光照补偿后的[0164]在得到光照补偿后的rggb-src图像后，可以对rggb-tar图像和光照补偿后的析提供了一种大视场角的解决方案，对RAW域图像也可以处理好拼缝衔接、光照对齐等步[0166]本发明实施例还提供了一种图像拼接装置的结构示意图，如图7所示，该装置包域中各个像素的第一像素值与第二子重叠区域中相同位置像素的第