CN115115522B 一种货架商品图像拼接方法及系统 （浙江工业大学）

本发明提供了一种货架商品图像拼接方法2(2)将两张货架商品图像A和B输入至一训练好的深度单应性估计网络，获得估计的单于依据全局特征相关层输出的每个特征点的相关性预测货架商品图像A和B重叠的各两个所述深度单应性估计网络还包括n-2个局部特征相关层和n-2个回归网络模块，其中，第n-1个回归网络模块用于依据全局特征相关层输出的每个特征点的相关性预测货架商品货架商品图像A的特征图和依据第n个回归网络模块输出的单应性矩阵H对第n个特征处理据第1个局部特征相关层输出的每个特征点的相关性预测货架商品图像A和B重叠的各两个所述回归网络模块中，依据全局特征相关层输出的每个特征点的相关i和σwΔVi(i＝1,2,3,4)分别表示待拼接的两张货架商品图像进行单应性估3将步骤(2)得到的形变图像C与货架商品图像A输入至一训练好的编码器-解码器网络用于依据输入的步骤(2)得到的形变图像C与货架商品图像A，重建两幅图像中重叠区域的将步骤(3)获得的图像D输入至一训练好的优化分支进行特征优化单应性估计模块，用于将两张货架商品图像A和拼接融合模块，用于将得到的形变图像C与货架商品图像A进行拼接4[0008](2)将两张货架商品图像A和B输入至一训练好的深度单应性估计网络，获得估计深度单应性估计网络由依次连接的n个特征处理模块、全局特征相关层和回归网络模块组模块用于依据全局特征相关层输出的每个特征点的相关性预测货架商品图像A和B重叠的5理模块输出的货架商品图像A的特征图和依据第n个回归网络模块输出的单应性矩阵H对第n个特征处理模块输出的货架商品图像B对应的特征图进行形变后的特征图FB’1/(2^(n-2))进归网络模块依据第1个局部特征相关层输出的每个特征点的相关性预测货架商品图像A和B[0013]将步骤(2)得到的形变图像C与货架商品图像A输入至一训练好的编码器-解码器码器用于依据输入的步骤(2)得到的形变图像C与货架商品图像A，重建两幅图像中重叠区[0015]将步骤(3)获得的图像D输入至一训练好的优化分支进行特征优化，增强图像质6[0035](2)将步骤(1)所述的两幅图像输入至一训练好的深度单应性估计网络进行深度7[0037]其中[u',v']和和回归网络模块组成；将步骤(1)所述的两幅图像输入至一训练好的深度单应性估计网络架商品图像A和B重叠的各两个顶点(图中为参考图像右边两个顶点，目标图像左边两个顶理模块输出的货架商品图像A和依据第n个回归网络模块输出的单应性矩阵H对第n个特征块依据第1个局部特征相关层输出的每个特征点的相关性预测货架商品图像A和B重叠的各深度单应性估计网络为例，进行单应性估计实际上就是预测单应性矩阵H的过程如图2所8[0043](2c)再将得到的特征图FA1/2和FB1/2输入到第三个特征处理模块，得到特征图FA1/4[0045](2e)将步骤2d得到的特征图FA1/8和FB1/8一同输入到一个全局标图像B得到的特征图，xlA，xlB分别表示特征图FAl和FBl上对应特征的二维空间位置，FAlB)>表个卷积层和两个全连接层组成来预测确定单应性的八个坐标偏移(通过图A与图B四个顶点[0049](2f)步骤2e得到的warp后的特征图再与特征图FA1/4一同输入到第二个局部特征[0052]所述步骤(3)中，图像融合指的是将参考图像A与warp后的目标图像C的特征信息络来学习图像特征的融合规则，并通过跳跃连接来连接具有相同分辨率的低级和高级特叠区域的像素值。每层解码器都由三层3*3反卷积层组成，对应的滤波器数量依次为256、9[0063](4a)通过步骤(4)得到的粗拼接图像先输入到第一层3*3卷积层进行像素特征优[0064](4b)优化后的图像特征再依次通过八个深度残差模块进[0065](4c)步骤4b优化后的图像特征最后再经过两个卷积层，大小分别为3*3*