CN118967469B 鱼眼图像多视图融合方法及融合系统 （四川广信天下传媒有限责任公司）

本发明提供一种鱼眼图像多视图融合方法图像与深度图像的信息互补性，通过特征点匹本发明首先从不同视角采集包含RGB图像和深度2基于所述变换矩阵以及所述RGB图像和深度图像的匹配误差构建目标函数，并利用非将畸变校正后的相邻RGB图像和相邻深度图像的重叠区域转换到公共参考基于相邻深度图像中重叠区域中每个像素的深度值为相邻RGB图像的重叠区域中对应对于相邻RGB图像的重叠区域中每个像素，根据像素在不同视角下的R将相邻RGB图像的重叠区域中每个像素的加权平均RGB值赋给融合图像中相应位置的将捕获的待融合鱼眼图像分离为RGB图像和深度图像，其中，分离出的所述R3.根据权利要求2所述的一种鱼眼图像多视图融合方法，其特征在于，所述基于所述针对相邻RGB图像的重叠区域，利用不同尺度的高斯模糊通过构建尺度空间并在多尺通过计算关键点的描述符间的欧氏距离并应用比率测试，筛选出相邻的RGB图像间的应用RGB_D鱼眼相机对应的畸变校正模型，使用已知的畸变参数对相邻基于经过验证的特征点对，通过DLT直接线性变换来估计相邻RG从估计的变换矩阵中分解出旋转矩阵和平移矩阵，其中，所述旋转矩阵3换矩阵以及所述RGB图像和深度图像的匹配误差构建目标函数，并利用非线性优化算法对通过非线性优化算法，迭代计算所述目标函数的梯度并沿反方向调整6.一种鱼眼图像多视图融合系统，用于执行如权利特征匹配模块，用于基于所述RGB图像，通过特征点匹配方几何变换估计模块，用于基于畸变校正后的投影模型和匹配的特征点对估计相邻RGB优化模块，用于基于所述变换矩阵以及所述RGB图像和深度图像的匹配误差构建目标4[0003]传统的鱼眼图像拼接方法多侧重于单一视角的RGB图像校正与拼接，忽略了深度[0009]基于畸变校正后的投影模型和匹配的特征点对估计相邻RGB图像间的变换矩阵，[0010]基于所述变换矩阵以及所述RGB图像和深度图像的匹配误差构建目标函数，并利5[0017]针对相邻RGB图像的重叠区域，利用不同尺度的高斯模糊通过构建尺度空间并在[0018]通过计算关键点的描述符间的欧氏距离并应用比率测试，筛选出相邻的RGB图像[0020]优选的，所述基于畸变校正后的投影模型和匹配的特征点对估计相邻RGB图像间[0024]优选的，所述基于所述变换矩阵以及所述RGB图像和深度图像的匹配误差构建目pf和pf分别表示相邻RGB图像中第i个特征点的齐次坐标，df和df分别表[0030]通过非线性优化算法，迭代计算所述目标函数的梯度并[0032]将畸变校正后的相邻RGB图像和相邻深度图像的重叠区域转换到公共参考坐标系[0033]基于相邻深度图像中重叠区域中每个像素的深度值为相邻RGB图像的重叠区域中[0035]将相邻RGB图像的重叠区域中每个像素的加权平均RGB值赋给融合图像中相应位6[0036]本发明提供了一种鱼眼图像多视图融合系统，用于一种鱼眼图像多视图融合方[0040]优化模块，用于基于所述变换矩阵以及所述RGB图像和深度图像的匹配误差构建7[0054]S3：基于畸变校正后的投影模型和匹配的特征点对估计相邻RGB图像间的变换矩8不同图像间的匹配程度，从而确保最终的全景图像既没有视觉上的断裂也没有明显的接[0070]在本实施例中，使用尺度不变特征变换(SIFT)在不同的围的邻域应用高斯差分(DoG)算子，进一步精炼关键点的位置，并为每个关键点计算描述9pf和pt分别表示相邻RGB图像中第i个特征点的齐次坐标，df和df分别表[0094]S501：将畸变校正后的相邻RGB图像和相邻深度图像的重叠区域转换到公共参考[0096]S502：基于相邻深度图像中重叠区域中每个像素的深度值为相邻RGB图像的重叠置的RGB值的加权平均，其中权重是根据步骤S502中确定的融合权重，通过计算加权平均[0105]本发明提供了一种鱼眼图像多视图融合系统，用于一种鱼眼图像多视图融合方[0108]几何变换估计模块300，用于基于畸变校正后的投影模型和匹配的特征点对估计在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指[0112]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可储介质包括只读存储器(Read_OnlyMemory，ROM)、随机存储器(RandomAccessMemory，timeProgrammableRead_OnlyMemory，OTPROM)、电子抹除式可复写只读存储器(Electrically_ErasablePr