CN114943773B 相机标定方法、装置、设备和存储介质 （阿里巴巴（中国）有限公司）

本发明实施例提供一种相机标定方法、装两两图像之间匹配的特征点对的像素坐标确定相机的初始参数；获取相机当前采集的第一图匹配的特征点对的像素坐标及相机的初始参数以利用相机当前参数、多个预置图像上的兴趣2获取用于确定初始相机参数的多个初始图像，所述多个初始图像中包根据所述多个初始图像中两两图像之间匹配的特征点对的像素获取所述相机当前采集的第一图像，以及用于确定当根据所述第一图像分别与所述多个参考图像之间匹配的特征点根据所述第一图像与所述目标参考图像之间匹配的特征点对的像素坐标以及所述相确定所述目标参考图像的拍摄视角分别相对所述多个预置图像的拍摄视角的旋转矩根据所述第一图像的拍摄视角相对所述目标参考图像的拍摄视角的第一图像的拍摄视角分别相对所述多个预置图像的拍确定所述相机的第二当前参数，所述第二当前参数中根据所述第一图像的拍摄视角分别相对所述多个预置图像的拍摄视图像的拍摄视角分别相对所述多个预置图像的拍摄若所述第一图像的拍摄视角相对第一预置图像的拍摄视角的偏标是所述第一兴趣点信息在所述第一预置图像中对应的若所述第一图像的拍摄视角相对第二预置图像的拍摄视角的偏移量大于所述预设阈所述第一预置图像和所述第二预置图像为所述多个预置图像中的3针对任一预置图像，根据所述第一图像的拍摄视角相对所述任一预置根据所述当前相机内参中包含的相机焦距和所述根据所述旋转向量模长和所述相机焦距变化量，确定所述第一图像得到所述第一图像和所述多个参考图像各自针对任一参考图像，将所述第一图像和所述任一参考图像各自从所述多个参考图像中确定与所述第一图像之间匹配的特征点对数量大于设定阈值采用预设特征匹配算法对所述第一图像和所述任一参考图像各自对应的特征点进行若采用所述预设特征匹配算法得到的所述第一图像和所述任一参考图像之间匹配的刻获得的多个参考图像中存在与所述第二图像之间匹配的特征点对数量大于设定阈值的得到所述第一图像和所述多个参考图像各自针对所述多个参考图像中的各预置图像，采用预设特征匹4若采用所述预设特征匹配算法得到的所述第一图像分别和各预置图像之间匹配的特若采用所述预设特征匹配算法得到的所述第一图像和所述第二图像之间匹配的特征根据所述特征匹配模型的输出结果，从所述多个参考图像中确其中，所述特征提取模型和所述特征匹配模型均为深度神初参确定模块，用于根据所述多个初始图像中两两图像实参确定模块，用于获取所述相机当前采集的第一时刻获得的多个参考图像中存在与所述第二图像之间匹配的特征点对数量大于设定阈值获取用于确定初始相机参数的多个初始图像，所述多个初始图像中包5根据所述多个初始图像中两两图像之间匹配的特征点对的像素获取所述相机当前采集的第一图像，以及用于确定当根据所述第一图像分别与所述多个参考图像之间匹配的特征点根据所述第一图像与所述目标参考图像之间匹配的特征点对的像素坐标以及所述相图像的拍摄视角分别相对所述多个预置图像的拍摄根据所述相机的初始参数和当前参数，确定所述第一图像的拍摄视根据所述偏移量确定所述多个预置图像中包含的兴趣点信息在所述第一图像中分别时刻获得的多个参考图像中存在与所述第二图像之间匹配的特征点对数量大于设定阈值6[0008]获取所述相机当前采集的第一图像，以及用于确定当前相机参数的多个参考图[0010]根据所述第一图像与所述目标参考图像之间匹配的特征点对的像素坐标以及所7机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的相[0020]获取所述相机当前采集的第一图像，以及用于确定当前相机参数的多个参考图[0022]根据所述第一图像与所述目标参考图像之间匹配的特征点对的像素坐标以及所第一图像的拍摄视角分别相对所述多个预置图像的拍[0024]根据所述偏移量确定所述多个预置图像中包含的兴趣点信息在所述第一图像中[0025]在本发明实施例提供的方案中，除了在相机运行的初始阶段需要进行相机标定8中确定与第一图像之间符合设定的匹配条件的预置图像作为用于完成当前相机标定的目9[0043]103、获取相机当前采集的第一图像，以及用于确定当前相机参数的多个参考图[0045]105、根据第一图像与目标参考图像之间匹配的特征点对的像素坐标以及相机的视角相对目标参考图像的拍摄视角的旋转矩阵以络模型实现。比如特征提取模型可以采用SuperPoint模型，特征匹配模型可以采用[0057]基于深度神经网络模型构成的特征匹配模型和特征提取模型完成特征点的提取ij表示图像i与图[0062]初始相机内参表示为矩阵K，其包括如下公式(1)中示意yymax()表示取最大值运算。终求解出包括初始相机参数K在内的相机的初始参数，最终的求解结果才作为真正的相机个初始图像中两两图像对应的拍摄视角之间的旋转矩[0069]在确定两两图像对应的拍摄视角之间的旋转矩阵初始值Rij以及初始相机内参的特征点之间的重投影误差并对得到的M个重投影误差进行求和，汇总多个初始图像中全部确定与第一图像之间满足上述匹配条件的预置图像作为视角相对目标参考图像的拍摄视角的旋转矩阵以的初始值，可以由以下公式(6)初始化第一图像的拍摄视角相对目标参考图像的拍摄视角[0093]仍以上述匹配的特征点对和为例，在对其像素坐标经过上述去畸变处理后像的拍摄视角相对目标参考图像的拍摄视角的旋转矩阵Rcm以及所述畸变系数的第一当前[0101]202、采用预设特征匹配算法对第一图像和任一参考图像各自对应的特征点进行[0102]203、若采用预设特征匹配算法得到的第一图像和任一参考图像之间匹配的特征[0103]204、从多个参考图像中确定与第一图像之间匹配的特征点对数量大于设定阈值通过特征匹配模型得到与第一图像间匹配的特征点对数量大于设定阈值的至少一个参考[0110]图3为本发明实施例提供的另一种目标参考图像的确定方[0113]303、若采用预设特征匹配算法得到的第一图像分别和各预置图像之间匹配的特[0114]304、若采用预设特征匹配算法得到的第一图像和第二图像之间匹配的特征点对得到目标参考图像，则采用特征匹配模型进行第一图像与各参考图像(包括各预置图像和以将预置图像以及兴趣点信息的对应关系保存述，针对当前采集的第一图像而言需要确定第一图像的拍摄视角相对目标参考图像(比如某一个预置图像或上一帧匹配成功的第二图像)的拍摄视角的旋转矩阵以及当前相机内参外，还需要进一步确定第一图像的拍摄视角分别相对多个预置图像的拍摄视角的旋转矩[0127]503、获取相机当前采集的第一图像，以及用于确定当前相机参数的多个参考图[0130]505、根据第一图像与目标参考图像之间匹配的特征点对的像素坐标以及相机的视角相对目标参考图像的拍摄视角的旋转矩阵以[0131]506、确定目标参考图像的拍摄视角分别相对多个预置图像的拍摄视角的旋转矩过如下公式(8)便可以得到第一图像Ic的拍摄视角相对预置图像Ip的拍摄视角的旋转矩阵p含有相机焦距fx和fy。第一图像Ic的拍摄视角相对预置图像Ip的拍摄视角的旋转矩阵Rcp转p[0153]S3、若第一图像的拍摄视角相对第一预置图像的拍摄视角的偏移量小于预设阈[0154]这里假设第一图像的拍摄视角相对第一预置图像的拍摄视角的偏移量小于预设一预置图像中对应的像素坐标在第一图像上定位并标记出第一[0156]这里假设第一图像的拍摄视角相对第二预置图像的拍摄视角的偏移量大于预设Zp表示第二兴趣点信息在第二预置图像中对应的像素坐标，Zc第二兴趣点信息在第一图像像素坐标，将第二兴趣点信息所对应的功能属性信息在第一图像中与该像素坐标关联显[0164]603、获取相机当前采集的第一图像，以及用于确定当前相机参数的多个参考图[0175]视频显示区域703用于实时显示被选择相机所拍得的视频画面，同时在视频画面[0176]功能面板704，比如可以包含云台控制功能705和参数配置功能706等功能项。其[0178]预置位管理功能7052用于对相机的多个预置拍摄位(即上文中所说的多个预设拍软件开发工具包(SoftwareDevelopmentKit，简称SDK)、应用程序接口(Application通过用户设备调用该相机标定服务接口，以向云端触发调用该相机标定服务接口的请求。[0182]相机标定服务接口利用处理资源执行相机标定处理的详细过程可以参考前述其后续实际运行过程中对视频画面的采样率，以便相机基于该采样率将采集的图像上传云旋转矩阵，以及目标参考图像的拍摄视角分别相对多个预置图像的拍摄视角的旋转矩阵，应的特征点进行匹配处理，以确定第一图像分别和各预置图像之间匹配的特征点对数量；若采用预设特征匹配算法得到的第一图像分别和各预置图像之间匹配的特征点对数量小[0196]图9所示装置可以执行前述实施例中介绍的步骤，详细的执行过程和技术效果参述处理器至少可以实现如前述实施例中提供的借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实以对前述各实施例所记载的技术方