CN113870350B 图像样本标注方法、装置、终端设备和图像标注系统 （深圳市优必选科技股份有限公司）

本申请公开了一种图像样本标注方法、装的第n个关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的分别由所述第一摄像头和所述第二摄像头在同利用所述第一个三维坐标对所述第一图像中的第n个关键点进行标注。本申请可以获得目标对2基于第一摄像头和第二摄像头之间的位姿关系、目标对象的第n个关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所述第n个关键标和所述第二过渡坐标计算所述第n个关键点对应的四维坐标；利用所述四维坐标中前三个关键点在第二图像中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第从多张包括所述目标对象的图像中选择被遮挡的待标注关键点最少的两张图像作为分别确定所述第n个关键点在所述第一图像中的第一像素坐标和在所述第二图像中的基于所述第一摄像头和第i摄像头之间的位姿关系计算所述第一个三维坐标在第i摄确定所述第一三维坐标在第i图像中对应的像素坐标，并在利用若各个图像的第一标记均对应所述第n个关键点，则执行所述利用所述第一个三维坐若存在至少一张图像的第一标记偏离所述第n个关键点，则更新标对象的第n个关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第一个基于所述第一摄像头和第二摄像头之间的位姿关系计算所述第一个三维坐标在第二基于所述第二摄像头和第i摄像头之间的位姿关系计算所述第二个三维坐标在第i摄3确定所述第二三维坐标在第i图像中对应的像素坐标，并在利用若各个图像的第二标记均对应所述第n个关键点，则执行所述利用所述第二个三维坐若存在至少一张图像的第二标记偏离所述第n个关键点，则更新标对象的第n个关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第一个利用各个摄像头的内参矩阵和畸变系数确定各个摄像头的基本旋转向量和基本平移利用任意两个摄像头的基本旋转向量和基本平移向量计算所述任意两个摄像头之间点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所第一过渡坐标和所述第二过渡坐标计算所述第n个关键点对应的四维坐标；利用所述四维所述计算机程序在所述处理器上运行时执行权利要求1至7任一项所述的图像样本标注方4[0005]基于第一摄像头和第二摄像头之间的位姿关系、目标对象的第n个关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所述第n个第二图像中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第一个三维坐[0008]从多张包括所述目标对象的图像中选择被遮挡的待标注关键点最少的两张图像[0009]分别确定所述第n个关键点在所述第一图像中的第一像素坐标和在所述第二图像[0011]基于所述第一摄像头和第i摄像头之间的位姿关系计算所述第一个三维坐标在第[0012]确定所述第一三维坐标在第i图像中对应的像素坐标，并在利用第一标记对所述第i图像中对应的像素坐标进行标记后显示带5[0013]若各个图像的第一标记均对应所述第n个关键点，则执行所述利用所述第一个三[0014]若存在至少一张图像的第一标记偏离所述第n个关键点，则更新所述第一像素坐标和/或所述第二像素坐标，并重新执行所述基于第一摄像头和第二摄像头之间的位姿关中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第一个[0016]基于所述第一摄像头和第二摄像头之间的位姿关系计算所述第一个三维坐标在[0019]基于所述第二摄像头和第i摄像头之间的位姿关系计算所述第二个三维坐标在第[0020]确定所述第二三维坐标在第i图像中对应的像素坐标，并在利用第二标记对所述第i图像中对应的像素坐标进行标记后显示带[0021]若各个图像的第二标记均对应所述第n个关键点，则执行所述利用所述第二个三[0022]若存在至少一张图像的第二标记偏离所述第n个关键点，则更新所述第一像素坐标和/或所述第二像素坐标，并重新执行所述基于第一摄像头和第二摄像头之间的位姿关中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第一个第二图像中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第一个三维坐[0027]利用所述四维坐标中前三个维度的坐标值分别除以第四个维度的坐标值以获得[0031]利用各个摄像头的内参矩阵和畸变系数确定各个摄像头的基本旋转向量和基本6[0032]利用任意两个摄像头的基本旋转向量和基本平移向量计算所述任意两个摄像头关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第一个三维坐标，所述第一图像和所述第二[0035]标注模块，用于利用所述第一个三维坐标对所述第一图像中的预定位置进行标[0044]图4示出了本申请实施例提出的一种图像样本标注方法中第一个三维坐标确定过[0047]图7示出了本申请实施例提出的一种图像样本标注方法中验证第一图像标注准确[0049]图9示出了本申请实施例提出的一种图像样本标注方法中验证第二图像标注准确7[0054]通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含三个单目摄像头在同一时刻获取的包括目标对象的至少三张图像以及各个单目摄像头之图像中的一张图像对应的三维坐标以及该图像对应的单目摄像头和其他各个单目摄像头之间的位姿关系确定该三维坐标在其他各个图像中对应的位置以确定该三维坐标的准确头和其他各个单目摄像头之间的位姿关系确定该三维坐标在其他各个图像中对应的位置个单目摄像头通过两个单目摄像头之间的旋转矩阵和平移向量可以从当前位置移动到另8行拍照以获得多张图片(可以为25-30张图片)，利用多张图片根据张正友标定法计算出相[0063]S20：利用各个摄像头的内参矩阵和畸变系数确定各个摄像头的基本旋转向量和[0069]r1,t1,_＝aruco.estima[0070]其中，aruco.estimatePoseSingleMarkers[0073]r2,t2,_＝aruco.estima[0077]S30：利用任意两个摄像头的基本旋转向量和基本平移向量计算所述任意两个摄9[0081]其中R1-1表示旋转矩阵R1的逆，(xc1,yc1,计算出第二摄像头到第一摄像头的旋转矩阵为R1R2-1，第二摄像头到第一摄像头的和平移[0084]本申请的一个实施例，请参见图3，提出一种图像样本标注方法，包括以下步骤第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所述第像素坐标(u2,v2)是在对应的像平面[0092]在已知第一像素坐标(u1,v1)的情况[0096]在已知第二像素坐标(u2,v2)的情况下，可以利用第二摄像头的内参矩阵中的焦所述第二过渡坐标计算所述第n个关键点对应[0100]示范性的，可以利用opencv的函数cv2.triangulatePoints(T1,T2,point1,除以第四个维度的坐标值，最终得到第n个关键点在第一摄像头坐标系下的第一个三维坐[0104]可以利用所述第一个三维坐标作为第一图像中的第n个关键点的三维标注。在需各个关键点的绝对深度，解决现有利用深度相机无法获取到被遮挡部位的绝对深度的问述目标对象的图像中选择被遮挡的待标注关键点最少的两张图像作为所述第一图像和所[0109]进一步的，分别确定所述第n个关键点在所述第一图像中的第一像素坐标和在所[0111]S191：基于所述第一摄像头和第i摄像头之间的位姿关系计算所述第一个三维坐[0112]示范性的，可以利用以下公式确定第一个三维坐标在第i摄像头坐标系下对应的所述第i图像中对应的像素坐标进行标记后显示带有第一标标记后显示带有第一标记的第i图像，以便于判断第i图像的第一标记是否对应所述第n个[0118]若各个图像的第一标记均对应所述第n个关键点，说明第一个三维坐标对所述第为第一个三维坐标在第二摄像头坐标系下对应的第二个三维坐标，R12为第一摄像头坐标系到第二摄像头坐标系的旋转矩阵，T12为第一摄像头坐标系到第二摄像头坐标系的平移[0125]可以利用所述第二个三维坐标作为第二图像中的第n个关键点的三维标注。在需[0127]S391：基于所述第二摄像头和第i摄像头之间的位姿关系计算所述第二个三维坐[0128]示范性的，可以利用以下公式确定第二个三维坐标在第i摄像头坐标系下对应的所述第i图像中对应的像素坐标进行标记后显示带有第二标[0133]若各个图像的第二标记均对应所述第n个关键点，说明第二个三维坐标对所述第个关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第一个三维坐标，所述第一图像和所述第关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计述目标对象的图像中选择被遮挡的待标注关键点最少的两张图像作为所述第一图像和所述第二图像；分别确定所述第n个关键点在所述第一图像中的第一像素坐标和在所述第二[0137]进一步的，在所述利用所述第一个三维坐标对所述第一图像中的第n个关键点进的第n个关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第一个于利用所述第二个三维坐标对所述第二图像中的第n[0139]进一步的，在所述利用所述第二个三维坐标对所述第二图像中的第n个关键点进的第n个关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计算所述第n个关键点在第一摄像头坐标系下的第一个关键点在第一图像中的第一像素坐标和所述第n个关键点在第二图像中的第二像素坐标计过渡坐标和所述第二过渡坐标计算所述第n个关键点对应的四维坐标；利用所述四维坐标中前三个维度的坐标值分别除以第四个维度的坐标值以获得所述第一[0143]