CN119509578A 用于校准成像和空间方位传感器的系统和方法 （聂小春）

201880059859.62018.09.05用于校准成像和空间方位传感器的系统和本发明公开了校准空间方位传感器之间的相对方位以及成像传感器之间的相对方位的方2确定与所述成像传感器相对固定的参考点与所述第一点的图像使用成像传感器在其第一方位获取三维空间中第一点的第一图像和三维空间中第二使用成像传感器在其第二方位获取所述第一点的第三图像和所基于第一图像和第二图像，确定成像传感器处于第一方位时相对于参考系的相对方基于第三图像和第四图像，确定成像传感器处于第二方位时相对于参考系的相对方基于所述成像传感器处于第一方位时相对于所述参考系的相对方位和成像传感器处确定成像传感器在成像传感器的第一方位和成像传感器的第二方位之间的第一相对确定成像传感器在成像传感器的第三方位和成像传感器的第四方位之间的第二相对使用成像传感器在其第一方位获取三维空间中第一点的第一图像和三维空间中第二3基于成像传感器在成像传感器的第一方位和成像传感器的第二方位之间的第一相对基于空间方位传感器相对于参考系的相对方位和成像传感器相对于参考系的相对方使用成像传感器在其第一方位获取三维空间中第一点的第一图像和三维空间中第二基于第一空间方位传感器相对于第一参考系的相对方位和第一成像传感器相对于第基于第二空间方位传感器相对于第二参考系的相对方位和第二成像传感器相对于第确定第一空间方位传感器相对于第二空间方位传基于第一相对方位、第二相对方位和第三相对方位，确定第一成像传4使用成像传感器在其第一方位获取三维空间中第一点的第一图像和三维空间中第二使用成像传感器在其第二方位获取所述第一点的第三图像和所获取所述成像传感器分别处于第一方位、第二方位时，空间方基于使用第一成像传感器获取的图像，获取人的眼睛相对于第一成像基于第一相对方位和第二相对方位，确定眼睛相对于第二成像传感器的第三相对方5[0001]本发明专利申请是申请号为201880059859.6，PCT申请号为PCT/US2018/049469，PCT申请日为2018年9月5日，发明名称为“用于校准成像和空间方位传感器的系统和方法”键盘和触摸屏是传统的输入设备，需要用户手动控制。有些输入设备，如Microsoftkinectg,能够在没有任何物理接触的情况下跟踪用户的身体或手的姿势。在本公开中，67系的相对方位和成像传感器处于第二方位时相对于参考系的相对方位确定成像传感器在感器的第二方位之间的第一相对旋转和成像传感器在成像传感器的第三方位和成像传感8[0044]图6示出了眼睛相机和视场相机被附接到用户佩戴的固定用框架(harnessframe)9以通过在两个对象上分别附接两个空间方位传感器来测量这两个对对方位可以使用方法章节C9中描述的系统和[0066]注视向量是从眼睛中心指向注视点的单位向量，注视点是用户正在看的那个[0067]假设眼睛相机CE坐标系中的注视向量已知，则可以使用方法章节中C12部分的方[0068]本公开所描述的系统和方法也可用于其它使用多个相机和多个空间方位传感器[0069]在校准过程中，使用本公开中描述的系统和方法(例如，参见方法章节的C11部[0081]在图6所示可作为眼睛跟踪和注视点记录系统的实施例中，用户佩戴的固定用框[0083]空间方位传感器可以附接到物理对象上，以测量其相对于空间方位传感器的方[0086]下面描述根据三维空间中一对定点在相机视场中的图像获取参考坐标系相对于[0087]参考坐标系CS_AB在相机坐标系CS_C中的方位可以用四元数来描述。基于此四元感器的方位不变，根据两个旋转向量可以确定参考坐标系相对于空间方位传感器的方位，机相对于空间方位传感器的方位不变，如果这些参考系是同时根据相同的方位变化得到[0097]相机的焦距可用于计算参考坐标系和旋转向量，参见方法章节的C6部分或C7部[0100]如果已知一个相机相对于另一个相机的相对方位，则可以例如如方法章节的C12的坐标系中的注视向量可以映射到视场相机CF[0104]相机坐标系中的向量可以映射到相机的图像平面上的点。参见附录章节A1.3部相对于第二空间方位传感器相对方位721。第一空间方位传感器相对于第二空间方位传感感器在其第一方位获取三维空间中第一点的第一图像991和三维空间中第二点的第二图像像传感器在第一方位和第二方位之间的相对旋转931。第一点和第二点在三维空间中是固的成像传感器获取三维空间中第一点的第一图像10111和三维空间中第二点的第二图像定成像传感器在成像传感器的第一方位和成像传感器的第二方位之间的第一相对旋转定空间方位传感器相对于成像传感器的相对方方位的成像传感器获取三维空间中第一点的第一图像11111和三维空间中第二点的第二图系的相对方位1291，确定第一空间方位传感器相对于第一成像传感器的第一相对方位传感器在其第一方位获取三维空间中第一点的第一图像1311和三维空间中第二点的第二第一成像传感器获取的图像，获取人的眼睛相对于第一成像传感器的第一相对方位1511。在步骤1520，获取第二成像传感器相对于第一成像传感器的第二相对方位1521。在步骤[0121]在已知的坐标系CS_A中，获取第一三维单位向量v_a_1和第二三维单位向量v_a_[0131]v_x＝v_a_1,v_z＝v_cru(v_x,v_a_2)，v_y＝v_cru(v_z,v_x)，见附录章节[0143]还可以通过其它方法根据CS_A中的两个三维向量v_a_1和v_a_2中得出CS_R在CS_设q_x_y_2是q_x_w_2从CS_W变换到CS_Y的四元数，则：q_x_y_2＝q_ldf(q_x_w_1,q_x_w_[0154]假设deg是旋转向量v_x以度为单位的旋转量,deg＝deg_frm_q(q_x_y_2)，因为CS_Y在CS_W中与CS_X的起始方位对齐，v_x也可以被视为CS_X绕其从起始方位旋转到结束[0156]获取与空间方位传感器绕其从起始方位旋转到结束方位的旋转轴对齐的旋转向[0161]v_g也可以看作是CS_G中空间方位传感器绕其从起始方位旋转到结束方位的旋转[0174]q_r_g＝q_frm_2v(v_g_1,v_g_2,method_index)，其中met[0177]从四个方位获取四元数q_ge_gf，q_ge_gf表示位于CS_GE坐标系的空间定位传感器GE相对于位于CS_GF坐标系的空间定位[0179]q_ge_gf＝q_frm_8q(q_ge_we_1q_ge_we_2、q_ge_we_3q_ge_gf_wf_2,q_gf_wf_3,q_[0185]将两个空间方位传感器的输出四元数以(q_ge_we_n,q_gf_wf_n)形式成对分组，[0196]q_re_ge＝q_frm_4q(q_ge_we_1，q_ge_we_2，q_ge_we_3，q_ge_we_4,method_[0197]q_rf_gf＝q_frm_4q(q_gf_wf_1，q_ge_wf_2，q_gf_wf_3，q_gf_wf_4,method_表示在相机坐标系CS_C中参考坐标系C用方法章节中C1部分描述的方法得到表示CS_C中C[0219]v_c＝v_frm_4p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,FOCAL_LEN,method_[0220]deg_c＝deg_frm_4p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,FOCAL_LEN,method_[0233]CS_AB是根据方法章节中C6部分中描述的由PA和PB两个物理点的图像确定的参考[0237]其中，v_c可以看作是相机在与CS_C的起始方位对齐的坐标系中从起始方位旋转[0241]q_rc_c＝q_frm_8p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,p_c_i_1,p_d_i_1,p_c_[0253]v_ab_c＝v_frm_4p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,FOCAL_LEN,method_[0254]v_cd_c＝v_frm_4p(p_c_i_1,p_d_i_1,p_c_i_2,p_d_i_2,FOCAL_LEN,method_[0259]其中，method_index在方法章节中表示可以在PartC1中使用的许多不同方法中相机坐标系CS_C相对于位于坐标系CS_G的空间方位传感器的方位的[0266]q_rc_c＝q_frm_8p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,p_c_i_1,p_d_i_1,p_c_[0268]p_a_i_1和p_b_i_1是相机在AB1方位拍摄到的物理点PA和PB的图像p_a_i_2和p_b_i_2是相机在AB2方位拍摄到的物理点PA和PB的图像p_c_i_1和p_d_i_1是相机在CD1方位拍摄到的物理点PC和PD的图像p_c_i_2和p_d_i_2是相机在CD2方位拍摄到的物理点PC和PD[0274]方位四元数q_rg_g表示参考坐标系CS_RG在CS_G中的方位，可使用方法章节C4中[0275]q_rg_g＝q_frm_4q(q_g_w_ab1,q_g_w_ab2,q_g_w_cd1,q_g_w_cd2,method_[0279]获取方位四元数q_ce_cf，q_ce_cf表示相机CE的坐标系CS_CE相对于相机CF的坐[0281]q_ce_cf＝q_frm[0283](1)相机CE和空间方位传感器GE安装在刚性框架上。它们的相对方位在校准过程[0284](2)相机CF和空间方位传感器GF安装在刚性框架上。它们的相对方位在校准过程[0290]q_ge_gf是空间方位传感器GF的坐标系CS_GF中的代表空间方位传感器GE的坐标[0291]因此，表示相机CF的CS_CF坐标系中相机CE的坐标系CS_CE方位的四元数q_ce_cf[0294]从三维世界坐标系CS_W中一对固定的物理点PA和PB的图像中获取相机的焦距CS_C与空间定位传感器坐标系CS_G[0298]deg_c＝deg_frm_4p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,FOCAL_LEN,method_[0308]deg_c_n＝deg_frm_4p(p_a_i_1,p_b_i_1,p_a_i_2,p_b_i_2,focal_len_n,[0310]得到与deg_g值最接近的deg_c_n的focal_len_n可以认为是相机焦距FOCAL_LEN[0312]将相机CE坐标系CS_CE中的注视向量v_ce转换为相机CF坐标系CS_CF中的向量v_[0319]使用方法章节C12中描述的方法中获取v_cf后，可以将其映射到相机CF的二维图[0457]Z＝_aZ.[0478]Xx＝1.0f_2.0f*[0481]Yy＝1.0f_2.0f*