CN114022565B 用于显示设备的对齐方法及对齐装置、车载显示系统 （虹软科技股份有限公司）

本发明公开了一种用于显示设备的对齐方显示设备待投影的图像；根据二维图像映射关图像中的虚拟标识物与视线聚焦区域中的实体乘人员能够在视线移动的同时得到良好的虚实2确定目标载具中的用户的视线聚焦区域，其中，所述视线聚获取第一相机对原始场景进行采集的拍摄图像，并提取所述拍摄图像中的实体标识通过预先得到的标定参数，确定所述拍摄图像和在用户当前视场中虚拟拟图像中的虚拟标识物与所述视线聚焦区域中的根据所述显示设备和用户眼睛的位置状态，结合人眼模拟辅助相当所述显示设备和/或所述用户眼睛的位置改变时，通过调整位置发生改变的设备至置发生改变的设备至可变空间中的至少2个不同标定位置重复所述虚实开闭标定方法并确化位置参数，根据所述归一化位置参数和所述归一化参数标定对应关系确定所述标定参基于所述用户的视线投放主体的坐标，确定所述用户对所述将所述聚焦注视线与所述目标载具前方地面所处的平面进行交汇处理，得到眼模拟辅助相机采集的第三图像与虚拟标定图样之间的第二二维图36.根据权利要求5所述的对齐方法，其特征在于，通过控制所述显示设备的开启与关在关闭所述显示设备后，结合所述实物标定图样，确定在开启所述显示设备后，结合所述虚拟标定图样，确定所第三图像与所述虚拟标定图样之间的第四二维将所述第三二维图像映射关系和所述第四二维图像映射关系表征为图样由在所述人眼模拟辅助相机视场中高于且平行于所述实物标定图样的等效实物标定9.根据权利要求8所述的对齐方法，其特征在于，通过控制所述显示设备的开启与关在关闭所述显示设备后，通过等效实物标定图样还原位于地面在开启所述显示设备后，结合所述虚拟标定图样，确定所第六图像与所述虚拟标定图样之间的第六二维将所述第五二维图像映射关系和所述第六二维图像映射关系表征为根据标定获得的所述第一相机、所述人眼模拟辅助相机和根据所述离地高度值和所述预设缩放比，结合光线传播原理将所还原位于地面等效的所述虚拟标定图样以及计算所述虚拟标定图样的结合所述第二空间位姿将所述虚拟标定图样投影至所述第一相机成像面生成所述第备和/或所述人眼模拟辅助相机的位置移动量占可调整所述设备至可变直线行程内的至少2个不同标定位置重复所述虚实开闭标定方法4调整所述设备至可变平面行程内的至少3个不同标定位置重复所述虚实开闭标定方法调整所述设备至可变三维空间行程内的至少4个不同标定位置重复所述虚实开闭标定间中的至少2个不同标定位置重复所述虚实开闭标定方法并确定所述归一化参数标定对应调整所述位置发生改变的设备至所述可变空间中的至少2个不同标定位置，并在所述结合所述标定参数组以及所述归一化参数组拟合确定所述归一化参结合所述二维图像映射关系和所述目标载具的姿态，将所述第一获取单元，用于获取第一相机对原始场景进行采集的第一确定单元，用于通过预先得到的标定参数，确定所对齐单元，用于根据所述二维图像映射关系，将所述实体标识所述对齐装置还包括：第三确定单元，用于在所述显示设备和所述用5当所述显示设备和/或所述用户眼睛的位置改变时，通过调整位置发生改变的设备至置发生改变的设备至可变空间中的至少2个不同标定位置重复所述虚实开闭标定方法并确化位置参数，根据所述归一化位置参数和所述归一化参数标定对应关系确定所述标定参第一确定模块，用于基于所述用户的视线投放主体的坐标注视点确定模块，用于将所述聚焦注视线与所述目标载具前第二确定模块，用于基于所述注视位置点，确定所述目标人眼模拟辅助相机采集的第三图像与虚拟标定图样之间的第二二维图像人眼模拟辅助相机和所述第一相机捕获的图像相机采集的第一图像与所述人眼模拟辅助相机采集的第二图像之间的第三二维图像映射模拟辅助相机采集的第三图像与所述虚拟标定图样之间的第四二维图像映射第三确定子模块，用于将所述第三二维图像映射关系和于所述实物标定图样由在所述人眼模拟辅助相机视场中高于且平行于所述实物标定图样第四确定子模块，用于在关闭所述显示设备后，通过等效6模拟辅助相机采集的第六图像与所述虚拟标定图样之间的第六二维图像映射第六确定子模块，用于将所述第五二维图像映射关系和其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至18中任意一项要求1至18中任意一项所述的用于显示设备7[0003]近年来，HUD逐步向沉浸式增强现实平视显示器(augmentedrealityhead-updisplay,AR-HUD)发展，沉浸式AR-HUD要求用户眼中的虚拟图像与用户眼中虚拟图像所覆大进而引起对齐精度下降。因此发展跟随视线移动的AR-HUD的虚实对齐技术及其标定算[0006]本发明实施例提供了一种用于显示设备的对齐方法及对8的设备至多个不同标定位置重复所述虚实开闭标定方法并确定归一化参数标定对应关系，根据所述设备的实际位置以及所述归一化参数标定对应关系确模拟辅助相机和所述第一相机捕获的图像确定所9所述第二空间位姿将所述虚拟标定图样投影至所述第一相机成像面生成变的设备至多个不同标定位置重复所述虚实开闭标定方法并确定归一化参数标定对应关调整所述位置发生改变的设备至可变空间中的至少2个不同标定位置重复所述虚实开闭标可变直线行程内的至少2个不同标定位置重复所述虚实开闭标定方法并确定所述归一化参可变平面行程内的至少3个不同标定位置重复所述虚实开闭标定方法并确定所述归一化参备至可变三维空间行程内的至少4个不同标定位置重复所述虚实开闭标定方法并确定所述[0025]可选地，调整发生位置改变的设备至可变空间中的至少2个不同标定位置重复所的设备至所述可变空间中的至少2个不同标定位置，并在所述不同标定位置上重复所述虚组以及所述归一化参数组拟合确定所述归一化参数拟辅助相机视场中高于且平行于所述实物标定图样的等效过等效实物标定图样还原位于地面等效的虚拟标定图样并投影至所述第一相机生成的第图像映射关系和所述第六二维图像映射关系表征为所所述虚拟图像中的虚拟标识物与所述视线聚焦区域中的实体参读存储介质所在设备执行上述任意一项所述的用于显示设备[0043]图1是根据本发明实施例的一种用于实现用于显示设备的对齐方法的计算机终端[0045]图3是根据本发明实施例的一种可选的用于显示设备的标定方法的场景示意图[0047]图5是根据本发明实施例的一种可选的用于显示设备的标定方法的场景示意图[0048]图6是根据本发明实施例的一种可选的用于显示设备的标定方法的场景示意图员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0057]虚实对齐(virtual-realregistration)：增强现实中实现生成的虚拟图像与真注视点，车载计算机经由注视点计算当前时刻驾驶员所见车外实景在行车记录仪中的画是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，[0064]应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如[0065]存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的用于显示设备的对齐方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算[0066]传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括[0067]显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并[0076]可选的，显示设备的对齐方法可应用于车显示设备和/或用户眼睛的位置改变时，通过调整位置发生改变的设备至多个不同标定位标定图样(1)中的特征点在辅助标定相机Cameye和主标定相机Camadas(本实施例中是指第一据所拍摄虚拟标定图样(2)的特征点(即第三图像的第四特征点)，计算拍摄虚拟标定图样(2)得到的特征点与最终在AR-HUD虚像面所显示的特征点(即虚像面中的第息Ransac剔除错误匹配以及方程求解变换关系，亦可采用深度估计变换关系，例如[0102]在本发明实施例中，标定操作若以真实地面作为AR-HUD本申请实施例通过等效实物标定图样缩短标定过程中实物标定图样(1)所需要的空间距[0104]图4是根据本发明实施例的一种可选的三维视觉中小孔成像基本原理的示意图，不同标定场地的实际情况，AR-HUD的标定过程中实物标定图样(1)到标定车辆的距离可缩图像映射关系和第六二维图像映射关系表征模拟辅助相机视场中高于且平行于实物标定图样的等效实物标定图样代替。图5是根据本平行于实物标定图样(1)的等效实物标定图样(3)代替实物标定图样(1)，等效实物标定图样(3)与实物标定图样(1)的缩放比相当于等效实物标定图样(3)的离地高度与Cameye的离地高度之比，也可以相当于实物标定图样(1)到Cameye的水平距离与等效实物标定图样(3)影是指通过对Cameye视场中的等效实物标定图样(3)的像素点投影到Camadas视场中产生新的图像的像素点。如图5所示，可以独立标一空间位姿)，空间位姿不仅提供设备之间的位置关系，进一步可提供等效实物标定图样(3)距离地面高度h和预设缩放比信息；根据等效实物标定图样(3)距离地面例是指等效实物标定图样的离地高度值)以及光线沿着线传播原理，计算位于地面上的虚可变空间中的至少2个不同标定位置重复虚实开闭标定方法并确定归一化参数标定对应关[0116]上述“若干”的最小值是，可改变的位置若为近似线性(如AR-HUD虚像面上下调至少2个不同标定位置包括：设备在可变直线行程的最高显示基准位置和最低显示基准位[0118]可选的，调整发生位置改变的设备至可变空间中的至少2个不同标定位置重复虚空间中的至少2个不同标定位置，并在不同标定位置上重复虚实开闭标定方法获得标定参分别对应AR-HUD虚像面归一化行程的N个0-1之间的值，可确定出归一化参数标定对应关一自变量为0.1))，结合归一化参数标定对应关系便求出AR-HUD虚像面移动于该位置时对移动移动并且通过上述方法确定出任意位置[0120]图6是根据本发明实施例的一种可选的用于显示设备的标定方法的场景示意图位置，当AR-HUD虚像面调至最高，即归一化行程值为1时，在关闭AR-HUD虚像面后，使用的特征点，计算拍摄1#HUD虚像面得到的特征点与最终在AR-HUD虚像面所显示的特征点之闭AR-HUD虚像面后，使用Camadas与Ca特征点与最终在AR-HUD虚像面所显示的特征点之间的二维图像变换关系H(2)eye2image，最后得到了2个基准位置上两组标定参数：二维图像变换关系H(1)adas2eye、二维图像变换关系H第一显示基准位置的第一坐标)，人眼模拟辅助相机移动到驾驶室内可行空间的右下、右的实场景(如车道线)在行车记录仪图像(Camadas)中所对应的像素点，根据此时人眼在DMS相空间行程内的至少4个不同标定位置重复虚实开闭标定方法并确定归一化参数标定对应关空间为可变二维平面类似，人眼模拟辅助相机移动到驾驶室内可变平面行程内的4个不同的P个三维归一化位置的值，结合P组标定参数组以及对应的P个三维归一化位置的值拟合实场景(如车道线)在行车记录仪图像(Camadas)中所对应的像素点，根据此时人眼在DMS相拟人眼的Cameye可以由机械臂或可探测深度的DMS相机给出它在可行区域中的三维归一化标系和DMS相机坐标系的变换关系，若直接使用可探测深度的DMS相机提供三维归一化坐HUD虚像范围中所显示的虚拟车道线，虚拟车道线覆盖在Cameye视场中的真实白色车道线(102)上。车载计算机通过语义识别算法(例如神经网络等)识别Camadas图像中存在的车道取决于DMS相机或Camadas相机或AR-HUD显示[0142]图8是根据本发明实施例的一种用于显示设备的对齐装置改变的设备至多个不同标定位置重复虚实开闭标定方法并确定归一化参数标定对应关系，根据设备的实际位置以及归一化参数标定对应关样，确定人眼模拟辅助相机采集的第六图像与虚拟标定图样之间的第六二维图像映射关于：调整位置发生改变的设备至可变空间中的至少2个不同标定位置重复虚实开闭标定方备至可变直线行程内的至少2个不同标定位置重复虚实开闭标定方法并确定归一化参数标备至可变平面行程内的