CN114170325B 确定单应性矩阵的方法、装置、介质、设备和程序产品 （北京地平线信息技术有限公司）

(19)国家知识产权局(12)发明专利(10)授权公告号CN114170325B(65)同一申请的已公布的文献号(73)专利权人北京地平线信息技术有限公司地址100094北京市海淀区丰豪东路9号院2号楼3层1单元301(72)发明人隋伟张家馨张骞路娇(74)专利代理机构北京思源智汇知识产权代理有限公司11657专利代理师毛丽琴GO6N3/04(2023.01)审查员魏旭阳利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计基于帧间里程计、平面方程和预存的相机内参，确定目标路面的单应性矩阵公开了一种确定路面的单应性矩阵的方法、中，方法包括：获取相机拍摄的第一图像帧和第二图像帧，第一图像帧和第二图像帧具有相同区域的目标路面；利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计；基于第一图像帧，确定目标路面的平面方程；基于帧间里程计、平面方程和预存的相机内参，确定目21.一种确定单应性矩阵的方法，包括：获取相机拍摄的第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧具有相同区域的目标路面；利用神经网络模型对所述第一图像帧和所述第二图像帧进行处理，确定帧间里程计；基于所述第一图像帧，确定所述目标路面的平面方程；基于所述帧间里程计、所述平面方程和预存的相机内参，确定所述目标路面的单应性其中，确定帧间里程计，包括：通过语义分割，预测所述第一图像帧和所述第二图像帧中各像素点的语义标签，并基于各像素点的语义标签预测所述第一图像帧和所述第二图像帧中包括的各对象的中心点的二维坐标；基于各像素点的语义标签与各对象的中心点的二维坐标分别预测所述第一图像帧和所述第二图像帧中各对象的三维姿态；基于所述第一图像帧和所述第二图像帧中同一对象的三维姿态，确定所述第一图像帧和所述第二图像帧的帧间里程计。2.根据权利要求1所述的方法，其中，基于所述帧间里程计、所述平面方程和预存的相机内参，确定所述目标路面的单应性矩阵，包括：基于所述平面方程，确定所述相机的当前高度以及所述目标路面的当前法向量；基于所述帧间里程计，确定帧间旋转矩阵和帧间平移向量；基于所述当前法向量和所述帧间平移向量的乘积、与所述当前高度的比值，确定第一基于所述帧间旋转矩阵和所述第一矩阵的差值，确定第二矩阵；基于所述第二矩阵、所述相机内参和所述相机内参的逆矩阵，确定所述目标路面的单应性矩阵。3.根据权利要求1或2所述的方法，其中，所述神经网络模型包括第一网络分支；对所述第一图像帧和所述第二图像帧进行处理，确定帧间里程计，包括：利用所述第一网络分支，对所述第一图像帧和所述第二图像帧编码，得到特征向量；对所述特征向量解码，得到所述帧间里程计。4.根据权利要求1或2所述的方法，其中，所述神经网络模型包括第二网络分支；基于所述第一图像帧，确定所述目标路面的平面方程，包括：基于预存的所述目标路面的初始法向量、所述路面偏移量以及预存的所述相机的初始高度，确定所述目标路面的平面方程。5.根据权利要求4所述的方法，其中，利用所述第二网络分支对所述第一图像帧进行处理，确定所述目标路面的路面偏移量，包括：利用所述第二网络分支中的不同分辨率的卷积层从所述第一图像帧中提取多个图像特征，并对所述多个图像特征进行融合，得到融合图像特征；基于所述融合图像特征，估计所述目标路面的第一偏移角度、第二偏移角度和高度偏移量；基于所述第一偏移角度和所述第二偏移角度，确定所述目标路面的旋转偏移量；3基于所述旋转偏移量和所述高度偏移量，确定所述目标路面的路面偏移量。6.一种用于训练神经网络模型的方法，包括：获取训练集中的多组样本图像对以及每个所述样本图像对的样本相机内参，每组所述样本图像对包括第一样本图像帧和第二样本图像帧，所述第一样本图像帧包括样本路面区域的第一掩模，所述第二样本图像帧包括所述样本路面区域的第二掩模；利用预先构建的初始神经网络模型中的第一初始网络分支和第二初始网络分支对所述样本图像对进行处理，得到所述样本路面的样本平面方程和样本帧间里程计；基于所述样本相机内参、所述样本平面方程和样本帧间里程计，得到样本单应性矩阵；基于所述第二样本图像帧和所述样本单应性矩阵，确定样本映射图像；基于所述样本映射图像与所述第一样本图像帧，确定全局光度一致性损失；基于所述样本映射图像和所述第二掩模，确定所述样本映射图像中的样本路面区域；基于所述第一掩模和所述第一样本图像帧，确定所述第一样本图像帧中的样本路面区域；基于所述第一样本图像帧中的样本路面区域与所述样本映射图像中的样本路面区域，确定所述路面光度一致性损失；基于所述全局光度一致性损失和所述路面光度一致性损失，训练所述初始神经网络模型，得到训练后的神经网络模型，所述训练后的神经网络模型被用于实现上述权利要求1-5任一所述的确定单应性矩阵的方法。7.根据权利要求6所述的方法，其中，所述初始神经网络模型还包括第三初始网络分支，在所述基于所述全局光度一致性损失和所述路面光度一致性损失，训练所述初始神经利用所述第三初始网络分支，生成所述第一样本图像帧的样本深度图；基于所述样本深度图，确定深度平滑性损失；所述基于所述全局光度一致性损失和所述路面光度一致性损失，训练所述初始神经网基于所述全局光度一致性损失、所述路面光度一致性损失和深度平滑性损失，训练所述初始神经网络模型。8.一种确定路面的单应性矩阵的装置，包括：图像获取单元，被配置成获取相机拍摄的第一图像帧和第二图像帧，所述第一图像帧和所述第二图像帧具有相同区域的目标路面；帧间里程计单元，被配置成利用神经网络模型对所述第一图像帧和所述第二图像帧进平面方程单元，被配置成基于所述第一图像帧，确定所述目标路面的平面方程；矩阵确定单元，被配置成基于所述帧间里程计、所述平面方程和预存的相机内参，确定所述目标路面的单应性矩阵；所述帧间里程计单元，被配置成通过语义分割，预测所述第一图像帧和所述第二图像帧中各像素点的语义标签，并基于各像素点的语义标签预测所述第一图像帧和所述第二图像帧中包括的各对象的中心点的二维坐标；基于各像素点的语义标签与各对象的中心点的二维坐标分别预测所述第一图像帧和所述第二图像帧中各对象的三维姿态；基于所述第一图像帧和所述第二图像帧中同一对象的三维姿态，确定所述第一图像帧和所述第二图像帧4的帧间里程计。9.一种用于训练神经网络模型的装置，包括：样本获取单元，被配置成获取训练集中的多组样本图像对以及每个所述样本图像对的样本相机内参，每组所述样本图像对包括第一样本图像帧和第二样本图像帧，所述第一样本图像帧包括样本路面区域的第一掩模，所述第二样本图像帧包括所述样本路面区域的第二掩模；第一处理单元，被配置成利用预先构建的初始神经网络模型中的第一初始网络分支和第二初始网络分支对所述样本图像对进行处理，得到所述样本路面的样本平面方程和样本帧间里程计；第二处理单元，被配置成基于所述样本相机内参、所述样本平面方程和样本帧间里程样本映射单元，被配置成基于所述第二样本图像帧和所述样本单应性矩阵，确定样本映射图像；第一损失单元，被配置成基于所述样本映射图像与所述第一样本图像帧，确定全局光度一致性损失；第二损失单元，被配置成基于所述样本映射图像和所述第二掩模，确定所述样本映射图像中的样本路面区域；基于所述第一掩模和所述第一样本图像帧，确定所述第一样本图像帧中的样本路面区域；基于所述第一样本图像帧中的样本路面区域与所述样本映射图像中的样本路面区域，确定所述路面光度一致性损失；模型训练单元，被配置成基于所述全局光度一致性损失和所述路面光度一致性损失，训练所述初始神经网络模型，得到训练后的神经网络模型，所述训练后的神经网络模型被用于实现上述权利要求1-5任一所述的确定单应性矩阵的方法。10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一项所述的方法。11.一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述权利要求1-7任一项所述的方法。12.一种计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时，实现上述权利要求1-7任一项所述的方法。5确定单应性矩阵的方法、装置、介质、设备和程序产品技术领域[0001]本公开涉及图像处理技术领域，尤其涉及一种确定单应性矩阵的方法、装置、存储介质、电子设备和计算机程序产品。背景技术[0002]单应性矩阵(Homogrpahy)用于描述三维空间中的平面上的点在两个视角中成像位置的对应关系。路面的单应性矩阵可用于生成鸟瞰图(BirdEyeView)或者逆透视映射(InversePerspectiveMapping),对于自动驾驶以及室内机器人具有非常重要的应用价值。[0003]相关技术中，估计路面的单应性矩阵的方法分为基于特征点的方法和基于直接法的方法。基于特征点的方法首先提取路面区域的特征点，然后通过匹配或者跟踪的方式进行特征点匹配，再通过5-点法或者8-点法结合随机一致性采样恢复路面单应性矩阵；基于直接法的方法可以利用图像稠密像素的对应关系对单应性矩阵进行优化。发明内容[0004]本公开的实施例提供了一种确定路面的单应性矩阵的方法、装置、存储介质、电子设备和计算机程序产品。[0005]根据本公开实施例的一个方面，提供一种确定单应性矩阵的方法，包括：获取相机拍摄的第一图像帧和第二图像帧，第一图像帧和第二图像帧具有相同区域的目标路面；利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计；基于第一图像帧，确定目标路面的平面方程；基于帧间里程计、平面方程和预存的相机内参，确定目标路面的单应性矩阵。[0006]根据本公开实施例的又一个方面，提供一种用于训练神经网络模型的方法，包括：获取训练集中的多组样本图像对以及每个样本图像对的样本相机内参，每组样本图像对包括第一样本图像帧和第二样本图像帧，第一样本图像帧包括样本路面区域的第一掩模，第二样本图像帧包括样本路面区域的第二掩模；利用预先构建的初始神经网络模型中的第一初始网络分支和第二初始网络分支对样本图像对进行处理，得到样本路面的样本平面方程和样本帧间里程计；基于样本相机内参、样本平面方程和样本帧间里程计，得到样本单应性矩阵；基于第二样本图像帧和样本单应性矩阵，确定样本映射图像；基于样本映射图像与第一样本图像帧，确定全局光度一致性损失；基于样本映射图像和第二掩模，确定样本映射图像中的样本路面区域；基于第一掩模和第一样本图像，确定第一样本图像中的样本路面区域；基于第一样本图像中的样本路面区域与样本映射图像中的样本路面区域，确定路面光度一致性损失；基于全局光度一致性损失和路面光度一致性损失，训练初始神经网络模型，得到训练后的神经网络模型。[0007]根据本公开实施例的又一个方面，提供一种确定单应性矩阵的装置，包括：图像获取单元，被配置成获取相机拍摄的第一图像帧和第二图像帧，第一图像帧和第二图像帧具6有相同区域的目标路面；帧间里程计单元，被配置成利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计；平面方程单元，被配置成基于第一图像帧，确定目标路面的平面方程；矩阵确定单元，被配置成基于帧间里程计、平面方程和预存的相机内参，确定目标路面的单应性矩阵。[0008]根据本公开的实施例的又一个方面，提供一种用于训练神经网络模型的装置，包括：样本获取单元，被配置成获取训练集中的多组样本图像对以及每个样本图像对的样本相机内参，每组样本图像对包括第一样本图像帧和第二样本图像帧，第一样本图像帧包括样本路面区域的第一掩模，第二样本图像帧包括样本路面区域的第二掩模；第一处理单元，被配置成利用预先构建的初始神经网络模型中的第一初始网络分支和第二初始网络分支对样本图像对进行处理，得到样本路面的样本平面方程和样本帧间里程计；第二处理单元，被配置成基于样本相机内参、样本平面方程和样本帧间里程计，得到样本单应性矩阵；样本映射单元，被配置成基于第二样本图像帧和样本单应性矩阵，确定样本映射图像；第一损失单元，被配置成基于样本映射图像与第一样本图像帧，确定全局光度一致性损失；第二损失单元，被配置成：基于样本映射图像和第二掩模，确定样本映射图像中的样本路面区域；基于第一掩模和第一样本图像，确定第一样本图像中的样本路面区域；基于第一样本图像中的样本路面区域与样本映射图像中的样本路面区域，确定路面光度一致性损失；模型训练单元，被配置成基于全局光度一致性损失和路面光度一致性损失，训练初始神经网络模型，得到训练后的神经网络模型。[0009]根据本公开的实施例的又一个方面，提供一种一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例中的方法。[0010]根据本公开的实施例的又一个方面，一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一实施例中的方[0011]根据本公开的实施例的又一个方面，提供一种计算机程序产品，包括计算机程序/[0012]基于本公开上述实施例提供的一种确定单应性矩阵的方法、装置、存储介质以及电子设备，可以通过神经网络模型确定出相机拍摄的两个图像帧之间的帧间里程计和目标路面的平面方程，然后基于帧间里程计、相机内参和路面的平面方程，确定目标路面的单应性矩阵。以此得到的路面的单应性矩阵提高了单应性矩阵与目标路面的几何信息的一致[0013]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。附图说明[0014]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。[0015]图1是本公开的用于确定单应性矩阵的方法所适用的场景示意图；[0016]图2为本公开的用于确定单应性矩阵的方法的一个实施例的流程图；7[0017]图3为本公开的用于确定单应性矩阵的方法的一个实施例中确定单应性矩阵的流[0018]图4为本公开的用于确定单应性矩阵的方法的一个实施例中确定平面方程的流程[0019]图5为本公开的用于确定单应性矩阵的方法的一个实施例中确定路面偏移量的流[0020]图6为本公开的用于训练神经网络模型的方法的一个实施例的流程图；[0021]图7为本公开的用于训练神经网络模型的方法的一个示例的框架示意图；[0022]图8为本公开的用于确定单应性矩阵的装置的一个实施例的结构示意图；[0023]图9为本公开的用于训练神经网络的装置的一个实施例的结构示意图；[0024]图10是本申请一示例性实施例提供的电子设备的结构图。具体实施方式[0025]下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。[0026]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺[0029]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。[0030]另外，本公开中术语“和/或”,仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B,可以表示：单独存在A,同时存在A和B,单独存在B这三种情况。另外，[0031]还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。[0032]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。[0033]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。[0034]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。8多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但机系统和包括上述任何系统的分布式云计算技术环境等等。[0037]终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。[0038]本公开概述[0039]在实现本公开的过程中，发明人发现，基于特征点的方法对特征点检测和匹配的质量的依赖程度较高，当路面区域存在大量的弱纹理、光照变化剧烈或反光时，该方法的精度和鲁棒性较低。基于直接法的方法则对初始值的依赖程度较高，当初始值偏离较远时，很难得到准确的结果。[0040]由以上描述可知，相关技术中确定单应性矩阵的方法在准确度方面均存在缺陷。[0041]示例性概述[0042]本公开可以利用神经网络模型，基于相机拍摄的两图像帧中确定出帧间里程计，并基于第一图像帧确定目标路面的路面方程，然后基于帧间里程计、路面方程和预先标定的相机内参确定目标路面的单应性矩阵，可以提高单应性矩阵与目标路面的几何信息的一[0043]图1中，无人驾驶车辆100上装载有相机110和车载电脑(图中未示出),车载电脑中预先存储有神经网络模型的计算机指令。相机110可以实时采集目标路面120的图像，并将图像存储于本地的存储空间。车载电脑可以从存储空间中提取出当前时刻采集的图像，作为第一图像帧130,并将距离当前时刻最近的历史图像作为第二图像帧140.之后，车载电脑可以利用神经网络模型150对第一图像帧130和第二图像帧140进行处理，得到帧间里程计和目标路面120的平面方程，并根据帧间里程计、平面方程和相机内参确定目标路面的单应性矩阵。[0044]示例性方法[0045]接着参考图2,图2示出了本公开的用于确定单应性矩阵的方法的一个实施例的流[0046]步骤210、获取相机拍摄的第一图像帧和第二图像帧。[0047]其中，第一图像帧和第二图像帧具有相同区域的目标路面。[0048]在本实施例中，第一图像帧与第二图像帧可以是相机在不同时刻采集到的目标路面的图像。[0049]在一个具体的示例中，相机可以是无人驾驶车辆的车载相机，执行主体可以是无人驾驶车辆的车载电脑，车载电脑中预存有车载相机的相机内参。在无人驾驶车辆的行驶过程中，由相机实时捕捉目标路面(例如图1中的目标路面120)区域的图像，得到由不同时9[0050]步骤220、利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程[0051]在本实施例中，帧间里程计表征相机采集第一图像帧和第二图像帧时的姿态变为示例，帧间里程计可以是四元数组成的矩阵(R,t),其中，R表示由四元数组成的旋转矩的语义标签与对象的中心点的二维坐标分别预测出第一图像帧和第二图像帧中各对象的第二图像帧进行处理，预测出帧间里程计(R,t)和平面方程(如公式(1)所示),然后经如下[0062]接着参考图3,图3示出了本公开的用于单应性矩阵的方法的一个实施例中确定单应性矩阵的流程，在图2所示的实施例的一[0066]作为示例，帧间里程计可以为(R,t),执行主体可以从中提取出R作为帧间旋转矩[0077]在本实施例的一些可选的实现方式中，图2所示的流程中的神经网络模型包括第11[0080]在图2所示的实施例的一些可选的实现方式中，神经网络模型包括第二网络分支，用于确定目标路面的平面方程，进一步参考图4,图4示出了本公开的用于确定单应性矩阵的方法的一个实施例中确定平面方程的流程，如图4所示，上述步骤230可以包括以下步骤：[0081]步骤410、利用第二网络分支对第一图像帧进行处理，确定目标路面的路面偏移[0082]在本实现方式中，路面偏移量表征当前时刻(即采集第一图像帧的时刻)的路面相对于初始时刻的路面姿态的变化程度，可以包括路面的高度变化和旋转变化。作为示例，可以通过相机的高度残差表征目标路面的高度变化量，通过目标路面的法向量残差表征目标路面的旋转变化量。[0083]作为示例，执行主体可以利用神经网络模型中的第二分支网络对第一图像帧进行处理，提取第一图像帧的图像特征，并基于图像特征估计出当前时刻目标路面的高度残差和法向量残差，即可得到路面偏移量。[0084]步骤420、基于预存的目标路面的初始法向量、路面偏移量以及预存的相机的初始[0085]在本实现方式中，初始法向量表征目标路面在初始时刻的法向量，可以预先对相机进行标定，以确定目标路面在初始时刻的初始法向量和相机的初始高度。[0086]作为示例，执行主体可以首先从路面偏移量中确定目标路面的高度残差和法向量残差，得到高度残差矩阵和法向量残差矩阵；接着，如以下公式(6)所始法向量与法向量残差矩阵叉乘所得到的矩阵确定为当前法向量；如以下公式(7)所示，执行主体可以将高度残差矩阵和初始高度的和确定为当前高度；之后，执行主体可以通过上述公式(1)确定目标路面的平面方程。[0089]式中，N表示第i时刻的当前法向量，8R,表示第i时刻的法向量残差，N表示初始法初始高度。[0090]通过图4可以看出，图4所示的流程体现了通过神经网络中的第二网络分支估计出目标路面的路面偏移量，然后结合预先标定的初始法向量和初始高度，确定目标路面的当前法向量和当前高度，进而确定目标路面的平面方程，可以缩减确定平面方程的过程中的数据运算量，提高运算速度，尤其适用于在线实时修正平面方程。[0091]接着参考图5,图5示出了本公开用于确定单应性矩阵的方法的一个实施例中确定路面偏移量的流程，如图5所示，上述步骤410可以进一步包括以下步骤：[0092]步骤510、利用第一网络分支中的不同分辨率的卷积层从第一图像帧中提取多个图像特征，并对多个图像特征进行融合，得到融合图像特征。[0093]步骤520、基于融合图像特征，估计目标路面的第一偏移角度、第二偏移角度和高度偏移量。[0094]通常，三维空间中的旋转动作可以分解为偏航角分量、俯仰角分量和滚动角分量。[0095]在本实现方式中，第一偏移角度可以表征目标路面法向量残差的偏航角分量，第二偏移角度可以表征旋转量的俯仰角分量。高度偏移量可以表征目标路面的高度残差。作为示例，第一偏移角度和第二偏移角度可以是四元数组成的矩阵。[0096]需要说明的是，由于滚动角分量对法向量的偏移没有影响，即滚动角分量与目标路面的旋转变化无关，因而，本实现方式可以忽略滚动角分量。[0097]步骤530、基于第一偏移角度和第二偏移角度，确定目标路面的旋转偏移量。[0098]作为示例，执行主体可以将第一偏移角度与第二偏移角度叉乘得到的矩阵作为目标路面的旋转偏移量。[0099]步骤540、基于旋转偏移量和高度偏移量，确定目标路面的路面偏移量。[0100]在图5所示的流程中，可以通过神经网络中的第一网络分支对第一图像帧进行处理，以估计出目标路面的第一偏移角度、第二偏移角度和高度偏移量，然后基于第一偏移角度和第二偏移角度确定旋转偏移量，进而得到路面偏移量，忽略了与目标路面的旋转变化无关的滚动角分量，可以缩减运算数据量，提高运算效率。[0101]接下来参考图6,图6示出了本公开的用于训练神经网络模型的方法的一个实施例[0102]步骤610、获取训练集中的多组样本图像对以及每个样本图像对的样本相机内参。[0103]在本实施例中，每组样本图像对包括第一样本图像帧和第二样本图像帧，第一样本图像帧包括样本路面区域的第一掩模，第二样本图像帧包括样本路面区域的第二掩模。第一掩模和第二掩模可以是像素值组成的矩阵，其中，样本路面区域内的像素点的像素值设定为1,非样本区域内的像素点的像素值设定为0。[0104]作为示例，用于训练神经网络的执行主体可以是终端设备或服务器，执行主体可以通过网络从公开数据集中获取样本图像数据以及样本相机内参，或者从相机拍摄的图像集中选取样本图像数据，将具有相同样本路面区域的两个图像确定为样本图像对，然后分别对样本图像对中的第一样本图像帧和第二样本图像帧进行语义分割，确定其中的第一掩模和第二掩模。[0105]步骤620、利用预先构建的初始神经网络模型中的第一初始网络分支和第二初始网络分支对样本图像对进行处理，得到样本路面的样本平面方程和样本帧间里程计。[0106]在本是实施例中，第一初始网络分支和第二初始网络分支表征训练未完成的初始神经网络模型中的子网络。[0107]作为示例，第一初始网络分支可以包括待优化的编码器和解码器，对第一样本图像帧和第二样本图像帧执行编码和解码，得到样本帧间里程计，第二初始网络分支可以包括多个分辨率的卷积层和池化层，对第一样本图像帧进行特征提取和特征映射，得到样本路面的样本平面方程。[0108]步骤630、基于样本相机内参、样本平面方程和样本帧间里程计，得到样本单应性矩阵。[0109]作为示例，初始神经网络模型可以首先从样本平面方程中提取样本法向量和样本相机的当前高度，样本平面方程如公式(8)所示：[0111]式中，NSAMj表示j时刻样本路面的样本法向量，hsAM;表示样本相机在第j时刻的当前高度(即采集样本图像时的相机高度),PsAM表示样本图像中像素点的三维坐标。[0112]之后，执行主体可以将样本相机内参、样本帧间里程计以及样本法向量和样本相机的当前高度代入如下公式(9),得到样本单应性矩阵。[0114]式中，HsA表示样本单应性矩阵，KsAM表示样本相机内参，(RsAM,tsa)表示样本帧间里程计，RsAM表示样本帧间旋转矩阵，tsA表示样本帧间平移量。[0115]步骤640、基于第二样本图像帧和样本单应性矩阵，确定样本映射图像。[0116]在本实施例中，执行主体可以基于样本单应性矩阵对第二样本图像帧中的像素点作视角变换，得到样本映射图像。视角变换例如可以采用如下公式(10)表征的处理过程。[0118]式中，P₂表示第二样本图像帧中像素点的像素坐标，H₂₁表示样本单应性矩阵，P₁表示样本映射图像中像素点的像素坐标。[0119]步骤650、基于样本映射图像与第一样本图像帧，确定全局光度一致性损失。[0120]在本实施例中，执行主体可以基于样本映射图像与第一样本图像帧中对应的像素点的像素值，确定全局光度一致性损失。[0121]作为示例，执行主体可以通过如下公式(11)确定样本映射图像与第一样本图像帧中对应的像素点的像素值：[0123]式中，IH[Pn]表示样本映射图像中第n个像素点的像素值，其中，[P]表示第n个像素点在样本映射图像中的坐标；I2<Pn-1>表示第二样本图像帧中第n-1个像素点的像素插值，[Pₙ-1]表示第n-1像素点在第二样本图像帧中的坐标。[0124]之后，执行主体可以根据像素点坐标，从样本映射图像和第一样本图像帧中确定像素点对。然后基于像素点对的像素值，采用范数损失函数确定全局光度一致性损失，计算过程如公式(12)所示。[0126]式中，E,表示全局光度一致性损失，l1[Pn]表示第n个像素点在第一样本图像帧中[0127]步骤660、基于样本映射图像和第二掩模，确定样本映射图像中的样本路面区域。[0128]在本实施例中，执行主体可以将样本映射图像与第二掩模作卷积运算，将样本映射图像中的非样本路面区域的像素点的像素值转化为0,从而得到样本映射图像中的样本路面区域。[0129]步骤670、基于第一掩模和第一样本图像，确定第一样本图像中的样本路面区域。[0130]在本实施例中，执行主体可以将第一样本图像帧与第一掩模作卷积运算，将第一样本图像帧中的非样本路面区域的像素点的像素值转化为0,从而得到第一样本图像帧中的样本路面区域。[0131]步骤680、基于第一样本图像中的样本路面区域与样本映射图像中的样本路面区[0132]作为示例，执行主体可以将第一样本图像中的样本路面区域与样本映射图像中的样本路面区域中的像素点的像素值代入上述公式(12),得到路面光度一致性损失。[0133]步骤690、基于全局光度一致性损失和路面光度一致性损失，训练初始神经网络模[0134]本实施例中的用于训练神经网络模型的方法，将样本图像对中的第一掩模和第二掩模作为样本的标记数据，以此确定训练过程中的路面光度一致性损失，并基于全局光度一致性损失和路面光度一致性约束初始神经网络模型的训练过程，得到训练后的神经网络模型。一方面，与相关技术中将单应性矩阵作为样本的标记数据相比，掩模信息的获取方式更加简便，结合弱监督的训练方法，可以利用不同场景的数据和长尾数据进行训练，有助于提高神经网络模型的泛化能力和鲁棒；另一方面，基于掩模信息确定的路面光度一致性损失可以更精准地约束样本路面区域的处理过程，有助于提高神经网络模型的准确度。[0135]在本实施例的一些可选的实现方式中，初始神经网络模型还可以包括第三初始网络分支，上述步骤690之前，该方法还可以包括：利用第三初始网络帧的样本深度图；基于样本深度图，确定深度平滑于全局光度一致性损失、路面光度一致性损失和深度平滑性损失，训练初始神经网络模型。[0136]接着参考图7,图7示出了本公开的用于训练神经网络模型的方法的一个示例的框架示意图。在图7所示的示例中，初始神经网络包括第一初始网络分支730、第二初始网络分支740、第三初始网络分支750以及单应性矩阵层760,其中，第一初始网络分支730可以对第一样本图像帧710和第二样本图像帧720进行处理，得到样本帧间里程计；第二初始网络分支740可以对第一样本图像帧进行处理，得到样本平面方程；第三初始网络分支750可以对第一样本图像帧进行处理，得到样本深度图770;单应性矩阵层760则可以根据样本帧间里程计、样本平面方程和样本相机内参确定样本单应性矩阵。之后，执行主体根据样本单应性矩阵对第二样本图像帧720进行视角变换，得到样本映射图像780。再之后，执行主体可以根据样本映射图像780和第一样本图像帧710确定全局光度一致性损失，根据样本深度图770确定深度平滑性损失，以及，根据样本映射图像780、第一样本图像帧710二掩模791确定路面光度一致性损失。[0137]在本实现方式中，可以在初始神经网络模型中加入第三初始网络分支，生成第一样本图像真的样本深度图，以确定训练阶段的深度平滑性损失，并将深度平滑性损失加入训练阶段的约束中，既可以提高神经网络模型的收敛速度，又可以提高神经网络模型的性[0138]示例性装置[0139]图8为本公开的用于确定单应性矩阵的装置的一个实施例的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。如图8所示的装置包括：图像获取单元810,被配置成获取相机拍摄的第一图像帧和第二图像帧，第一图像帧和第二图像帧具有相同区域的目标路面；帧间里程计单元820,被配置成利用神经网络模型对第一图像帧和第二图像帧进行处理，确定帧间里程计；平面方程单元830,被配置成基于第一图像帧，确定目标路面的平面方程；矩阵确定单元840,被配置成基于帧间里程计、平面方程和预存的相机内参，确定目标路面的单应性矩阵。[0140]在本实施例中，矩阵确定单元840进一步包括：法向量模块，被配置成基于平面方程，确定相机的当前高度以及目标路面的当前法向量；帧间里程计模块，被配置成基于帧间里程计，确定帧间旋转矩阵和帧间平移向量；第一矩阵模块，被配置成基于当前法向量和帧间平移向量的乘积、与当前高度的比值，确定第一矩阵；第二矩阵模块，被配置成基于帧间旋转矩阵和第一矩阵的差值，确定第二矩阵；矩阵确定模块，被配置成基于第二矩阵、相机内参和相机内参的逆矩阵，确定目标路面的单应性矩阵。[0141]在本实施例中，神经网络模型包括第一网络分支；帧间里程计单元820进一步包括：编码模块，被配置成利用第一网络分支，对第一图像帧和第二图像帧编码，得到特征向[0142]在本实施例中，神经网络模型包括第二网络分支；平面方程单元830进一步包括：偏移量模块，被配置成利用第二网络分支对第一图像帧进行处理，确定目标路面的路面偏移量；方程确定模块，被配置成基于预存的目标路面的初始法向量、路面偏移量以及预存的相机的初始高度，确定目标路面的平面方程。[0143]在本实施例中，偏移量模块进一步包括：特征提取子模块，被配置成利用第一网络分支中的不同分辨率的卷积层从第一图像帧中提取多个图像特征，并对多个图像特征进行融合，得到融合图像特征；第一预测子模块，被配置成基于融合图像特征，估计目标路面的第一偏移角度、第二偏移角度和高度偏移量；旋转子模块，被配置成基于第一偏移角度和第二偏移角度，确定目标路面的旋转偏移量；偏移量确定子模块，被配置成基于旋转偏移量和高度偏移量，确定目标路面的路面偏移量。[0144]接着参考图9,图9示出了本公开的用于训练神经网络模型的装置的一个实施例的结构示意图，用于实现用于训练神经网络模型的方法的实本获取单元910,被配置成获取训练集中的多组样本图像对以及每个样本图像对的样本相机内参，每组样本图像对包括第一样本图像帧和第二样本图像帧，第一样本图像帧包括样本路面区域的第一掩模，第二样本图像帧包括样本路面区域的第二掩模；第一处理单元920,被配置成利用预先构建的初始神经网络模型中的第一初始网络分支和第二初始网络分支对样本图像对进行处理，得到样本路面的样本平面方程和样本帧间里程计；第二处理单元930,被配置成基于样本相机内参、样本平面方程和样本帧间里程计，得到样本单应性矩阵；样本映射单元940,被配置成基于第二样本图像帧和样本单应性矩阵，确定样本映射图像；第一损失单元950,被配置成基于样本映射图像与第一样本图像帧，确定全局光度一致性损失；第二损失单元960,被配置成：基于样本映射图像和第二掩模，确定样本映射图像中的样本路面区域；基于第一掩模和第一样本图像，确定第一样本图像中的样本路面区域；基于第一样本图像中的样本路面区域与样本映射图像中的样本路面区域，确定路面光度一致性损失；模型训练单元970,被配置成基于全局光度一致性损失和路面光度一致性损失，训练初始神经网络模型，得到训练后的神经网络模型。[0145]在本实施例中，初始神经网络模型还包括第三初始网络分支，该装置还包括：第三处理单元，被配置成利用第三初始网络分支，生成第一样本图像帧的样本深度图；第三损失单元，被配置成基于样本深度图，确定深度平滑性损失；模型训练单元970被进一步配置成：基于全局光度一致性损失、路面光度一致性损失和深度平滑性损失，训练初始神经网络模[0146]示例性电子设备[0147]下面参考图10来描述根据本公开实施例的电子设备。图10示出了根据本公开实施例的电子设备的框图。如图10所示，电子设备1000包括一个或多个处理器1010和存储器[0148]处理器1010可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1000中的其他组件以执行期望的功能。[0149]存储器1020可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失质上可以存储一个或多个计算机程序指令，处理器1010可以运行所述程序指令，以实现上文所述的本公开的各个实施例的用于确定单应性矩阵的方法、用于训练神经网络模型的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信[0150]在一个示例中，电子设备1000还可以包括：输入装置1030以及输出装置1040等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备1030还可以包括例如键盘、鼠标等等。该输出装置1040可以向外部输出各种信息。该输出设备1040可以包括例如显示器、扬声器、打印机、以及通信网[0151]当然，为了简化，图10中仅示出了该电子设备100