CN119478942A 图像处理方法和设备以及模型训练方法和设备 （罗伯特·博世有限公司）

图像处理方法和设备以及模型训练方法和和相机的参数输入一个神经网络模型以获得经2将所述前向视图和所述相机的参数输入神经网络模型，4.根据权利要求1所述的图像处理方法，其中，所述相机的参数还包括所述相机的内其中，所述变换器基于所述相机参数向量将所述获取用于训练所述神经网络模型的训练前向视图、与所述训练基于所述变化数据调整所述训练前向视图、所述相机获取通过对表示所述相机的振动的振动数据进行分布拟合基于所述相机的特定振动数据确定所述相机的8.一种神经网络模型的训练方法，所述神经网络获取训练前向视图、与所述训练前向视图对应的基于所述训练前向视图、所述相机的训练参数和所述训3所述神经网络模型包括变换器和语义分割器，所述变换器用割器用于基于所述由顶向下的视图中的特征针对目标进基于所述变化数据调整所述训练前向视图、所述相机11.根据权利要求10所述的训练方法，其中，所述相机的外参的变化数据是如下获取获取通过对表示所述相机的振动的振动数据进行分布拟合基于所述相机的特定振动数据确定所述相机的将由雷达传感器获取的多帧图像叠加以获得包在所述道路表面视图中并入与非自由空间对应的标记，述道路表面视图中的非自由空间对象和在所述道路表面视图中原本示出的非自由空间对获取单元，其获取交通工具的前向视图和用于拍处理单元，其将所述前向视图和所述相机的参数所述神经网络模型包括变换器和语义分割器，所述变换器用割器用于基于所述由顶向下的视图中的特征针对目标进17.根据权利要求14所述的图像处理设备，其中，所述神经网络模型还包括多层感知4其中，所述变换器基于所述相机参数向量将所述18.一种神经网络模型的训练设备，所述神经网络模型接收交通工具的前向视图和用获取单元，其获取训练前向视图、与所述训练前向视图对应所述获取单元还获取所述相机的外参的变化数据，并且基于所述变化数所述训练单元使用所述经调整的所述训练前向视图、所获取通过对表示所述相机的振动的振动数据进行分布拟合基于所述相机的特定振动数据确定所述相机的计算机执行时使得所述处理器或计算机执行根据权利要求1_7中任一项所述的图像处理方法或者根据权利要求8_13中任一项所述的5通工具的前向视图和用于拍摄所述前向视图的相机的参数以输出针对目标经语义分割的训练参数和所述训练前向视图的针对所述目标的经语义分割的由顶向下的训练真值视图；6通工具的前向视图和用于拍摄所述前向视图的相机的参数以输出针对目标经语义分割的的所述相机的训练参数和所述训练前向视图的针对所述目标经语义分割的由顶向下的训序单元当被处理器或者计算机执行时使得所述处理器或计算机执行根据本发明各个实施例所述的图像处理方法或者根据本发明各个实施例所图对应的所述相机的训练参数和所述训练前向视图的针对所述目标的经语义分割的由顶[0016]图2示出了根据本发明一个实施例利用神经网络模型执行图像的语义分割的场7[0020]图6示出了根据本发明一个实施例获取用于训练神经网络模型的训练真值视图的8输入车辆的前向视图即可输出真实世界坐标系下的由顶向下的视图中的自由空间的语义[0029]具体地，该神经网络模型接收车辆的前向视图和拍摄该前向视图的相机的参数系中的包含自由空间信息的视图)。该神经网络模型是经过训练以学习了在车辆的前向视[0030]图2示出了根据本发明的一个实施例利用神经网络模型执行图像的语义分割的场T可以基于上述函数将前向视图中的特征变换为由顶向下的视图中的特征。也可以预期变[0034]图3示出了根据本发明的一个实施例的图像处理方法100的流程图。根据图3所示述结合图2描述的神经网络模型以获得针对自由空间经语义分割的由顶向下的视图，即在9获取用于训练神经网络模型的训练前向视图、与该训练前向视图对应的相机的训练参数(这包括相机的外参以及任选的内参)和训练前向视图的关于自由空间的经语义分割的由示，获取的相机的外参的变化数据EV被应用于用于训练神经网络模型M的训练前向视图TI和与该训练前向视图对应的相机的参数(为了与模型应用中涉及的相机的参数相区别，本神经网络模型M的真值(即与训练前向视图对应的经语义分割的由顶向下的训练真值视图以及训练真值视图对应变化后的相机外参。然后神经网络模型M基于该经调整的训练前向的变化的分布数据中选择特定的变化数据引[0045]相机的振动分布数据可以通过从惯性传感器获取表示相机的振动的振动数据并应该训练前向视图的在真实世界坐标系中的神经网络模型(尤其是深度神经网络模型)的训练需要大量标记好的数据。采用如图6所示据的多帧图像进行叠加(stacking)以获得包括密集点云数据的叠加视图，该LiDAR传感器(例如车辆)和在该道路表面视图中原本示出的非自由空间对象(例如道路表面视图中原本对该道路表面视图中原本存在的前景对象(例如路障或花坛)和与该原本存在的前景对象[0050]已经参考图1_6描述了根据本发明各个实施例的方法和场景。本领域技术人员应12将所述前向视图和所述相机的参数输入一个神经网络模型以获得经语义分割的由顶向[0054]图8示出了根据本发明一个实施例的神经网络模型的训练设备20的方块图。该训前向视图对应的所述相机的训练参数和所述训练前向视图的针对所述目标经语义分割的[0058]本发明的用于图像处理方法和设备以及神经网络的训练方法和设备的功能能够器能够读取在存储器中的计算机程序，运行这些计算机程序来实现上述各个单元的功能。的计算机程序/软件，以及借助于更新将已有程序/软件转为使用本公开的计算机程序/软