CN111008973B 用于对图像数据的语义分割的方法、人工神经网络和设备 （罗伯特·博世有限公司）

一种用于对成像传感器的图像数据进行节借助第一拼接(合并)函数/准则，对输入张量与第二拼接(合并)函数/准则，对所述审校张量与2将所述输出张量(715，815)输出(940)到所述人工神经网络的所述解码器路径(210，2.根据权利要求1所述的方法(900)，其中，所述输入张量(304，704)具有特征映射3.根据权利要求1所述的方法(900)，其中，如此构7.一种用于对成像传感器的图像数据(111，211经网络，所述人工神经网络具有用于对所述图像数据(111，211)进行分类的编码器路径人工神经网络如此设置用于实施根据权利要求1至6中任一项所述的方法(8.根据权利要求7所述的用于对成像传感器的图像数据(111，211)进行语义分割的设9.一种计算机程序产品，所述计算机程序产品包3任何规模的输入数据并且可以借助特征的有效推导来输出在[0006]只要应用程序不在高内存的和分布式计算的特殊计算单元——例如图像处理单元群集(GPU-群集)上进行，而是在嵌入式计算单元——例如嵌入式硬件或类似物上运行，[0007]在此背景下，本发明提供一种用于对成像传感器的图像数据进行语义分割的方4[0009]在此，对于本发明而言特别重要的是适合应用在车辆中的成像传感器或类似物、[0011]本发明的一个方面是一种用于借助人工神经网络、尤其卷积神经网络(CNN)对图路径和用于对在图像数据中的所求取的类别进行定位的解码器路径。该方法包括以下步换的张量的维度相应于第一拼接的步骤中的跳跃张器路径中的来自人工神经网络的级l的信息提供给人工神经网5[0026]审校张量是在应用根据本发明的方法的人工神经网络——尤其卷积神经网络(CNN)——的函数之后的数据表示。作为人工神经网络、尤其CNN，可以考虑函数卷积[0027]在此，Inception应理解为人工神经网络、尤其卷积神经网络的一种架构变型方及通过卷积层、接着是由所属的池化层进行的处理的结果并且可以作为用于后续层(Layer)或——如果设置了——则用于全拼接层的输入数函数可以是卷积(Convolution)——还有卷积块的构型——即——卷积的多重应用、深度[0031]在此，Inception应理解为人工神经网络、尤其卷积神经网络的一种架构变型方[0032]本发明的方法的一个优点在于应用人工神经网络的函数以便获得审校张量的步[0037]本发明的另一方面是一种用于对图像数据进行定位和分类的人工神经网络，其6[0048]图5示出根据全卷积网络架构的人工神经网络的解码器方框中的拼接函数的图[0057]在方框跳跃模块130中，示出从CNN的较高等级的分类中间结果至“反卷积7应数目的反卷积层(Layer)直至具有输入数据211的已定位并且已分类的对象的语义分割[0062]在方框230中，示出分类层(Layer)和对应的定位层(Layer)之间的拼接(跳跃拼接)。这些拼接示出人工神经网络中的在分类任务和定位任务之间的信息流。由此可能的302。特征映射中的通过卷积函数求取的信息通过所谓的池化来压缩并且映射到编码器张助全卷积网络的较高层(Layer)的定位信息来使语义络的解码器方框的下一更高级的层的上采样张量308[0075]人工神经网络通常构建在层(Layer)中。在层内通常应用人工神经网络的以下函关于所识别的语义类别的定位的信息，即，关于所识别的类别位于图像数据中哪里的信[0080]在添加来自编码器路径210的相应级别的信息的情况下，可以实现由人工神经网[0081]该添加通过将解码器路径220中的上转换一层的张量与来自编码器的跳跃张量相[0082]可以将人工神经网络的函数例如卷积(Convolution)——还有卷积块的构型——网络的较深和较精细的级别的知识拼接(合并)，该U-Net架构允许将图像数据精确定为到9[0089]图5示出根据全卷积网络架构的人工神经网络的解码器方框中的拼接函数的图[0091]通过跳跃模块，可以将编码器张量501作为跳跃张量502而无需在编码器方框中以及必要时在解码器[0092]由解码器方框的较深层(Layer)或在解码器开始时由编码器方框的最深层(Layer)提供结果张量作为解码器张量503。解码器张量503在进入下一更高级的层时首先拼接(合并)并且因此形成所示出的层(Layer)的结果[0094]如上图示中所示，经上转换的解码器张量502作为上采样张量504与跳跃张量502[0098]如以上图示中所示，经上转换的解码器张量503作为上采样张量704和跳跃张量人工神经网络的所应用的函数620应该将通过相应的张量代表的粗略的特征和精细的特征[0101]通过借助拼接函数720重新拼接(合并)720审校张量706与上采样张量704可以实[0102]借助拼接函数(合并)720，不仅审校张量706可以与经上转换的解码器张量704拼[0103]不同的函数应用到采样张量704、拼接张量705和审校张量706上形成所谓的校正[0106]可以通过以下方式来实现将本发明应用到根据全卷积网络架构的人工神经网络[0108]作为根据全卷积网络架构的人工神经网络的解码器模块120的最后一层的结果，存在以下结果张量320：该结果张量具有优化的语义分割和直至经处理的图像数据的原始[0118]可以通过应用根据本发明的人工神经网络对图像数据或图像流进行处理来求取[0121]本发明还能够应用在需要借助人工神经网络进行基于像素的精确预测(pixel-