CN112183740B 用于训练神经网络的方法（罗伯特·博世有限公司）

(19)国家知识产权局(12)发明专利(10)授权公告号CN112183740B(65)同一申请的已公布的文献号(30)优先权数据(73)专利权人罗伯特·博世有限公司地址德国斯图加特GO6N3/0464(2023.01)审查员刘秀(74)专利代理机构中国专利代理(香港)有限公司72001专利代理师孙云汉刘春元(54)发明名称用于训练神经网络的方法用于训练神经网络的方法。描述了一种用于使用大量训练行程来训练神经网络的方法，其中所述神经网络具有至少一个卷积层，并且在至少一个训练行程中借助于所述卷积层执行至少一个卷积，所述方法具有以下步骤：从所述神经网络的前一层的输出提供多个输入特征图；借助于多个卷积核和所述多个输入特征图形成所述卷积层的至少一个输出特征图，其中向由所述输入特征图之一和所述至少一个输出特征图中的每一个输出特征图构成的每种组合分配一个卷积核，并且所述卷积核中的每一个具有多个卷积权重；为由所述输入特征图和所述输出特征图构成21.用于使用大量训练行程来训练神经网络的方法，其中所述神经网络具有至少一个卷从所述神经网络的前一层的输出提供多个输入特征图(S1);借助于多个卷积核和所述多个输入特征图形成所述卷积层的至少一个输出特征图(S2),其中向由所述输入特征图之一和所述至少一个输出特征图中的每一个输出特征图构为由所述输入特征图和所述输出特征图构成的所有组合确定多个卷积核范数(S3),其为所有输出特征图确定多个输入范数(S4),其中根据所有输入特征图的卷积核范数形根据所有输出特征图的输入范数来确定卷积范数(S5),以便确定用于其他训练行程的4.根据权利要求2或3所述的方法，其中，通过为所述神经网络的每一层确定卷积正则所述卷积正则化值应用于成本函数的确定来适配所述神经网络的至少一些参数和/或权8.根据权利要求1至3中任一项所述的方法，其中，所述神经网络是经网络的二维输入数据确定所述卷积正则化值|A||:其中所述卷积正则化值||A||的变量α₁,α₂说明了具有第一维和第二维的输入图的大3小；k,1是延伸到和1的核索引并且因此说明了该核在两个维度上的大小；i和j是输出特征图和输入特征图的索引，i和j延伸到γ和η,此外8ijk₁是卷积核的权重，并且p和q表示不同10.神经网络，所述神经网络已经对应于根据前述权利要求1至9中任一项所述的方法11.神经网络的用途，所述神经网络已经对应于根据权利要求1至9中任一项所述的方法训练过。12.根据权利要求11所述的神经网络的用途，用于对输入信号进行分类，其中，根据所述分类的结果发送用于操控至少部分自动化的车辆的操控信号和/或用于警告车辆乘员的警告信号。13.具有神经网络的设备，所述神经网络已经对应于根据权利要求1至9中任一项所述的方法训练过。14.计算机程序产品，所述计算机程序产品具有计算机程序，所述计算机程序包括指令，所述指令在由计算机执行计算机程序时促使所述计算机执行根据权利要求1至9中任一项所述的方法。15.机器可读存储介质，其上存储有计算机程序，所述计算机程序包括指令，所述指令在由计算机执行计算机程序时促使所述计算机执行根据权利要求1至9中任一项所述的方4用于训练神经网络的方法技术领域[0001]本发明涉及一种用于训练具有卷积层的神经网络并确定卷积正则化值的方法。背景技术[0002]为了控制至少部分自动化的系统，例如作为移动平台的示例的自驾驶车辆或机器人，开发了深度学习方法，在所述深度学习方法中经常使用神经网络。神经网络已在诸如语中或在预测蛋白质结合中表现出卓越的性能。这样的至少部分自动化的系统的重要组成部分是其感知与其环境相关的复杂状况的能力，从而许多上述示例都可以适配于该任务。[0003]安全和有效地运行这样的至少部分自动化的系统的前提是例如对移动平台的环境进行解释以用于例如决策过程，如所述移动平台的轨迹规划和轨迹控制。越来越多地使用诸如神经网络的机器学习方法来解决这样的任务。机器学习方法的任务是借助于训练数据来学习尽可能好地检测所述训练数据的函数。在此使用成本函数来评估所学习的函数的质量。在训练这样的机器学习方法时已证明有利的是，对权重进行正则化。这意味着将其他正则化项加性添加到所述成本函数中。发明内容[0004]在分类问题的情况下，向所述成本函数添加其他正则化项导致必须在训练神经网络时对损失函数和正则化项的总和进行最小化。正则化项的示例是所谓的L1或L2正则化。典型的前馈神经网络可以理解为块序列，所述块分别由线性运算和随后的非线性组成。可以用矩阵来描述这样的线性块。在卷积网络、即神经卷积网络的情况下，通过具有一定数量索引的权重来对这些线性映射进行参数化。[0005]L1正则化将所述矩阵的元素的绝对数值相加，L2正则化在该求和之前对所述矩阵的元素的绝对数值平方。从而利用正则化项来控制函数类别的大小。在此，正则化因子平衡了用于解决神经网络的任务的可能函数的集合。[0006]在迄今为止已知的正则化项的情况下，没有考虑所述神经网络的“卷积”(convolutional)结构。典型地，对层的权重而不是对所述神经卷积网络的线性映射进行正[0007]根据本发明，说明了用于使用大量训练行程来训练神经网络的方法、神经网络的用途、神经网络、设备以及计算机程序产品和计算机可读存储介质，这些特征至少部分地具有所提及的效果。有利的构型是以下描述的主题。[0008]本发明基于以下知识，即正则化项应当考虑所述神经网络的卷积结构，使得卷积层的线性映射被正则化。本发明引入了新的正则化项，所述新的正则化项考虑了所述神经网络的卷积结构。[0009]根据本发明的一个方面，说明了一种用于使用大量训练行程来训练神经网络的方法，其中所述神经网络具有至少一个卷积层，并且其中在至少一个训练行程中借助于所述5[0010]在所述方法的一个步骤中，从所述神经网络的前一层的输出提供多个输入特征个输出特征图构成的每种组合分配一个卷积核，并且卷积核中的每一个具有多个卷积权征图的卷积核范数形成输入范数，并且所述卷积核范数的定义不同于所述输入范数的定典型地具有随着学习进度而适配的权重。所述权重增加或减小所述信号在连接处的强度。[0018]作为对神经网络的讲述的补充，人工的神经卷积网络(ConvolutionalNeuralNetwork)的结构由一个或多个卷积层(convolutionallayer)构成，必要时还跟随有池化将所述特征数据聚集在所述神经网络的层内的所谓特征图(Fea[0021]最后的卷积层提取最复杂的特征，所述最复杂的特征布置在多个特征图(Feature-Maps)中并在所述神经网络的输入端处施加输入图像或输入信号时生成输出图6像。此外，最后的卷积层保留在必要时随后的全连接层中可能丢失的空间信息，其中所述全连接层用于分类。[0022]“自动编码器”应当理解为一种人工神经网络，其使得可以学习输入数据中包含的特定模式。自动编码器用于通过相应地从一般化的背景中提取重要特征(如特定类别)来生成所述输入数据的压缩的或无噪声的表示。[0023]自动编码器使用三层或更多层：[0026]·输出层，该输出层的维度与所述输入层的维度相对应，即所述输出层中的每个输出参数具有与所述输入层中的相应参数相同的含义。自动编码器也可以具有卷积层，并且可以使用根据本发明的方法来训练自动编码器。[0027]反馈神经网络(英语：RecurrentNeuralNetwork,RNN,递归神经网络)是这样一种神经网络，其与前馈网络相反还具有从一层的神经元到同一层或前一层的神经元的连接。在此，该结构特别适合于发现数据中的时[0028]在训练神经网络时，典型地会在训练阶段和测试阶段之间进行区分，所述测试阶段也称为传播阶段。在由大量训练行程组成的训练阶段中，所述神经网络根据训练数据集进行学习。因此，通常修改各个神经元之间的权重。在此，学习规则说明了所述神经网络如何进行这些更改的方式。在监督式学习(受监视的或受监督的学习)的情况下，将正确的输出预给定为“教学向量”,基于所述教学向量优化所述神经网络的参数或诸如卷积核权重的权重。相反，在所述测试阶段中不更改任何参数或权重。取而代之的是，这里基于来自所述训练阶段的已修改的权重检查所述网络是否已正确学习。为此，将数据呈现在所述神经网络的输入端处并检查所述神经网络计算了哪些输出。在此，利用已经显示给所述神经网络的输出刺激来检查所述神经网络是否已检测了训练材料。通过呈现新的刺激，可以确定所述网络是否泛化地解决了任务。[0029]由于在所述方法中在确定所述卷积正则化值时考虑了卷积层的结构，因此可以在借助于作为所述成本函数(英语：loss-function(损失函数))的附加添加项的所述卷积正则化值进行正则化的情况下，在训练所述神经卷积网络时实现改善的泛化。[0030]所述成本函数度量当前存在的神经网络有多好地映射给定的数据集。在训练神经网络时，逐步更改所述权重，使得将所述成本函数变得最小并且由此将训练数据集(几乎)完全由所述神经网络映射。正则化项的任务是控制以此方式确定的解的数量，这些解是通过最小化所述成本函数来计算的。所述正则化项越高，最小化任务的解就越少，这使得可以预期改善的泛化。本发明中建议的卷积正则化项以特别的方式考虑了神经网络的卷积结[0031]用这样的方法训练的神经卷积网络可以在大量应用中有助于改善的泛化。例如，可以训练这样的神经卷积网络用于以下任务，在这些任务中将所述神经网络的输入信号一维地例如用在包括语音或噪声处理的音频信号的情况下，二维地例如用于对图像(包括激光雷达(LIDAR)系统或雷达(RADAR)系统的扫描)进行评估、分类或处理，或在三维输入信号的情况下例如用于磁共振断层(MRT)扫描的分析和分类。对于所描述的方法的这些不同的应用，可以相应地适配用于使用卷积正则化值来训练神经网络的方法，如下面将进一步描7信号或输入特征图或输出特征图在用所述坐标分量描述的空间位以具有例如从所述输入特征图的图像中提取结构的其他特征图(Feature-Maps)。将所述卷积正则化值应用于所述成本函数的确定是将所述卷积正则化值添加至正常成本此f(x;)应该等于y使用损失函数V来计算f(x:)和y之间的差。在总和中将所有训练数据8并且这些范数中至少两个范数的参数p具有不同的值。通过在选择这些范数时使用不同的[0053]根据另一方面建议，通过公式1中描述的关系来为所述神经网络的二维输入数据确定所述卷积正则化值：大小；k,1是延伸到k和1的核索引，并且因此说明了该核不同的范数。9[0072]该项是针对每一层的线性算子卷积正则化值||A||:[0077]如果在所述神经网络中使用更高的步幅(Stride)、膨胀(Dilation)或填充所描述的卷积正则化值考虑了特别是包含在神经卷积网络中的卷积层的结构。[0081]说明了使用已经对应于前述方法之一训练的神经网络来分类或探测信号的用途。特别地，可以将以这种方式训练的神经网络用于表征车辆环境、用于断层扫描成像或用于对象探测。[0082]对于这种使用卷积正则化值训练神经网络的方法，存在大量不同的用途，所述方法必要时必须适配于这些用途。在此，所述方法必须以下述描述的方式适配于所述神经网络的应用的不同维度。[0083]这里讲述的所述方法的应用和使用所述方法训练的神经网络可以单个地或组合地例如在表示至少部分自动化的移动平台的环境时使用。[0084]在此，移动平台可以被理解为移动的至少部分自动化的系统和/或车辆的驾驶员辅助系统。一个示例可以是至少部分自动化的车辆或具有驾驶员辅助系统的车辆。也就是说，在这种关联下就至少部分自动化的功能而言，至少部分自动化的系统包括移动平台，但是移动平台还包括车辆和其他包括驾驶员辅助系统的移动机器。移动平台的其他示例可以是具有多个传感器的驾驶员辅助系统、移动式多传感器机器人(例如机器人吸尘器或割草机)、多传感器监控系统、制造机器、个人助理或进入控制系统。这些是完全或部分自动化的系统。[0085]如果所述神经网络的应用涉及一维信号，例如包括语音信号或马达噪声的音频信号，则输入信号的特征图可以表示为向量。因此所述卷积核具有分量9ijk;并由下式确定了所述卷积正则化值[0087]其中参数的定义如上所示。通过这种方式，可以例如识别说了什么或谁说了什么。[0088]对于二维信号，例如彩色图像(RGB图像)、X射线图像、激光雷达(LIDAR)系统的扫描或雷达图，所述输入信号的特征图是矩阵。因此，核具有分量9ijk₁k₂并由下式确定了所述卷积正则化值[0090]其中参数的定义如上所示。作为二维信号应用的示例，可以探测图像信号，例如交通标志识别或对象识别(例如行人识别)。然后，所述神经网络的任务是确定是否可以在环境的图像中探测到交通标志或行人，并在必要时可以对交通标志或行人进行分类。[0091]对于诸如磁共振断层造影(MRT)扫描的三维信号，可以以矩阵形式表示所述输入信号的特征图。由此，所述卷积核具有分量9ijk₁kzk₃,并且可以按以下形式计算所述卷积正11[0094]其中参数的定义如上所示。作为三维输入信号的应用，所述神经网络的任务可以示例性地包括从MRI拍摄中识别肿瘤和对肿瘤类型分类。[0095]根据另一方面建议，上述神经网络用于分类的用途涉及输入信号，其中根据所述分类的结果发送用于操控至少部分自动化的车辆的操控信号和/或用于警告车辆乘员的警告信号。这样的输入信号的示例可以是声源，或者可以是图像信号。因此，与所述方法一起使用的不同维数的一般性输入信号可以如前面所述。[0096]说明了一种具有神经网络的设备，该神经网络已经根据前述方法之一进行了训[0097]建议了一种计算机程序，其包括指令，所述指令在由计算机执行程序时促使所述计算机执行上述方法之一。[0098]建议了一种机器可读存储介质，在所述机器可读存储介质上存储了所描述的计算机程序。附图说明[0099]本发明的实施例在图1至3中示出并且在下面更详细地解释。[0100]图1示出了借助于多个输入特征图形成输出特征图；[0101]图2示出根据多个输入特征图各借助于多个卷积核形成卷积层的至少一个输出特[0102]图3示出了用于借助于卷积核确定卷积范数的方法步骤。具体实施方式[0103]在图1中示例性概略地示出了如何根据从所述神经网络的前一层的输出提供的多130计算第i个输出特征图150的每个像素155。[0104]在图2中概略地示出如何在方法步骤S2中根据在方法步骤S1中由所述神经网络的126、136;或117、127、137和多个输入特特征图150,其中向由输入特征图110、120、130之一与至少一个输出特征图150中的每个输[0105]此外，在图2中指示了如何在示例性情况下可以确定用于计算输出图的所有卷积核的频率。出发点是通过两个空间坐标、即通过输入特征图的坐标分量——在该二维示例中通过输入特征图110的宽度170和输入特征图110的高度160——指示的输入特征图110、120、130的大小。在该示例中，卷积核1一输入图110中的相同卷积核的三个位置115、116、117所概略地示出的，在比较卷积核115的空间维度和输入图110的空间维度时得到将卷积核115可能应用于所述输入特征图的定义的频率，以便将卷积核115无重叠地应用于整个输入特征图110。由此例如将该频率计算[0106]