CN113646775B 用于创建神经网络的方法、装置和计算机程序 （罗伯特·博世有限公司）

2021.10.15PCT/EP2020/0600122020.04.08WO2020/212220DE2020.10.22序加到DARTS的已知的单元类型。本发明还涉及一及一种在其上存储有该计算机程序的机器可读2其中每个单元类型都包括多个节点，所述多个节点按可预先给其中每条边都分配有多个可参数化的运算O其中所述边被设立为：分别借助于被分配给先前节点的中来处理所述中间参量并且根据被分配给相应的运算的第一参量α来对所述中间参量进行加权相加并且将所述中间参量提供给下一个连接的节点作为所述节点的中其中第一单元类型被设立为使其输出参量的分辨率相对于其其中第二单元类型被设立为使其输出参量的分辨率相对于其将不同的单元类型的多个单元串在一起，使得编码器和解码器的其中所述单元的输入节点分别与紧挨着的上一单提供训练数据，所述训练数据包括训练输入参量和分别被分配给所述其中所述适配进行为使得借助于所述训练输入参量沿着串在一起的单元的传播所确根据串在一起的单元和所选择的运算来创建所述神经网络，其5.根据权利要求1至4中任一项所述的方法，7.根据权利要求1至4中任一项所述的方法，其中所述第二单元类型还被设立为：对所述第二输入节点I_pre其中在将多个单元串在一起的情况下，所述第二单元类型的单元的第二输入节点I_pred_k_1与所述第二单元类型的上38.根据权利要求7所述的方法，其中借助于可参数化的运算，对所述第二输入节点I_9.根据权利要求1至4中任一项所述的方法，其中所述神经网络具有至少一个跨接连其中所述第二单元类型附加地具有第三输入节点I_skip，并其中在将多个单元串在一起的情况下，所述第三输入节点I_s11.根据权利要求1至4中任一项所述的方法，其中第三单元类型被设立为处理所述第其中在将多个单元串在一起的情况下，至少在第一或第二单元类12.根据权利要求1至4中任一项所述的方法，其中所述训练数据被分成第一训练数据其中所述参数化w通过所述第一训练数据集合D_train来被优化，而且所述第一参量α15.根据权利要求13所述的方法，其中在使所述第一参量α和所述参数化w适配的情况其中借助于概率优化来确定用于优化所述参数化w的16.根据权利要求1至4中任一项所述的方法，其中针对所述第一单元类型预先给定第17.根据权利要求1至4中任一项所述的方法，其中所述神经网络获得两个摄像机的两其中所述神经网络借助于另一编码器来处理所述立体图像，然设立为在实施所述指令时促使计算机实施根据上述权利要求1至17中任一项4实施所述指令时促使计算机实施根据上述权利要求15[0002]Liu,Hanxiao、KarenSimonyan和YimingYang：“DARTS:Differentiable公开了一种用于借助于贝叶斯优化与超带优化算法的组合来优化神经网络的超参数的方NetworksforBiomedicalImageSegmentation.”arXivpreprintarXiv:1505.04597经网络称为U_Net。[0008]在本发明的第一方面中，提出了一种按照独立权利要求1所述的用于创建神经网条边都分配有多个可参数化的运算并且所有运算分别分配有第一参量。这些边被设立为：分别借助于被分配给先前节点的中间参量的运算中的每个运算来处理该中间参量并且根6据被分配给相应的运算的第一参量来对该中间参量进行加权相加并且将该中间参量提供文upsamplingcell（上采样单元被设立为使其输出参量的分辨率相对于其输入参量的使得借助于训练输入参量沿着串在一起的单元的传播所确定的输出参量与训练输出参量[0011]解码器可以被理解成神经网络的第二层序列，该第二层序列与第一层序列连7类型还被设立为：尤其是借助于可参数化的运算、诸如双线性插值（英文bilinear处理之前，神经网络分别借助于另一编码器或滤波器、然后是相关层（英文correlation[0033]有利的是：神经网络是U_Net或者自编码器或者被设立为执行语义分割或深度估算机以这些所提到的方法之一的所有步骤来实施该方法。还提出了一种机器可读存储模8[0041]图2示出了用于优化具有编码器和解码器的神经网络的架构和参数化的流程图的9可预先给定的顺序来彼此连接。这些被连接的单元描述了所谓的搜索网络（英文searchx(i)，换言之是神经网络的激活地图（英文activationmap而确定。个节点，其中存在2个输入节点(L_k-、3个中间节点(0,1,2)和一个输出节点。[0057]为了能够通过不同的运算来进行优化，尤其是借助于梯度下降法来进行优化，所要优化的函数必须是连续的。在DARTS中借助于插入变量和这些变量u0的松弛来实现这一点。给边(i,j)的每个运算都分配一个变量utn。变量的松弛可以借助于被应用于边的可能的运算的所有变量的Softmax函数来予以实[0063]现在，架构的优化可以借助于梯度下降法通过神经网络的变量α并且通过神经网因为对于解码器来说没有适合的单元类型可用。[0069]其它的输入节点在搜索网络中与先前的上采样单元的输出节点连[0070]对上采样单元的输入参量的插值可以借助于转置卷积（英文transposed的节点的结果被合并并且接着可选地借助于卷积来被处理并且然后作为输出参量来被输[0073]图2示出了用于优化具有编码器和解码器的神经网络的架构和参数化的示意性流构同样可以通过神经网络的中间参量的最低分辨率或者神经网络的层数目等等来被预先[0078]然后，根据预先给定的架构和所限定的单元，创建搜索网络（英文search[0083]在步骤2100中的训练数据的两个集合中的一个上执行对变量α的优化。在该优化[0084]例如可以借助于BOHB来单独优化梯度下降法的学习率，以便获得更好的收敛特性。利用BOHB来优化参数，为此参见开头提到的文档“BOHB:Robustandefficient[0085]在下一步骤2400中，根据变量α来确定步骤2000中的预先给定的神经网络的最佳[0093]图3示出了至少部分自主机器人的示意图，该至少部分自主机器人在第一实施例量并且根据神经网络（4