CN112307850B 神经网络训练方法、车道线检测方法、装置和电子设备 （浙江商汤科技开发有限公司）

本发明实施例公开了一种神经网络训练方网络中包括任务检测网络和N个用于特征提取的通过第n个第一网络对第一输入图像进行特征提分别基于N个特征图中的m个特征图生成m个注意差异确定第一损失，所述任务检测网络根据第N确定的检测结果和所述第一样本图像中的标注2通过第n个第一网络对第一输入图像进行特征提取处理，获得所述第分别基于N个特征图中的m个特征图生成m个注意力图；m小于基于m个生成网络分别对所述m个特征图的基于确定的检测结果和所述第一样本图像中的标注结果确定第二损根据所述第一损失和所述第二损失调整所述N个第一网络、所述m个2.根据权利要求1所述的方法，其特征在于，所确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述差异所述根据所述第一损失和所述第二损失调整所述N个第一网络、所述m根据所述第二损失调整所述N个第一网络和所述任务检测基于确定的所述第一图像中的车道线和所述第一样本图像中标注的车道线确定第二3所述第三网络根据第N个第一网络输出的特征图确定表征检测到的车道线数量的特征根据所述特征向量和所述第一样本图像对应的车道线数量的指示向量确定第三损失；所述车道线数量的指示向量根据所述第一样本图像中标注的车所述根据所述第一损失和所述第二损失调整所述N个第一网络、所述m7.根据权利要求1至6任一项所述的方法，其特根据确定的所述第二样本图像的检测结果以及所述第二样本图像的述m个注意力图基于m个生成网络分别对所述m个特征图的处理第二损失确定模块，用于基于确定的检测结果和所述第一调整模块，用于根据所述第一损失和所述第二损4所述调整模块，用于根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数，根据所述第二损失调整所述N个第一网络和所述任务检测网络的网络所述第二损失确定模块，用于基于确定的所述第一图像中的车道线和所述检测模块，还用于所述第三网络根据第N个第一网络输出的特征图确定表征检测所述第三损失确定模块，用于根据所述特征向量和所述第一样本所述确定单元，用于基于所述检测单元或的检测结果确定出所述道路图像中的车道56[0014]确定所述m个注意力图中第k个注意力图与第j个注意力图之间的差异，基于所述[0016]根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参[0018]上述方案中，所述确定所述m个注意力图中第k个注意力图与第j个注意力图之间[0019]分别确定所述第k个注意力图与第j个注意力图之间的欧式距离，得到k-j个欧式7[0025]所述第二网络根据第N个第一网络输出的特征图，确定所述第一样本图像中的车[0026]所述基于确定的检测结果和所述第一样本图像中的标注结果确定第二损失，包[0027]基于确定的所述第一图像中的车道线和所述第一样本图像中标注的车道线确定[0030]所述第三网络根据第N个第一网络输出的特征图确定表征检测到的车道线数量的[0035]利用初始神经网络对第二样本图像进行处理，确定所述第二样本图像的检测结整所述初始神经网络的网络参数，直至所述初始神经网络的检测准确率达到第一预设阈所述的神经网络训练方法训练得到，所述神经网络中的任务检测网络用于进行车道线检8[0048]所述调整模块，用于根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数，根据所述第二损失调整所述N个第一网络和所述任务检测网络的[0055]所述检测模块，还用于所述第三网络根据第N个第一网络输出的特征图确定表征9[0059]利用初始神经网络对第二样本图像进行处理，确定所述第二样本图像的检测结理器执行时实现本发明实施例所述的车道线检测方法力图基于m个生成网络分别对所述m个特征图的处理而生成；基于所述m个注意力图之间的和所述第二损失调整所述N个第一网络、所述m个生成网络和所述任务检测网络的网络参m个注意力图基于m个生成网络分别对所述m个特征图的处理而生于确定的检测结果和所述第一样本图像中的标[0084]另外，本实施例中的神经网络的网络参数数量远小于现有的神经网络(可称为大参数数量，本实施例中的神经网络的网络参数数量可以是大网络的网络参数数量的50%,[0085]本实施例中的神经网络至少包括任务检测网络和N个用于特征提取的第一网络，络得到N个特征图。首个第一网络的第一输入数据(也即通过首个第一网络处理的数据)称[0087]假设第一网络的数量为4个，则第一样本图像输入至第一网络1进行特征提取处过生成网络对所述特征图进行特征提取的处理过程主要对所述特征图中的局部特征进行中的对应于车道线的局部特征相比于特征图中的对应于车道线的局部可以是显著性图(SaliencyMap)或概率分布[0095]在本发明的一种可选实施例中，所述基于所述m个注意力图之间的差异确定第一图的知识(或特征)传递给第1个注意力图，第4个注意力图的知识(或特征)传递给第1个注[0101]其中，Am和Am+1分别是第m个第一网络和第m+1个第一网络输出的特征图(feature意力图的知识(或特征)传递给第j个注意力图的情况下，通过计算第j+1个注意力图与第j述第二网络和所述m个生成网络的网络参数可包括：对所述第二损失中相关的网络参数进述第二网络和所述m个生成网络的网络参数可包括：对所述第一损失和第二损失相关的每二求导处理结果进行加权求和处理(可参照表达式(2))，根据处理结果调整第一网络的网调整所述第j个注意力图对应的第一网络和生成网络的网络参数；根据所述第二损失调整所述N个第一网络和所述任务检测网络的网实施例基于m个注意力图之间的差异确定的第一损失是与第一网络和生成网络的网络参数相关的，因此根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数。所述第二损失为与所述N个第一网络和所述任务检测网络(即第二网络)的网络参意力图由于依据的特征图对应的第一网络的处理次数多于在先的注意力图依据的特征图对第一网络4输出的特征图进行处理得到的，即第一网络4输出的特征图经历了第一网络11提取到的特征(或知识)，即排序在后的第一网络提取到的特征(或知识)多于排序在先的第一网络提取到的特征(或知识)。而相对排序在后的第一网络(例如第一网络4)可称为深[0127]步骤206：基于确定的所述第一图像中的车道线和所述第一样本图像中标注的车[0129]步骤208：根据所述特征向量和所述第一样本图像对应的车道线数量的指示向量[0131]本实施例步骤202至步骤206的详细描述具体可参照前述实施例中步骤101至步骤征是否检测到车道线的特征向量，即所述第二网络和所述第三网络是与设定的任务相关的正确率并未达到预设阈值、和/或表征检测到的车道线数量的特征向量的正确率并未达[0138]本实施例中，所述第三损失为与所述N个第一网络和所述第三网络的网络参数均相关的损失，所述第二损失为与所述N个第一网络和所述第二网络的网络参数均相关的损述根据所述第一损失、所述第二损失和所述第三损失调整所述N个第一网络、所述第二网的每个网络参数进行求导处理，获得所述第三损失对应的该网络参数的第三求导处理结[0140]本发明实施例还提供了一种神经网络训练方法。图4为本发明实施例的神经网络[0142]步骤201：根据确定的所述第二样本图像的检测结果以及所述第二样本图像的标[0143]本实施例中，所述初始神经网络具有包括N个第一网络和任务检测网络的网络架[0144]在本发明的一种可选实施例中，所述利用初始神经网络对第二样本图像进行处[0145]所述根据确定的所述第二样本图像的检测结果以及所述第二样本图像的标注结第四损失和/或所述第五损失调整所述初始神经[0148]其中，所述根据所述第四损失和/或所述第五损失调整所述初始神经网络的网络二网络和第三网络，所述神经网络对道路图像进行处理，获得所述道路图像中的车道线，和/或获得所述道路图像对应的表征检测到的车道线数[0154]本发明实施例还提供了一种神经网络训练装置。图5为本发明实施例的神经网络[0162]所述调整模块46，用于根据所述第一损失调整所述第j个注意力图对应的第一网络和生成网络的网络参数，根据所述第二损失调整所述N个第一网络和所述任务检测网络[0169]所述检测模块44，还用于所述第三网络根据第N个第一网络输出的特征图确定表[0173]利用初始神经网络对第二样本图像进行处理，确定所述第二样本图像的检测结[0182]本发明实施例还提供了一种电子设备。图8为本发明实施例的电子设备的硬件组可编程只读存储器(PROM，ProgrammableRead-OnlyMemory)、可擦除可编程只读存储器(EPROM，ErasableProgrammableRead-OnlyMemory)、电可擦除可编程只读存储器磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccess静态随机存取存储器(SRAM，StaticRandomAccessMemory)、同步静态随机存取存储器(SSRAM，SynchronousStaticRandomAccessMemory)、动态随机存取存储器(DRAM，DynamicRandomAccessMemory)、同步动态随机存取存储器(SDRAM，SynchronousDynamicRandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，储器52旨在包括但不限于这些和任意其它适合类型处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步[0186]在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC，例的技术方案本质上或者说对现有