CN113128678B 神经网络的自适应搜索方法及装置 （华为技术有限公司）

DiversitywithNeuralArchitectureforEfficientConvolutionalNetworks.arXiv数据库.2019,第1-1cientConvNetDesignviaNeuralArchitectureSearch.arXiv数NeuralArchitectureSearchwithUni本申请提供神经网络的自适应搜索方法及一个或多个评估指标对经过训练的超级网络执平台上的评估结果优于源神经网络运行在目标2根据所述源神经网络的网络结构、知识库中的扩展规则以及目标硬件平台，所述源神经网络中的第一算子集合和衍生的第二算子集合具有不同的对应关系；基于所述一个或多个评估指标对所述经过训练的超级网络执行神经网络模型的精度评估指标，神经网络模型的时所述神经网络模型的时间开销评估指标包括目标神经网络的时间开销不大于时间开所述神经网络模型的存储空间评估指标包括目标神经网络占用的存储空间不大于存所述神经网络模型的功耗评估指标包括目标神经网络的功耗不大于所述神经网络模型的张量计算单元的利用率评估指标包括目标神经网络的张量计算所述神经网络模型的内存读写速率评估指标包括目标神经网络的内存读写速率不大3.根据权利要求1或2所述的方法，其特征在基于所述一个或多个评估指标对所述目标搜索范围内的待评估的一个或多个候选子4.根据权利要求1或2所述的方法，其特征在于，所述基于所3基于所述一个或多个评估指标和所述对应关系信息，确定所述经过基于所述待评估的一个或多个候选子网络的评估结果对所述经过训练的超级网络执相应的，所述基于所述一个或多个评估指标对所述经过训练的基于所述神经网络模型的时间开销评估指标对所述经过训练的超级网络中包括的一根据所述源神经网络的网络结构、第二知识库中的扩展规则以7.根据权利要求1或2所述的方法，其特征在于，基于所述一个或多个评估指标和所述对应关系信息，确定所述经过各个第三算子集合中的各个第一算子集合和/或各个衍生的第二算子集合对应的评估结基于所述N个评估指标的比例关系以及所述各个第三算子集合中的各个第一算子集合和/或各个衍生的第二算子集合对应的评估结果，获得所述待评估的一个或多个候选子网9.根据权利要求8所述的方法，其特征在于，及所述各个第三算子集合中的各个第一算子集合和/或各个衍生的第二算子集合对应的评接收r个所述N个评估指标的比例关系，针对每一个所述N个评估指标的比例关系进行在一次预搜索过程中，设置各个第一算子集合和/或各个衍生的第二算子集合的评估根据调整后的所述各个第一算子集合和各个衍生的第二算子集合的评估结果对应的4根据r次预搜索过程确定所述待评估的一个或多个候选子网络的将所述待评估的一个或多个候选子网络的评估结果降序排序，得到排序在先的K个评根据所述经过训练的超级网络以及所述K个第一目标候选子网络，获得第n轮杂交和/基于所述一个或多个评估指标和所述对应关系信息，获得所述S个第二目标候选子网从K*(n+1)个目标候选子网络中获得一个或多个所述目标神经网络的网基于第二训练数据集对所述目标神经网络执行训练过程所述训练单元，用于根据所述源神经网络的网络结构、知识库中的所述搜索单元，用于基于所述一个或多个评估指标对所述经过训练的超5神经网络模型的精度评估指标，神经网络模型的时所述神经网络模型的时间开销评估指标包括目标神经网络的时间开销不大于时间开所述神经网络模型的存储空间评估指标包括目标神经网络占用的存储空间不大于存所述神经网络模型的功耗评估指标包括目标神经网络的功耗不大于所述神经网络模型的张量计算单元的利用率评估指标包括目标神经网络的张量计算所述神经网络模型的内存读写速率评估指标包括目标神经网络的内存读写速率不大相应的，所述搜索单元具体用于基于所述神经网络模的时间开销小于所述时间开销阈值的一个或构建单元，用于根据所述源神经网络的网络结构神经网络中；所述衍生的第二算子集合为与所述第一算子集合具有相同的功能的算子集6基于所述一个或多个评估指标和所述对应关系信息，确定所述经过各个第三算子集合中的各个第一算子集合和/或各个衍生的第二算子集合对应的评估结及所述各个第三算子集合中的各个第一算子集合和/或各个衍生的第二算子集合对应的评接收r个所述N个评估指标的比例关系，针对每一个所述N个评估指标的比例关系进行的候选子网络的评估结果；根据r次预搜索过程确定所述待评估的一个或多个候选子网络24.根据权利要求22或23所述的装置，其特征在于将所述待评估的一个或多个候选子网络的评估结果降序排序，得到排序在先的K个评所述训练单元还用于基于第二训练数据集对所述目标神经网7以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器器执行如权利要求1-14中任一项所述的神经网络得所述计算机执行如权利要求1-14中任一项所述的神经网络的89[0009]其中，在经过训练的超级网络中搜索到的目标神经网络的数量可以是一个或多中央处理器(centralprocessingunit，CPU)、数字信号处理器(digitalsignal[0012]其中，神经网络的网络结构信息例如可以包括神经网络包含的算子和/或算子集的前提下，考虑不同的硬件平台对算子/通道的不同的实现所带来的算子/通道开销的不指标包括目标神经网络的内存读写速率不小于内存经验确定的神经网络的网络感受野限制约束，以及针对特定硬件平台的算子和/或算子集子+pooling)进行优化，使其虽然计算量大于(3×3卷积算子+pooling)或(5×5卷积算子+pooling)的计算量，但在当前硬件平台的时间开销小于(3×3卷积算子+pooling)或(5×5个评估结果确定一个或多个候选子网络为目以根据对应关系确定候选子网络的评估结果，进而可以确定目标神经网络的网络结构信基于神经网络模型的时间开销评估指标对经过训练的超级网络中包括的一个或多个候选网络在该硬件平台处理图像的速度达到每秒处理150张图像，则可以设置时间开销评估指库中的扩展规则以及目标硬件平台信息，采用横向和/或纵向的扩展方式构建待训练的超集合对应的可以替换的算子集合(即下文中的衍生的第二算子集合)具有不同的对应关系。合的功能相同，进而在超级网络中搜索得到的目标神经网络可以执行与源神经网络的任一算子集合和/或各个衍生的第二算子集合对应的评估结果，其中第一算子集合包括于源神经网络中。基于N个评估指标的比例关系以及各个第三算子集合中的各个第一算子集合和/或各个衍生的第二算子集合对应的评估结果，获得待评估的一个或多个候选子网络的[0033]在一种可能的实现方式中，基于N个评估指标的比例关系以及各个第三算子集合中的各个第一算子集合和/或各个衍生的第二算子集合对应的评估结果，获得待评估的一一算子集合和/或各个衍生的第二算子集合的评估结果的权重，并基于N个评估指标以及N估的候选子网络的评估结果。根据r次预搜索过程确定待评估的一个或多个候选子网络的[0036]在一种可能的实现方式中，N个评估指标包括神经网络模型的精度评估指标以及>K。基于一个或多个评估指标和对应关系信息，获得S个第二目标候选子网络的标候选子网络中获得一个或多个目标神经网络的网[0039]在本申请中，杂交是指将K个第一目标候选子网络中部分第一目标候选子网络中标候选子网络中部分第一目标候选子网络中包含的部分算子集合替换为经过训练的超级在从中确定满足一个或多个评估指标且性能较优的一个或多则需要基于神经网络1以及芯片A搜索目标神经网络，目标神经网络在芯片A上的运行效果[0046]举例来说，源神经网络为运行在GPU上的神经网络1，现需要提升GPU处理图像速目标神经网络在时间上先后运行或者说是搭载在GPU(目标硬件的目标神经网络在目标硬件平台执行红绿灯识别任务的时间开销为0.1ms。在保证精度基指标包括目标神经网络的内存读写速率不小于内存关系信息，确定经过训练的超级网络中各个第三算子集合中的各个第一算子集合和/或各评估指标的比例关系以及各个第三算子集合中的各个第一算子集合和/或各个衍生的第二各个第一算子集合和各个衍生的第二算子集合的评估结果对应的权重确定待评估的候选[0060]在一种可能的实现方式中，N个评估指标包括神经网络模型的精度评估指标以及K个评估结果对应的K个第二目标候选子网络；从K*(n+1)个目标候选子网络中获得一个或[0064]在一种可能的实现方式中，构建单元还用于基于目标神构建目标神经网络。训练单元还用于基于第二训练数据集对目标神经网络执行训练过程，任一种可能的实现方式中所述的神经网络的自可能的实现方式中所述的神经网络的自适应搜索方法的功能。该功能可以通过硬件实现，上述第一方面及其中任一种可能的实现方式中所述的神经网[0088]下面结合附图对本申请实施例提供的神经网络的自适应搜索方法及装置进行详[0089]图1示出了一种神经网络的自适应搜索系统，该神经网络的自适应搜索系统包括[0091]其中，硬件平台例如可以包括以下其中一种或几种：图形处理器(graphics现的应用包括但不限于：图像识别(imageclassification)、物体识别(object转换(neuralstyletransfer)等计算机视觉方面的应用，也可以是自然语言处理(naturallanguageprocessing,NLP)方面的应设备可以将源神经网络的网络结构信息，以及该源神经网络搭载的具体硬件平台(即目标[0093]在另一种场景中，终端设备中源神经网络的硬件平台将被替换为其他硬件平台[0095]上述数据处理设备可以是云服务器或者网络服务器等具有神经网络搜索功能的索结果即目标神经网络发送至对应的终端设备。数据处理设备中的存储器可以是一个统[0097]例如，在图1中数据处理设备可以执行本申请实施例的神经网络的自适应搜索方应一个或多个衍生的第二算子集合。由该一个或多个衍生的第二算子集合和/或第一算子超级网络中对应的第三算子集合包括第一算子集合(3×3卷积算子)和衍生的第二算子集[0106]又比如上表一中，源神经网络包含的一个第一算子集合包括步幅(stride)＝1时的7×7卷积算子+池化层算子，基于知识库231获知在型号为B的CPU(目标硬件平台)上，stride＝2时的7×7卷积算子与stride＝1时的7×7卷积算子+池化层算子具有相同或相似算子具有相同或相似的功能，则衍生的第二算子集合包括3×3卷积算子+3×3卷积算子+3子集合包括衍生的第二算子集合(3×3卷积算构建模块212发送的超级网络201，基于从数据库230中获得的训练数据集训练超级网络[0113]评估结果获取模块214，用于基于一个或多个评估指标，获取各个第一算子集合超级网络202中搜索目标神经网络203。并通过I/O接口211向终端设备220输出目标神经网施例可能涉及的神经网络的相关术语和概念[0118]神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运得到输出向量j。由于DNN层数多，系数W和偏移向量的数量也比较多。这些参数在DNN中的第2个神经元的线性系数定义为上标3代表系数W所在的层数，而下标对应的是输出间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过神经网络隐含层中包含的各个层中的算子和/算子集合的功能及评估结果，保留或替换部[0131]图3为本申请实施例提供的一种芯片的硬件结构，该芯片包括神经网络处理器模块214中的全部或部分工作(例如基于一个或多个评估指标对搜索的神经网络进行评[0132]神经网络处理器NPU300作为协处理器挂载到主中央处理器(centralprocessing304控制运算电路303提取存储器(权重存储器或输入存储器)中(localresponsenormalizat[0136]在一些实现中，向量计算单元能307将经处理的输出的向量存储到统一存储器[0139]统一存储器306用于存放输入数据以及输出数据。权重数据直接通过存储单元访至输入存储器301和/或统一存储器306、将外部存储器中的权重数据存入权重存储器302，[0141]与控制器304连接的取指存储器309(instructionfetchbuffer)用于存储控制率同步动态随机存储器(doubledataratesynchronousdynamicrandomaccess的评估结果(例如时间开销的评估结果)并不一定优于源神经网络在目标硬件平台上的评到的目标神经网络运行在目标硬件平台上的评估结果优于源神经网络运行在目标硬件平[0151]如上文所述，当终端设备上某一个硬件平台上运行(或搭载)的神经网络(即源神经网络)需要优化时，或者终端设备上运行(或搭载)有神经网络(即源神经网络)的硬件平在目标硬件平台上的评估结果优于源神经网络运行在目[0153]上述目标硬件平台信息例如可以包括目标硬件平台的属性、目标硬件平台的型[0154]可以理解的是，在对终端设备上的某个硬件平台的神经或多个算子。本申请实施例中的源神经网络可以为卷积神经网络(convolutionalneural前馈神经网络(feedforwardneuralnetwork，FNN)，深度信念网络(deepbelief网络包括输入层、隐含层和输出层。卷积神经网络的隐含层包括一个或多个卷积层结构为由一个卷积层的三个卷积算子以及一个池化层的求和[0160]其中，神经网络模型的精度评估指标包括目标神经网络的精经网络模型的存储空间评估指标包括目标神经网络占用的存储空间不大于存储空间阈值；张量计算单元的利用率评估指标包括目标神经网络的张量计算单元的利用率不小于张量络精度或者不低于源神经网络精度的某个区间(例如不低于源神经网络精阈值以及内存读写速率阈值用于衡量搜索到的目标神经网络与目标硬件平台的匹配程度，个相邻层级中的部分3×3卷积算子替换为5×5卷积算子，部分3×3卷积算子替换为skip。构建超网络的时候进行纵向扩展。例如源神经网络中4个相邻的层级包含的第一算子集合为3×3卷积算子(64通道)+3×3卷积算子(64通道)+3×3卷积算子(128通道)+3×3卷积算道)+3×3卷积算子(64通道)+3×3卷积算子(64通道)+3×3卷积算子(128通道)+3×3卷积算子(128通道)+3×3卷积算子(128通道)，那么对应的衍生的第二算子集合可以包括3×3卷积算子(64通道)+3×3卷积算子(64通道)+3×3卷积算子(64通道)+3×3卷积算子(128通本发明实施例提供的方法的区别。功能相同或相似的第二算子集合全部加入到与第一算子集合位置对应的第三算子集合中。5卷积算子，1×1卷积算子以及求和算子联合运算的Block结构)和Block结构3(例如包含1[0182]如图9所示，示例性的给出了一种根据源神经网络基于目标硬件平台扩展后的超行计算，将第三算子集合1中包含的所有算子集合的计算结果加权平均后得到第三算子集第三算子集合1中包括一个第一算子集合1和两个第二算子集合(第二算子集合1和第二算抽取第三算子集合2中的第二算子集合3。将训练数据集输入到第三算子集合1中的第一算中的各个第三算子集合中的第一算子集合和/或衍生的第二算子集合在目标硬件平台上的合和/或衍生的第二算子集合在目标硬件平台上的基于一个或多个评估指标的评估结果，确定出一个或多个目标神经网络。这一个或多个目标神经网络在目标硬件平台上运行时，基于一个或多个评估指标的整体评估结果优于源神经网络在目标硬件平台上运行时的整对应关系确定经过训练的超级网络中各个第三算子集合中的各个第一算子集合和/或各个衍生的第二算子集合对应的评估结果(为N个评估指标分别对应的评估结果)，以及通过将各个待评估的候选子网络中包括的第一算子集合和/或各个衍生的第二算子集合的评估结标对应N个评估结果，M个候选子网络基于N个评估指标对应M*N个评估结果，即P个评估结型的时间开销评估指标包括目标神经网络的时间开销不大于时M个候选子网络进行子网络评估：先获取M个候选子网络中包含的每个第一算子集合和/或衍生的第二算子集合在目标硬件平台上运行的时间开销，即时间开销指标下的评估结果。括的各个第一算子集合和/或衍生的第二算子结合在目标硬件平台上运行的时间开销之[0202]又比如，N个评估指标为神经网络模型的精度评估指标和时间开销评估指标(即N络模型的时间开销评估指标包括目标神经网络的时间开销不大算子集合和/或衍生的第二算子集合在目标硬件平台上运行的精度以及时间开销，即精度第一算子集合/或衍生的第二算子集合在目标硬件平台上的评估结果，即得到实测的评估第一算子集合和/或第二算子集合，计算得到各个第一算子集合和各个第二算子集合在目的第一算子集合和/或衍生的第二算子集合输入到评估结果的预测模型(该预测模型可以于大量的算子和/或算子集合在目标硬件平台的评估结果训练得到。预测模型的训练过程述获取第一算子集合和/或衍生的第二算子集合在目标硬件平台上的基于一个或多个评估或衍生的第二算子集合在目标硬件平台上的基于一个或多个评估指标的评估结果确定目并不限定执行获取第一算子集合和/或衍生的第二算子集合在目标硬件平台上的基于一个在目标硬件平台实现效果较优，则再选择该候选子网络基于一个或多个评估指标进行评[0219]根据r次预搜索过程确定待评估的一个或多个候选子网络的评估结果，根据待评合中的第一算子集合和/或一个或多个衍生的第二算子集合设置相应的权重。在一个第三算子集合中的第一算子集合和/或一个或多个衍生的第二算子集合的权重之和为1。例如，图11中的(a)所示的超级网络中包括四个第三算子集合，即一个虚线框内包含的所有算子练数据集输入到第三算子集合1中，第三算子集合1中的第一算子集合和/或衍生的第二算时间开销)的评估结果＝第一算子集合1基于该评估指标的评估结果*W1+第二算子集合1基三算子集合1输出的特征图以及第三算子集合1的基于N个评估指标的评估结果输入到第三子集合2基于N个评估指标的的评估结果*W4+第二算子集合3基于N个评估指标的的评估结[0225]从待评估的候选子网络1和待评估的候选子网络2中选择评估结果更好的神经网第二目标候选子网络(包含第一算子集合1-第二算子集合4-第二算子集合6-第一算子集合[0232]上述变异，是指将K个第一目标候选子网络中第三算子集合中包括的第一算子集中第三算子集合1中的第二算子集合1，替换为经过训练的超级网络中的第三算子集合1中[0234]可以理解的是，可以将K个第一目标候选子网络杂交获得S个第二目标候选子网第一目标候选子网络杂交以及变异获得S个第二目标候选子网络。对于杂交或变异的数量集合和/或第二算子集合基于N个评估指标的评估结果，获得S个第二目标候选子网络的评网络运行在目标硬件平台上的评估结果优于源神经网络运行在目标硬件平台上