CN112445823A 神经网络结构的搜索方法、图像处理方法和装置 （华为技术有限公司）

本申请提供了人工智能领域中计算机视觉2根据目标任务确定搜索网络，所述搜索网络包从所述搜索网络中确定子网络集合，所述子网络集合包对所述子网络集合进行更新，以获取更新子网络集合根据所述更新参数空间和所述更新子网络集合，确定与基于梯度反向传播算法对所述参数空间进行更新，其中个第一子网络结构中的部分第一子网络结构所对基于粒子群算法、遗传算法和烟花算法中的任意一种算法基于非支配排序算法，根据第一度量目标对所述多个第基于非支配排序算法，根据第二度量目标对所述多个第将所述第一次等级划分结果与所述第二次等级划分结果中相同等级中所包括的子网从合并的等级划分结果中选择多个子网络结构为所述根据终端设备的计算资源和/或存储资源从所述多个目标神经网络中选择第一目标神根据所述第一目标神经网络对所述待处理目标任务数据根据目标任务确定搜索网络，所述搜索网络包括结构3从所述搜索网络中确定子网络集合，所述子网络集合包对所述子网络集合进行更新，以获取更新子网络集合基于粒子群算法、遗传算法和烟花算法中的任意一种算法基于非支配排序算法，根据第一度量目标对所述多个第基于非支配排序算法，根据第二度量目标对所述多个第将第一次等级划分结果与所述第二次等级划分结果中相同等级中所包括的子网络结从合并的等级划分结果中选择多个子网络结构为所述根据所述终端设备的计算资源和/或存储资源从多个目标神经网络中选择第一目标神根据所述第一目标神经网络对所述待处理图像进行分类其中，所述多个目标神经网络是根据更新参数空间新参数空间是根据图像分类任务的训练数据对搜索网络所包括的参数空间进行更新得到更新子网络集合包括所述多个子网络结构中的多4根据目标任务确定搜索网络，所述搜索网络包从所述搜索网络中确定子网络集合，所述子网络集合对所述子网络集合进行更新，以获取更新子网络集合根据所述更新参数空间和所述更新子网络集合，确定与根据所述终端设备的计算资源和/或存储资源从多个目标神经网络中选择第一目标神根据所述第一目标神经网络对所述待处理图像进行分类其中，所述多个目标神经网络是根据更新参数空间新参数空间是根据图像分类任务的训练数据对搜索网络所包括的参数空间进行更新得到5更新子网络集合包括所述多个子网络结构中6[0002]人工智能(artificialintelligence，AI)是利用数字计算机或者数字计算行构建。为了更好地构建神经网络，人们提出了通过神经网络结构搜索(neural7络用于处理语音数据时，上述搜索网络包含的操作种类和数量要与语音数据的处理相适[0012]上述搜索空间是根据目标神经网络的应用需求和执行神经网络结构搜索的设备[0016]例如，在根据目标神经网络的应用需求确定搜索空间包含的操作种类和数量之[0017]本申请实施例中的搜索网络中可以包含用于构建神经网络的基础模块例如卷积、础模块和基础操作的参数，例如基本操作为卷积核大小为3×3的分离卷积所涉及的参数、基本操作为卷积核大小为5×5且空洞率为2的空洞卷积所涉及的参数、基本操作为跳连接8网络结构不同，所有的22维向量所表达的子网络结构即可以构成本申请实施例的结构空[0024]本申请实施例中目标任务的训练数据可以是目标神经网络需要处理的数据的一施例中，子网络集合包括结构空间中所包括的多个子网络结构中的多个第一子网络结构，9[0028]本申请实施例的神经网络结构的搜索方法通过在搜索过程中维护一个子网络集和/或存储资源限制的模型，可供用户根据实际应用中的资源约束来挑选相应的目标神经量目标对所述多个第一子网络结构和所述下一代子网络结构进行等级划分得到第一次等第二度量目标对多个第一子网络结构和下一代子网络结构进行等级划分得到第二次等级[0035]本申请实施例通过对当前代子网络结构和下一代子网络结构根据不同的度量目据终端设备的计算资源和/或存储资源从所述多个目标神经网络中选择第一目标神经网[0039]本申请实施例中，可以根据终端设备的计算资源和/或存储资源从上述提供的不中确定子网络集合，所述子网络集合包括所述多个子网络结构中的多个第一子网络结构；[0041]本申请实施例的神经网络结构的搜索方法通过在搜索过程中维护一个子网络集量目标对所述多个第一子网络结构和所述下一代子网络结构进行等级划分得到第一次等[0044]本申请实施例通过对当前代子网络结构和下一代子网络结构根据不同的度量目像；根据所述终端设备的计算资源和/或存储资源从多个目标神经网络中选择第一目标神述更新参数空间是根据图像分类任务的训练数据对搜索网络所包括的参数空间进行更新进行更新得到，其中所述子网络集合包括所述多个子网络结构中的多个第一子网络结构，所述更新子网络集合包括所述多个子网络结构中的多个第二度量目标对所述多个第一子网络结构和所述下一[0056]上述身份证件图像可的卷积特征图可以是预先获取的，并存储在相应的数据库[0084]图1示出一种人工智能主体框架示意图，该主体框架描述了人工智能系统总体工[0090]基础设施可以通过传感器与外部沟通，基础设施的计算能力可以由智能芯片提处理器(neural-networkprocessingunit，NPU)、图形处理器(graphicsprocessing[0092]基础设施的基础平台可以包括分布式计算框架及网络等相关的[0095]基础设施的上一层的数据用于表示人工智能领域的数据来源。该数据涉及到图[0109]本申请实施例可以部署于云服务上，为用户提供神经网络结构自动搜索的服[0110]例如，如图2所示，本申请实施例的神经网络结构的搜索方法可以部署于服务器利用本申请实施例的神经网络结构的搜索方法可以得到多个适用于图像识别的神经网络2，服务器通过神经网络结构搜索系统(对应于本申请实施例的神经网络结构的搜索方法)别神经网络结构。部署于终端上的图像识别神经网络结构可以对待处理的图像进行识别，[0113]利用本申请实施例的神经网络结构的搜索方法能够搜索得到多个适用于相册分经网络中选择一个与终端设备的计算资源和/或存储资源相匹配的相册分类神经网络，接[0119]神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运第2个神经元的线性系数定义为上标3代表系数W所在的层数，而下标对应的是输出的[0128]卷积神经网络(convolutionalneuronnetwork，CNN)是一种带有卷积结构的深取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过间中的一只鸟，称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值[0148]为方便理解和说明，本申请实施例中以目标神经网络模型为CNN模型(或称CNN网设备120基于数据库130中维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，[0153]根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备载终端等，还可以是服务器或者云端等。在图5中，执行设备110配置输入/输出(input/[0154]预处理模块113和/或预处理模块114用于根据I/O接口112接收到的输入数据(如[0155]在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行从而提供给用户。入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库[0161]由于CNN是一种非常常见的神经网络，下面结合图6重点对CNN的结构进行详细的中，卷积神经网络(CNN)200可以包括输入层210，卷积层/池化层220(其中池化层为可选面对图6中的CNN200中内部的层结构图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长的权重值形成的各个权重矩阵可以从输入图像中提取信息，从而使得卷积神经网络200进[0173]在经过卷积层/池化层220的处理后，卷积神经网络200还不足以输出所需要的输而为了生成最终的输出信息(所需要的类信息或别的相关信息)，卷积神经网络200需要利个卷积神经网络200的前向传播(如图6由210至240的传播为前向传播)完成，反向传播(如少卷积神经网络200的损失及卷积神经网络200通过输出层输出的结果和理想结果之间的中，卷积神经网络(CNN)300可以包括输入层310，卷积层/池化层320(其中池化层为可选[0178]图8为本申请实施例提供的一种芯片的硬件结构的示意图。该芯片包括神经网络中，用以完成计算模块111的计算工作。该芯片也可以被设置在如图5所示的训练设备120[0180]神经网络处理器NPU40作为协处理器可以挂载到主中央处理器(central矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器[0184]在一些实现中，向量计算单元407能将经处理的输出的向量存储到统一缓存器[0186]权重数据直接通过存储单元访问控制器405(directmemoryaccesscontroller，DMAC)将外部存储器中的输入数据搬运到输入存储器401和/或统一存储器以为双倍数据率同步动态随机存储器(doubledataratesynchronousdynamicrandom[0191]其中，图6或图7所示的卷积神经网络中各层的运算可以由运算电路403或向量计[0192]上文中介绍的图5中的执行设备110能够执行本申请实施例的图像处理方法的各[0193]如图9所示，本申请实施例提供了一种系统架构500。该系统架构包括本地设备的数据，或者调用数据存储系统550中的程序代码来实现本申请实施例的神经网络结构的[0197]通过上述过程执行设备510能够搜索出多个目标神经网络，该多个目标神经网络[0198]用户可以操作各自的用户设备(例如本地设备501和本地设备502)与执行设备510[0199]每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与执行设备[0201]在另一种实现中，执行设备510上可以从多个目标神经网络中选择与执行设备的10所示的方法可以由神经网络构搜索装置来执行，该神经网络结构搜索装置可以是电脑、络用于处理语音数据时，上述搜索网络包含的操作种类和数量要与语音数据的处理相适[0216]例如，在根据目标神经网络的应用需求确定搜索空间包含的操作种类和数量之[0219]本申请实施例中的搜索网络中可以包含用于构建神经网络的基础模块例如卷积、础模块和基础操作的参数，例如基本操作为卷积核大小为3×3的分离卷积所涉及的参数、基本操作为卷积核大小为5×5且空洞率为2的空洞卷积所涉及的参数、基本操作为跳连接网络结构不同，所有的22维向量所表达的子网络结构即可以构成本申请实施例的结构空[0227]本申请实施例中目标任务的训练数据可以是目标神经网络需要处理的数据的一可以理解为更新子网络集合的过程(或者理解为更新子网络结构的过程)，本申请实施例集合所包括的子网络(子网络包括子网络结构和子网络结构对应的参数)可以从搜索网络到，其中该多个第一子网络结构中每个第一子网络结构对应的参数可以从参数空间中获一轮的子网络集合更新过程得到的更新子网络集合确定为本轮子网络集合更新过程中的新过程得到的更新子网络集合中所包括的多个子网络结构中选择部分子网络结构构成本轮子网络集合更新过程中的子网络集合(即本轮更新过程的更新前子网络集合)，也就是网络结构对应的参数梯度，根据每个子网络结构对应的参数梯度可以得到参数空间的梯络集合所包括的多个第一子网络结构中部分第一子网络结[0251]本申请实施例中对子网络集合进行更新可以理解为对子网络集合所包括的子网新子网络集合中包括的多个第二子网络结构是从当前代子网络结构和下一代子网络结构络结构和下一代子网络结构中选择在目标任务的训练数据上表现较优的子网络结构。例以从当前代子网络结构和下一代子网络结构中选择[0258]作为另一种可能的实现方式，可以基于非支配排序算法例如非支配排序算法于非支配排序算法NSGA-Ⅲ,可以根据多个度量目标将当前代子网络结构和下一代子网络施例中的当前代子网络结构和下一代子网络结构)中所有非支配个体，并赋予它们一个共量目标对多个第一子网络结构和下一代子网络结构进行等级划分得到第二次等级划分结第一等级所包括的子网络结构和第二次等级划分结果中的第一等级所包括的子网络结构[0263]可选地，也可以不对上述第一次等级划分结果和第二次等级划直接从第一次等级划分结果和第二次等级划分结果中分别挑选靠前等级中的子网络结构，将从第一次等级划分结果挑选出来的子网络结构和第二次等级划分结果中挑选出来的子量目标对多个第一子网络结构和下一代子网络结构进行等级划分得到第二次等级划分结[0265]通过本申请实施例改进的非支配排序算法从当前代子网络结构和下一代子网络以根据参数量和准确率的增长速率将当前代子网络结构和下一代子网络结构根据个体之等级划分结果中相同等级中所包括的子网络结构分别进行合并，得到合并的等级划分结存在既比挑选的子网络结构准确率更高且比挑选的子网络结构参数量更多的子网络结构。参数量和准确率的增长速率将当前代子网络结构和下一代子网络结构根据个体之间的支二次等级划分结果挑选出来的子网络结构合并作为更新子网络集合中的第二子网络结构。选的子网络结构准确率更高且比挑选的子网络结构参数量更少的子网络结构以及既比挑所包括的多个第二子网络结构中每个第二子网络结构所对应的参数属于更新参数空间中更新子网络集合中所包括的多个第二子网络结构中每个第二子网络结构所对应的参数属[0276]本申请实施例的神经网络结构的搜索方法通过在搜索过程中维护一个子网络集足不同计算和/或存储资源限制的模型，可供用户根据实际应用中的资源约束来挑选相应待处理目标任务数据；根据所述终端设备的计算资源和/或存储资源从所述多个目标神经[0278]本申请实施例中，可以根据终端设备的计算资源和/或存储资源从上述提供的不本申请实施例的神经网络结构的搜索方法得到的目标神经网络可以部署于终端例如手机同的连接方式以及所连接的不同的操作可以构神经元权值(各神经元权值属于参数空间W中的参数)的偏导数，构成目标函数对权值向量到搜索网络N的参数空间W的梯度，从而作为修改权值的依据(即作为更新参数空间的依[0290]W=W8C;[0296]示例性的，参数空间W的梯度可以为子网络集合中所包括的N个子网络结构中M个[0299]本申请实施例中，直接对子网络集合中的N个子网络结构对应的参数梯度进行求和可能会带来较大的计算负担，可以采用小批量(mini-batch)的M个第一子网络结构对应构的子网络集合表示为{N1,N2,…NN}，子网络集合更新过程中采用的P个度量目标为{F1,[0303]根据验证数据评价父代样本(即N个子网络结构)和子代样本(即下一代t×N个子[0304]从包含父代样本和子代样本的(t+1)×N个子网络结构中利用本申请实施例提出[0307]基于非支配排序算法，根据参数量和准确率将包含父代样本和子代样本的(t+1)[0311]将从第一次等级划分结果挑选出来的子网络结构和从第二次等级划分结果挑选在既比挑选的子网络结构准确率更高且比挑选的子网络结构参数量更少的子网络结构以行更新时所利用的子网络集合为上次步骤1103中得到的更新子网络集合，即上述新的解对子网络集合进行更新时所利用的子网络结构对应的参数为再次执行步骤1102后又一次一个目标神经网络模型部署在终端上，并利用该选择的目标神经网络模型执行目标任务，[0318]图12示出了在相似约束条件下本申请实施例的神经网络结构的搜索方法中采用改进的非支配排序算法pNSGA-Ⅲ时和现有方案采用传统的非支配排序算法NSGA-Ⅲ时所搜索出的网络结构在数据集CIFAR-10的验证效果示意图，表1示出了传统方法和本申请方法搜索出来的网络结构在数据集CIFAR-1[0321]表1中CARS-A至CARS-I为应用本申请采用改进的非支配排序算法pNSGA-Ⅲ时搜索得到的网络结构，其余网络结构为应用传统的非支配排序算法NSGA-Ⅲ时搜索得到的网络[0322]图13示出了在本申请实施例的神经网络结构的搜索方法所搜索出来的网络结构在数据集ImageNet的验证效果示意图，表2示出了传统方法和本申请方法所搜索出来的网[0325]表2中CARS-A至CARS-I为应用本申请提供的神经网络结构的搜索方法搜索得到的实施例提供的神经网络结构的搜索方法在数据集ImageNet上搜索得到的网络结构能够覆[0329]本申请实施例中的搜索网络中可以包含用于构建神经网络的基础模块例如卷积、空间包括了原则上可以表征的全部的网络架构，也可以理解为结构空间是网络结构的全[0332]从搜索网络中确定子网络集合可以包括子网络集合的初始化过程和子网络集合一轮的子网络集合更新过程得到的更新子网络集合确定为本轮子网络集合更新过程中的新过程得到的更新子网络集合中所包括的多个子网络结构中选择部分子网络结构构成本轮子网络集合更新过程中的子网络集合(即本轮更新过程的更新前子网络集合)，也就是目标对所述多个第一子网络结构和所述下一代子网络结构进行等级划分得到第一次等级