CN114299344B 一种针对图像分类的神经网络结构低成本自动搜索方法 （江南大学）

一种针对图像分类的神经网络结构低成本本发明公开了本发明涉及一种针对图像分一种可扩展的网络结构，block的可控参数化设同时引入非训练指标NTK的条件数量作为个体适的计算资源来快速搜索出综合性能优越的网路2包括blocknum个组卷积RegBlock；且每个RegUnit模块以50％的概率包含SENet模块，SENet模块通过Squeeze-and-Excitation来模拟注意RegUnit模块的个数unitnum、组卷积RegBlock的个数blocknum以及组卷积Reg据当前进化的代数G所属阶段选择不同的指标进所述步骤四中根据当前进化的代数G所属阶段选择不同的指标进行环境选择来淘汰个根据当前进化代数所属的阶段，在环境选择中使用相应的标准每个网络结构中的组卷积RegBlock包含group个分支，每个分对于M×M的输入数据，组卷积RegBlock每个分支中第三层的池化层数量不能大于所述t个父代个体通过一组变异算子来生成t个后代个体；后代个体生3在父代个体的长度内随机选择一个变异位置posij，它代表第i个RegUnit中第j个Reg随机选择一种变异算子来执行父代个体的变异，所述变使用CIFAR-10和CIFAR-100数据集计算每个网络结构的NTK的条件数KN作为个体的适应根据CIFAR-10和CIFAR-100数据集中的每组训练图像及对应的标签得到训练集之间通过unitnum个RegUnit模块进行进一步的特征提取，其中每个RegUn个组卷积RegBlock的输出由每个分支的输出特征和残差连接进行联结，再以50％的概率4网络结构是深度学习发展过程中的重要驱动力之一，比如VGGNet、ResNet、Inception、[0003]NAS算法通过自动设计网络结构，可以使得对不熟悉专业领域知识的个人来说也搜索时间和计算资源的成本通常都很昂贵。现有的大多数NAS算法主要依靠验证数据集来构更易于计算和部署。例如，NSGA-Net考虑了网络的分类精度和计算复杂度之间的权衡。LEMONADE同时考虑了网络的分类性能如何使用较少的计算资源来快速搜索出综合性能优越的网路结构以适用现实世界中的实[0006]为了解决目前针对图像分类技术中的神经网络结构自动模块包括blocknum个组卷积RegBlock；且每个RegUnit模块以50％的概率包含SENet模5[0008]RegUnit模块的个数unitnum、组卷积RegBlock的个数blocknum以及组卷积RegBlock中每个分支中第二层卷积层的宽度widt[0012]步骤五：达到进化的最大代数Max_gen后选择个体的适应度KN值最小的网络结构[0015]可选的，所述步骤四中根据当前进化的代数G所属阶段选择不同的指标进行环境6[0032]将待分类的图像输入神经网络结构中，通过标准卷积层提取待分类的图像的特的每个组卷积RegBlock的输出由每个分支的输出特征和残差连接进行联结，再以50％的[0037]图1是本发明一个实施例中公开的基于三阶段进化算法的低成本神经网络结构搜索方法中设计的网络整体结构与所提出的新型网络块RegBl[0038]图2是本发明一个实施例中公开的基于三阶段进化算法的低成本神经网络结构搜索方法搜索出的针对图像分类问题的网络结构的[0040]图4是本发明一个实施例中公开的本申请提出的组卷积与现有技术中标准卷积的[0041]图5A是本发明一个实施例中公开的原始网络结构与没有SENet模块的网络架构之[0042]图5B是本发明一个实施例中公开的原始网络结构与没有SENet模块的网络架构之7[0043]图6是本发明一个实施例中公开的CIFAR-10数据集上LoNAS搜索空间中KN与网络[0044]图7是在进化长度相同(进化代数设置为50)的前提下，第二阶段的长度对测试精[0049]步骤1.给定关于RegBlock[0051]RegBlock的输出由每个分支的输出特征和残差连接进行联结，以50％的概率外[0054]步骤3.使用CIFAR-10和CIFAR-100数据集计算每个网络结构的NTK的条件数KN作[0062]在图像分类数据集CIFAR-10和CIFAR-100上进行实验可以证明，本发明可以仅消8[0065]步骤1.给定关于RegBlock[0067]RegBlock的输出由每个分支的输出特征和残差连接进行联结，以50％的概率外计参数量较少的高精度网络结构。因此本申请在ResNetBlock的基础上设计了一种称为大降低了网络的计算量和参数数量。RegBlock中第三层的池化层用于将输入数据的大小入特征大小减半的池化层数量不能大于否则输入数据的大小会减少到小于1从对于每个个体，通过10次独立试验获得个体和去除所有SENet模块的个体的测试精度和参9成。RegBlock是基于一组可以自动搜索的参数以随机的方式生成的，即RegBlocks的个数blocknum随机生成。而每个RegUnit中包含RegBlock的个数也是随机生成，每个Reg[0080]每个个体的网络结构的末端放置一个全局平均池化层，用于将RegUnits输出的[0081]步骤3.使用CIFAR-10和CIFAR-100数据集计算每个网络结构的NTK的条件数KN作代表网络架构的更高分类准确度性能。NTK可用于表征无限宽或有限宽深度网络架构的梯imagenetinfourgpuhours:Atheoreticallyinspiredperspective,”inInternationalConferenceonLearningRepresentations,2020中的记载，利用CIFAR-10和CIFAR-100数据集计算每个网络结构的N[0083]具体的，根据CIFAR-10和CIFAR-100数据集中的每组训练图像及对应的标签得到[0086]本申请通过随机生成200网络结构个体，测试他们的KN与网络结构测试准确率之N与网络结构的精度性能呈负相关。[0089]步骤4.种群进入进化，使用锦标赛选择选择个体变异操作生成新的网络结构个[0094]在第一阶段(0<G≤G1)和第三阶段(G2<G≤Max_gen)中，环境选择imageclassifierarchitecturesearch,”inProceedingsoftheAAAIConferenceonArtificialIntelligence,vol.33,no.01,2019,pp.4780–4789.)中提出了一个基于个生成一个新的RegBlock，并且在RegBlock11之后插入。在[0111]本申请设计了一种名为RegBlock的新型网络块，它结合了组计了基于一组RegBlock的简单变异算子来保持种群[0115]为验证本申请提供的搜索方法能够在短时间内搜索高精度、低参数量的网络结[0117]CIFAR-10和CIFAR-100下面一栏代表的是各个方法得到的网络结构进行图像分类详细可参考/cloud-ken/p/8456878.html网页上[0122]ResNet-110方法可参考“K.He,X.Zhang,S.Ren,andJ.Sun.Deepresiduallearningforimagerecognition.InProceedingsoftheIEEEconferenceonG.Shakhnarovich.Fractalnet:Ultra‑deepneuralnetworkswithoutresiduals.arXivMaaten,andK.Q.Weinberger.Denselyconnectedconvolutionalnetworks.InProceedingsoftheIEEEconferenceoncomputervisionandpattern[0125]WideResNet方法可参考“S.ZagoruykoandN.Komodakis.WideresidualAggregatedresidualtransformationsfordeepneuralnetworks.InProceedings[0127]HierarchicalEvolution方法可参考“H.Liu,K.Simonyan,O.Vinyals,C.Fernando,andK.Kavukcuoglu.Hierarchicalrepresentationsforefficientarchitecturesearch.InInternationalConferenceonLearningRepresentations,Q.V.Le.Regularizedevolutionforimageclassifierarchitecturesearch.InProceedingsoftheAAAIConferenceonArtificialIntelligence,volume33,pagestransferablearchitecturesforscalableimagerecognition.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,pages8697–[0130]DARTS方法可参考“H.Liu,K.Simonyan,andY.Yang.Darts:Differentiablearchitecturesearch.InInternationalConferenceonLearningRepresentations,J.Dean.Efficientneuralarchitecturesearchviaparameterssharing.InInternationalConferenceo[0132]Block‑QNN‑S方法可参考“Z.Zhong,J.Yan,W.WuL.Liu.Practicalblock‑wiseneuralnetworkarchitecturegeneration.InProceedingsoftheIEEEconferenceoncomputervisionandpatternonimagenetinfourgpuhours:Atheoreticallyinspiredperspective.In[0134]Large-scaleEvolution方法可参考“E.Real,S.Moore,A.Selle,S.Saxena,Y.L.Suematsu,J.Tan,Q.V.Le,andA.Kurakin.Large-scaleevolutionofimageclassifiers.InInternationalConferenceonMachineLearning,pages2902–cnnarchitecturedesignbasedonblocks.IEEEtransactionsonneuralnetworksdesigningcnnarchitecturesusingthegeneticalgorithmforimage[0137]NAS方法可参考“B.ZophandQ.V.Le.NeuralarchitecturesearchwithandW.Banzhaf.Nsga-net:neuralarchitecturesearchusingmulti-objectivegeneticalgorithm.InProceedingsoftheGeneticandEvolutionaryComputation结构EX-Net在CIFAR-10和CIFAR-100的测试精度和参数数量远优于FractalNet和Wide而EX-Net在CIFAR-10和CIFAR-100上获得的参数量仅为DenseNet(k＝24)的6.9％和逊他们，但EX-Ne