CN113408721B 神经网络结构搜索方法、装置、计算机设备和存储介质 （中国科学院信息工程研究所）

过编码网络将离散结构特征编码为连续结构特目标编码网络对应的隐空间确定为目标搜索空2获取用于文本分类或图像分类的神经网络结构作为训练神经将所述训练神经网络结构输入图神经网络中，得到所述训练神经网络将所述离散结构特征输入至编码网络，通过所述编码网络将所述离基于所述训练神经网络结构和所述重构神经网络结构之间的重构损失根据目标搜索策略从所述目标搜索空间进行搜索得到目标结构特征获取所述训练神经网络结构对应的至少一个根据所述训练神经网络结构对应的连续结构特征及各个评价指标预测网络进行预测，分别根据各个所述评价指标标签值和各自对应的评价指标基于所述训练神经网络结构和所述重构神经网络结构之间的重构将搜索到的神经网络结构特征输入已训练的各个目标评价指标预沿最优化所述综合评价值的方向迭代搜索神经网络结构特征，直至得到目标结构特3所述将搜索到的神经网络结构特征输入已训练的各个目标评价指标预测网络将搜索到的神经网络结构特征分别输入目标模型复杂度预测网络和目标泛化性能预所述沿最优化所述综合评价值的方向迭代搜索神经网络结构特征，直至得沿最大化所述综合评价值的方向迭代搜索神经网络结构特征，直至得到目标结构特所述将搜索到的神经网络结构特征输入已训练的各个目标评价指标预测网络将搜索到的神经网络结构特征分别输入目标模型复杂度预测网络和目标泛化性能预所述沿最优化所述综合评价值的方向迭代搜索神经网络结构特征，直至得沿最小化所述综合评价值的方向迭代搜索神经网络结构特征，直至得到目标结构特根据所述训练神经网络结构的隐藏层结构和所述重构神经网络结构的隐藏层结构确根据所述训练神经网络结构的连边和所述重构神经网络结构的连边确定连边的重构所述基于所述隐藏层的重构损失，训练所述图神经网络、所基于所述隐藏层的重构损失及所述连边的重构损失，训练所述图4基于相对熵及所述训练神经网络结构和所述重构神经网训练数据获取模块，用于获取用于文本分类离散编码模块，用于将所述训练神经网络结构连续编码模块，用于将所述离散结构特征输入至编码网络，通训练模块，用于基于所述训练神经网络结构和所述重构神经网络结构之间的重构损搜索模块，用于根据目标搜索策略从所述目标搜索空间进行搜索得到目标结构特征，评价指标输入模块，用于获取所述训练神经网络结构对应的至少一个评价指标标签值；根据所述训练神经网络结构对应的连续结构特征及各个评价指标预测网络进行预测，标签值和各自对应的评价指标训练值，确定各个所述评价指标标签值对应的评价指标损5所述搜索模块还用于将搜索到的神经网络结构特征分别输入目标模型复杂度预测网所述搜索模块还用于将搜索到的神经网络结构特征分别输入目标模型复杂度预测网6理器执行时实现权利要求1至12中任一项所述的方法理器执行时实现权利要求1至12中任一项所述的方法7标解码网络解码所述目标结构特征得到目标神经网络结8到目标编码网络及目标解码网络，将所述目标编码网络对应的隐空间确定为目标搜索空标解码网络解码所述目标结构特征得到目标神经网络结标解码网络解码所述目标结构特征得到目标神经网络结目标解码网络可以准确地将从目标搜索空间中结构特征解码重构得到目标神经网络结构，9因此可以将目标编码网络的隐空间确定为目标搜索空间，由于该目标搜索空间为连续空[0038]图2C为一个实施例中对图2B中的训练神经网络结构进行重构得到的重构神经网[0044]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0046]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”[0047]自然语言处理(NatureLanguageprocessing,NLP)是计算机科学领域与人工智[0059]具体地，神经网络结构可以看成是一个有向无环图(DirectedAcyclicGraph，可以通过图神经网络对神经网络结构进行特征提取。终端在获取到训练神经网络结构后，可以将训练神经网络结构输入图神经网络中，通过图神经网络抽取训练神经网络DAG中的的编码综合使用了所有前置节点(即通过有向边连入当前节点的前置节点)的编码信息(网=U(T3,A(X1,X2))。根据节点类型、前置节点表达给出当前节点表示，使用门控循环单元(gatedrecurrentunit,GRU)拟合该更新函数U。该图神经网络使用训练神经网络结构的网络拓扑结构信息、[0069]在一个具体的实施例中，编码网络可以为变分自编码器(Variationalauto-网络也就越接近训练神经网络。训练停止条件包括但不限于是训练时长超过预设时间阈和重构神经网络结构之间的重构损失还可以是神经网络隐藏层的重构损失和神经网络连标解码网络解码目标结构特征得到目标神经网络结[0085]在一个实施例中，在基于训练神经网络结构和重构神经网络结构之间的重构损率，其对应的模型准确率描述的是该神经网络结构用于图像分类任务时的分类准确程度。该训练神经网络编码至隐空间中得到的连续结构特征及各个评价指标预测网络进行预测，以基于根据该评价指标预测网络对应的期望输出值(即评价指标标签值)与真实输出值(即评价指标训练值)之间的差异确定的评价指标损失去调整该评价指标预测网络的参数，也(即评价指标训练值)之间的差异确定的各个评价指标损失是用于训练得到各自对应的目[0099]步骤212，根据训练神经网络结构对应的连续结构特征及各个评价指标预测网络[0104]具体来说，终端可以基于训练神经网络结构和重构神经网络结构之间的重构损其中五个卷积层自上而下依次为5x5的深度可分离卷积层(depthwiseseparable的平均池化层、一个3x3的最大池化层以及一个输出层，其中四个卷积层自上而下依次为据应用场景的需求选取不同结构的训练神经网络结构，并重构出相应的重构神经网络结[0116]步骤306，将搜索到的神经网络结构特征输入已训练的各个目标评价指标预测网的神经网络结构特征进行预测得到各个目标评价指标预测网络各自对应的评价指标预测该综合评价值用于综合评价搜索到的神经网络可以搜索到模型复杂度低同时泛化性能优良的神经网[0127]在一个实施例中，基于训练神经网络结构和重构神经网i’代表重构神经网络结构第i层的层类型，CE代表用交叉熵(cross-entropy)来衡量训练神经网络结构第i层的层类型与重构神经网络结构第i层的层类型之叉熵(cross-entropy)来衡量训练神经网络结构第i个节点的连边类型与重构神经网络结Leiblerdivergence，KL散度)或信息散度(informationdivergence)，是两个概率分布(probabilitydistribution)间用图神经网络(GNN)对训练神经网络结构进行表示，将训练神经网络的结构信息使用离散形式进行表示，使用变分自编码器(VAE)的编码部分(即编码网络)将神经网络结构的离散预测器(即模型复杂度预测网络)两个回归模型，分别用于拟合神经网络结构连续表达(即[0146]1、获取训练神经网络结构及训练神经网络结构对应的模型复杂度标签值和泛化[0149]4、从连续表达中进行采样，将采样得到的样本点输入至变分自编码器的解码部[0150]5、根据训练神经网络结构的隐藏层结构和重构神经网络结构的隐藏层结构确定[0151]6、根据训练神经网络结构的连边和重构神经网络结构的连边确定连边的重构损[0154]9、根据泛化性能标签值和泛化性能训练值之间的差值的平方，确定泛化性能损[0166]本申请实施例提供的神经网络结构搜索方法在实际应用的整体效果如下表1所[0171]在该应用场景中需要为计算机视觉中的图像分类任务选取合适的深度学习模型重构神经网络结构的隐藏层结构和选取的训练神经网络结构的隐藏层结构确定隐藏层的重构损失，根据训练神经网络结构的连边和重构神经网络结构的连边确定连边的重构损[0174]在该应用场景中需要为自然语言处理中的文本分类任务选取合适的深度学习模重构神经网络结构的隐藏层结构和选取的训练神经网络结构的隐藏层结构确定隐藏层的重构损失，根据训练神经网络结构的连边和重构神经网络结构的连边确定连边的重构损泛化性能预测器及模型复杂度预测器，接下来就可以基于训练好的几个网络进行搜索了，[0183]搜索模块512，用于根据目标搜索策略从目标搜索空间进行搜索得到目标结构特得到重构神经网络结构，最后基于训练神经网络结构和重构神经网络结构之间的重构损个目标评价指标预测网络中，得到各个目标评价指标预测网络各自对应的评价指标预测于将搜索到的神经网络结构特征分别输入目标模型复杂度预测网络和目标泛化性能预测于将搜索到的神经网络结构特征分别输入目标模型复杂度预测网络和目标泛化性能预测[0191]在一个实施例中，训练模块510还用于根据训练神经网络结构的隐藏层结构和重[0192]在一个实施例中，训练模块510还用于根据训练神经网络结构的连边和重构神经器的解码网络：训练模块510还用于基于相对熵及训练神经网络结构和重构神经网络结构[0196]关于神经网络结构搜索装置的具体限定可以参见上文中对于神经网络结构搜索机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、包括非易失性和易失性存储器中