CN114881225B 输变电巡检模型网络结构搜索方法、系统及存储介质 （中国电力科学研究院有限公司）

2采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选在所述根据输变电巡检任务需求设计多个基础网络模块将大面积卷积核优化成Depthwise卷积与Point所述采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选进行num次训练过程，完成num次训练过程后，得到隐藏层内各基础网络判断各基础网络模块与连接模块的权重系数Wki-Wt*tki是否大于上限阈值max，若有则判断各基础网络模块与连接模块的权重系数Wki-Wt*tki是否小于下限阈值min，若有则返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中都只剪枝各隐藏层间的连接层，将剩余隐藏层进行拼接后得到的网变电巡检任务需求设计多个基础网络模块的步骤还包括计算基础网络模块将单个基础网络模块重复堆叠后进行测试再取平均值，不同模块的堆叠次数保持一在所选取的测试设备上对堆叠好的待测试基础网络模3ti=Ti/(n*m)根据基础网络模块评分表，指定模块数量，按照评分的高低顺序分别连接层位于每两个相邻隐藏层间，连接层的结构与其接入隐藏层的最后一层网络一所述基础网络模块设计模块采用以下原则设计基础4将大面积卷积核优化成Depthwise卷积与Point所述目标网络结构训练模块获得输变电巡检模型目标网络结构进行num次训练过程，完成num次训练过程后，得到隐藏层内各基础网络判断各基础网络模块与连接模块的权重系数Wki-Wt*tki是否大于上限阈值max，若有则判断各基础网络模块与连接模块的权重系数Wki-Wt*tki是否小于下限阈值min，若有则返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中都只剪枝各隐藏层间的连接层，将剩余隐藏层进行拼接后得到的网络模块设计模块按以下步骤对基础网络模块的将单个基础网络模块重复堆叠后进行测试再取平均值，不同模块的堆叠次数保持一在所选取的测试设备上对堆叠好的待测试基础网络模ti=Ti/(n*m)络模块设计模块构建基础网络模块评分表，所述基础网络模块评分表内容包括网络层号、络构建模块选择基础网络模块的方法包括以下几种方法根据基础网络模块评分表，指定模块数量，按照评分的高低顺序分别5连接层位于每两个相邻隐藏层间，连接层的结构与其接入隐藏层的最后一层网络一6[0002]随着计算机与GPU(graphicsprocessingunit)算力的增长，深度神经网络不仅orientedgradient,HOG)特征(Dalal和Triggs,2005)和尺度不变特征变换(scale-invariantfeaturetransform,SIFT)特征(Lowe,2004)等。这些性能的提升主要是由于深度神经网络能够提取很高层次的特征，从而得到对输入数据更加有效的表示。除此之外，[0003]深度神经网络之所以能取得很好的性能，很大程度上是由于优秀的网络结构设(在目标任务上的精度)超过人类专家设计的网络结构。通常神经网络结构搜索可以分成3个维度：搜索空间(searchspace)、搜索策略(searchstrategy)和性能评估策略7检任务需求设计多个基础网络模块的步骤还包括计算基础网络模块根据输变电巡检任务需求设计多个基础网络模块的步骤还包括构建基础网络模块评分表，8[0033]隐藏层的数量等于网络层数，隐藏层结构由选取的基础结构模块以并联方式组[0044]返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中9设计模块按以下步骤对基础网络模块的算力消超网络构建模块选择基础网络模块的方法包括以下几种方法中的任意[0071]隐藏层的数量等于网络层数，隐藏层结构由选取的基础结构模块以并联方式组[0082]返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中[0086]本发明能够便捷高效的自动设计性能优异的神经网络结构，避免过多的算力消[0095]请参阅图1，本发明提出的一种输变电巡检模型网络结构搜索方法主要包括基础[0108]5)使用Depthwise卷积与Pointwise卷积。将大面积卷积核优化成Depthwise卷积[0109]6)使用全局平均池化代替全连接层。使用全局平均池化来代替隐藏层的全连接[0111]电力输变电巡检业务涉及大量边缘侧模型推理场景，边[0113]边缘侧计算设备与云端服务器设备架构差异较大，为了更好的反映实际计算消[0117]在选取的测试设备上对堆叠好的待测试模块进行测试，假设ti表示第i类基础网[0134](1)输入层与传统神经网络作用一致，其结构需要根据目标业务和训练样本集进[0135](2)隐藏层的数量即之前确定的网络层数，隐藏层结构是由选取的基础结构模块[0136](3)连接层位于每两个相邻隐藏层间，连接层的结构与其接入隐藏层的最后一层[0140]在一种可能的实施方式中，步骤S3采用剪枝策略对超网络进行训练包含以下步[0141]构建超网络的目的是从每一个隐藏层选择出一个最优Block，将选择出的所有[0148]4)判断各基础网络模块与连接模块的权重系数Wki-Wt*tki是否大于上限阈值max，[0149]5)判断各基础网络模块与连接模块的权重系数Wki-Wt*tki是否小于下限阈值min，[0150]6)返回步骤3)再次进行num次训练过程，并执行步骤4)与步骤5)对应的判断和剪[0158]在一种可能的实施方式中，基础网络模块设计模块1采用以下原则设计基础网络[0170]基础网络模块设计模块1构建基础网络模块评分表，所述基础网络模块评分表内[0173]在一种可能的实施方式中，超网络构建模块2选择基础网络模块的方法包括以下[0179]隐藏层的数量等于网络层数，隐藏层结构由选取的基础结构模块以并联方式组[0184]在一种可能的实施方式中，目标网络结构训练模块3获得输变电巡检模型目标网[0190]返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中算机程序被处理器执行时实现如实施例1所述的输变电巡检模述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0197]这些计算机程序指令也可存储在能引