基于Meta-Network的变压器红外图像分类方法研究

1、    基于meta-network的变压器红外图像分类方法研究    裴泽林 赵曙光 王建强摘 要：随着我国经济发展，高质量的稳定电网变得愈发重要。在负荷逐渐加重的今天，对变压器红外图像识别已经成为一个研究方向。本文基于小样本学习方法meta-network（即metanet），通过微调原理改进vgg19模型，使用gru替代传统的lstm网络，增强了小样本情况下的学习效果。其中数据集包含600多张变压器红外图像，初步实现了减少训练样本与时间、提升分类器性能的效果。关键词：图像识别;小样本学习;微调原理;meta-network;gru;lstm1 绪论

2、社会经济不断发展，巨大的用电压力下，为了满足供电需求，各种变电站中的变压器将长时间处于大负荷乃至超负荷运转中，极易出现非人为故障，这将对电力系统安全平稳运行产生巨大挑战。因此，寻找一个可以及时发现故障的方法就显得尤为重要。针对这个问题，传统解决办法是采用定期人工巡检的方案，每隔一段时间人工检查变压器运行状态，从20世纪50年代开始，国内企业就开始对电力设备进行定期检修维护。20世纪末开始，随着传感器技术的不断发展，电力设备红外检测方法开始在我国得到广泛应用，利用红外图像识别技术对电力设备温度异常的故障进行诊断也逐渐成为行业内研究的新方向。本文所研究的红外图像故障主要针对变压器温度异常，这是变压

3、器最基本，最常见的故障类型。传统的图像识别通常采用监督学习方法，基于大量的训练数据对模型进行训练，例如k近邻算法（k-nearest neighbors，knn），决策树（decision trees）等;或者使用无监督学习方法，例如经典的k均值聚类算法。监督学习准确度较高，但是需要大量有标签的样本。无监督学习不需要有标签样本，但是在识别准确度上不尽如人意。为了在两者间取得平衡，我们采用小样本学习方法，基于meta-network方法通过少量已知样本对新输入的图像进行分类识别。我们首先搭建meta-network模型，分析该模型在变压器红外图像识别上的不足之处，然后对训练过程中表征函数的学习进

4、行优化改进，并增加新的卷积层，实现对红外图像的有效分类识别。2 meta-network介绍meta-network作为一种基于元学习思想的小样本学习方法，与mann类似，meta-network也包含有一个外部的memory部分，并且相似于其他元学习，也是对一系列的task进行训练，具有泛化的体系结构和训练流程，通过相对较少的参数迭代步数，快速自适应各种不同的任务。如图1所示，meta-network的训练包括三个主要过程：（1）meta information的获取;（2）fast weight的生成和slow weight的优化;（3）base learner和meta learner的

5、共同執行。在这之中，训练数据主要包含两种数据集即支持集（support setx1i，y1ini=1）与训练集（train setxi，yili=1）。权重上，分为样例级别的权重（example-level weight）和任务级别的权重（task-level weight），分别基于两个层级的学习：基学习器和元学习器。其中元学习器由动态表征函数u和两个快速权重生成函数m和d构成。具体学习过程下所示：（1）首先从support set中采样t例样本，随后通过动态表征学习函数u（权重参数为慢速权重q）对这些样本预测，计算得到表征损失和梯度信息即元信息。（2）根据计算所得梯度值，通过快速权重fas

6、t-weight生成函数d（权重参数为g）生成任务级别的快速权重q*。（3）使用基学习器b（权重参数为样例级别的slow-weight w）对support set中n个样本进行预测，计算得到任务损失以及梯度（元信息）。（4）通过快速权重生成函数m（权重参数为z），利用得到的梯度生成样例级别快速权重w*。（5）将每个样本分别对应的快速权重值存储到外部储存器m里，通过u计算得到对应的表征r*i并放入外部索引r中。（6）使用u计算得到训练集中l个样本各自相对的ri。（7）计算表征ri与r中放入的表征r*i之间余弦距离，使用sofmax函数转化成权重，再将m里面的值进行加权求和，得到当前样本的快速权

7、重值。（8）通过基学习器b对train set中的样本进行预测，并得到任务损失，将所有的任务损失losstask累加得到训练损失losstrain，同时利用梯度下降更新网络中参数=w，q，z，g。3 改进措施传统的meta-network学习器中u和b采用卷积神经网络结构，学习器m和d使用的是lstm网络。首先，针对学习器u和b所用的卷积神经网络，我们选取vgg19作为初始模型，并通过微调原理，在不改变模型池化层和卷积层的情况下增加全连接层参数个数，通过support set中的样本进行训练，生成自己的模型文件，以便模型更加贴合任务需要，提高识别精度。学习器m、d所采用的lstm作为一种改进后

8、的循环神经网络，可以通过门结构（sigmoid神经网络层和一个元素级相乘）选择性添加或删除信息，通过绕过单元记住更长时间步骤的方法，一定程度上减轻了梯度消失的问题，在图像处理上得到了广泛的应用。但是，本质上lsmt仍然是一个循环网络，记忆通道容纳量有限，不支持过长的输入序列，而且不能并行训练，计算量过大，过于消耗时间。因此，我们使用gru替代lstm网络。gru也是循环神经网络的一种，不同的是，使用同一个门控z就可以进行遗忘和选择记忆操作，相比lstm减少了一个门控，参数也更少，在相同的功能下计算能力和时间成本上更加出色。4 实验结果及分析关于实验，设置参数为：迭代次数num_epoch=50

9、，初始学习率为0.03，批数量为4，改进后的network训练过程中train loss损失值变化曲线和准确度变化曲线如图2所示。如下图3所示是输入测试图像，原图与灰度化处理后图像对比。训练集一共480余张图片，测试集120张图片，随机测试无标签样本70余个，共计36个温度故障变压器红外图片和23个无故障变压器红外图片分类正确，准确度达到约84%。5 结论本文基于network模型提出了一种变压器红外图像识别分类方法，首先对vgg19网络进行微调，以便模型更加适合我们的识别训练。随后使用gru网络替代lsmt网络，以便得到更好的计算能力和更快的反应速度，最后的准确度变化曲线表明该方法有不错的应

10、用效果和应用前景。红外图像识别分类在电力系统维护中有着独特的作用，未来可以对所用卷积神经网络进行改进，使用泛化能力更强、运算量更小的inception、faster-rcn等模型，进一步提升整体运算速度和准确度。参考文献：1chung j，gulcehre c，cho k，et al.empirical evaluation of gated recurrent neural networks on sequence modelingj.arxiv：neural and evolutionary computing，2014.2張越，夏鸿斌.基于弱监督预训练cnn模型的情感分析方法j.计算机工程与应用，2018，54（13）：27-33.3段萌，王功鹏，牛常勇.基于卷