【《基于半监督特征融合小样本学习的故障诊断方法分析》6800字】

[35]，即在数据中随机选择区域，将区域内数据置零。 如图所示2.17，第一张图片是原始数据，其余图片为Cutout数目不同的强增强数据。 本文，Cutout数目可选范围为3，4，5，概率均为33.3%。图STYLEREF1\s2.SEQ图\*ARABIC\s116弱增强示意图图STYLEREF1\s2.SEQ图\*ARABIC\s117强增强示意图小样本学习基于度量学习小样本学习在经过源域数据的训练后，我们已经得到了一个能提取有效特征的特征提取网络。现在我们判断特征之间的距离就可以得到问询集中数据的概率分布。不过，特征提取网络得到的是高维特征，判断距离难度较大，且直接对特征进行判断效果并不理想。因此我们使用度量学习网络将高维数据降维，得到特征向量，就可以判断二者之间距离。我们选择两个输入输出数据大小的不变卷积层与全连接层作为度量学习网络。任务中问询集中数据与支撑集中所有数据比较距离，最后输出其概率分布，在softmax回归后即可得到网络给出的预测值。图STYLEREF1\s2.SEQ图\*ARABIC\s118目标域数据的分类网络训练过程经过半监督学习网络的训练，我们得到了一个能够输出有效区分的特征的特征提取网络。特征提取网络连接度量学习网络就可以完成小样本学习，结构如图2.16所示。对来自源域的任务TS，其支撑集为SS={xS1S,yS1S,…,(xSnS,ySnS)}与问询集为y其中权重w[,]是通过度量特征之间距离与softmax函数计算的。w 其中距离函数d[,]为二者间的余弦距离，−τ是使距离值小的预测权重更大的参数。 有yQi与yL总损失函数为L通过优化损失函数即求得最终网络。 此时对来自目标域的数据，通过公式2-4即可得到问询集中数据的预测标签。Adam优化经常的使用的基本的最小批随机梯度下降法在很多机器学习方法中都有应用，但是其需要在训练开始前选择合适的学习率来避免其陷入次优解。而故障诊断的中的跨域学习却需要优化算法能有更好的鲁棒性。在此基础上，学界又提出了AdaGrad与RMSProp两种能够自适应调整学习参数的方法。他们都通过对累计梯度的使用，自动适应不同的学习率并调整步长。结合上述两种方法的优点，Adam得以面世，其通过梯度的两种矩估计算步长。具体方法如下。对t时刻的参数为θt的损失函数L(g 其动量mt+1m 计算移动平均数，根据参数更新v 同时为了避免训练开始时参数的偏差对优化的影响，对参数进行修正、mv 最后根据学习率α，损失函数参数调整如下θ 可见，Adam优化方法能从梯度的均值与梯度平方法均值自适应调节步长。该方法由于其实现简单且收敛稳定的优点被我们采用。算法代码方法总体训练流程如算法1所示。算法1：半监督特征融合小样本学习网络学习过程需要：源域数据XS，半监督数据XU，半监督训练训练最小批大小m，训练步骤nfe，学习率αf1:初始化半监督学习网络θ2:fort=1,…,nfe3:从XS与XU中采样得到批数据X4:θFE5:endfor6:固定θFE并初始化度量学习网络参数7:for