【《基于半监督特征融合的小样本学习网络方法在故障诊断中应用的实验验证案例》6200字】

基于半监督特征融合的小样本学习网络方法在故障诊断中应用的实验验证案例目录TOC\o"1-3"\h\u8462基于半监督特征融合的小样本学习网络方法在故障诊断中应用的实验验证案例 [41]。该方法先用源域中数据对特征提取网络与特征压缩网络分别进行有监督的预训练。之后连接特征提取网络，度量学习网络形成诊断网络。 其中，上述方法中提到的特征提取网络均为针对数据整体的卷积神经网络，训练方式为有监督学习。实验环境本文方法是通过pytorch搭建的。实验中的进行网络训练设备是NvidiaGTX1080Ti。所有网络选择的优化器均为Adam优化器，学习率为默认值0.001。预训练中batch大小设为40，迭代次数为60。情景训练中，每次训练任务数量为10，测试时任务数量为600，支撑集每类数量为1或5，问询集每类数量为5或25。实验结果针对故障检测中两大难题：难以获得足够有监督数据，数据不平衡。本文设计了三个实验，分别为不同工作条件，新的故障类别，不同工作条件且有新的故障类别下的方法性能。不同工作条件下方法性能本任务是致力于探讨实际工业系统中工作条件经常切换，难以获得部分工作条件下大量标签数据的情况。相应的，我们可以获得一定量的其他工作条件下的标签数据。本实验中我们将探讨负载作为工作条件改变时，方法的性能表现。此时我们考虑所有的故障类型，包括内圈故障、外圈故障、滚动球故障各3种直径情况与健康状态共10个类别。其中外圈故障位置均为6点钟方向。本实验我们考虑所有低负载为源域，高负载为目标域的情况，场景安排如表所示。表STYLEREF1\s3.SEQ表\*ARABIC\s12不同工作条件场景示意图源域目标域源域目标域Load0Load1Load1Load2Load0Load2Load1Load3Load0Load3Load2Load3 其中，我们选择源域各类有标签数据数量为40，无标签数据数量比例为4的one-shot训练方式，得到结果如表3.3所示。 可见在不同工作条件下，我们提出的方法都能保持95%之上的准确率，在多数情况超过了比对基准方法。其中在源域负载0与目标域负载2的小样本学习中，尽管我们提出的算法准确率低于FSM3方法，但也达到了96.73%，相差仅为0.77%，并且大幅高于除FSM3外的其他方法。表STYLEREF1\s3.SEQ表\*ARABIC\s13不同工作条件实验结果0→10→20→31→21→32→3Finetunel40.7541.2140.6246.1545.2243.61FinetuneW67.1966.8163.2569.7866.8469.54FeatureKnn85.6184.8080.4489.3087.5888.53FeatureKnnpro88.6089.0686.5690.5988.5289.42DSMN88.0287.2389.3190.1389.9094.86DSMNpre89.0491.6789.2791.2494.2794.60FSM393.9997.5094.9998.7295.9898.81Ours97.0696.7396.4899.9596.1499.48 此外，我们讨论源域中各类别有标签数据数量对实验性能的影响。我们选择了源域为负载0，目标域为负载3的工作条件，此时选择不同的源域中各类别有标签数据数量，与相同的无标签数据数量比例4。结果如表3.4，图3.4所示。 可见在无标签数据数量比例一定时，有标签数据数量的增加能够改善网络的性能。由于使用了更多的标签数据，结果是符合经验的。我们还注意到随着有标签数据数量的增加，我们提出的方法性能增加缓慢，这是因为此时网络预测的准确度已经足够高，接近了网络精度的上限。为此，我们聚焦于有标签数据数量少的时候，我们提出的方法的表现。我们收集有标签数据数量为10，无标签数据数量比例为4，即数量为40时的性能表现，并与其他方法进行对比。结果表3.5所示，在有标签数据量小时，我们提出的方法精度远高于其他方法，证明了方法在有限数据情况下的性能。表STYLEREF1\s3.SEQ表\*ARABIC\s14负载0至负载3时源域数据对性能的影响10204080Finetunel35.6937.5440.6248.16FinetuneW52.9760.4363.2571.87FeatureKnn78.8679.4280.4493.41FeatureKnnpro66.4580.9986.5688.06DSMN70.8673.9289.3193.51DSMNpre67.9577.0489.2794.19FSM375.0694.494.9996.26Ours91.6895.8496.4897.62图STYLEREF1\s3.SEQ图\*ARABIC\s14负载0至负载3时源域数据对性能的影响表STYLEREF1\s3.SEQ表\*ARABIC\s15有标签数据数量小时性能0→10→20→31→21→32→3Finetunel32.1734.0635.6934.4632.6928.15FinetuneW53.0553.1252.9748.5348.0649.75FeatureKnn70.6970.8978.8669.6169.2774.19FeatureKnnpro74.9374.7066.4569.6069.0874.97DSMN67.3366.3870.8678.8778.1780.24DSMNpre74.0369.1267.9560.3765.0273.44FSM381.5774.0475.0677.6880.6881.15Ours88.9695.9991.6898.8295.6295.47新类型条件下方法性能本任务致力于探讨实际工业系统中数据不平衡，知识难以跨域学习的情况。本实验中目标域出现新的类别，以此模拟在检测新类型方面的影响。此时我们将故障类型分别考虑，选择内圈故障、外圈故障、滚动球故障之一的3种直径情况为目标域，其余两种故障类型与健康状态形成源域（其中外圈故障位置均为6点钟方向），二者工作在同一负载下。此外，考虑到不同直径的外圈故障在相同故障位置的信号表现差异较大，如图3.5所示，我们也将其考虑为新类型。即源域是直径为0.007英寸的外圈故障的三个方向数据，目标域是直径为0.021英寸的外圈故障的三个方向数据。具体场景安排如表所3.6示.图STYLEREF1\s3.SEQ图\*ARABIC\s15不同直径的外圈故障表现表STYLEREF1\s3.SEQ表\*ARABIC\s16新类型下的场景安排源域目标域健康状态，内圈故障，外圈故障滚动球故障健康状态，滚动球故障，外圈故障内圈故障健康状态，滚动球故障，内圈故障外圈故障外圈故障(直径0.007)外圈故障(直径0.021)我们选择负载为0的工作条件，源域各类有标签数据数量为40，无标签数据数量比例为4的one-shot训练方式，结果如表3.7所示。表STYLEREF1\s3.SEQ表\*ARABIC\s17新类型中方法的表现滚动球故障内圈故障外圈故障外圈故障（直径）Finetunel49.9386.7078.8368.57FinetuneW53.5092.1694.0356.33FeatureKnn53.3695.1399.0069.23FeatureKnnpro56.3099.2099.0272.13DSMN50.6392.4799.9458.20DSMNpre54.9387.4099.6579.37FSM363.1095.6099.8976.83Ours68.3099.8099.3394.47结果显示，新的类型自身特点对方法的影响很大，滚动球故障在所有方法中准确均低于70%，而内圈故障与外圈故障在所有方法中准确率都很高。其中我们提出的网络在四种场景下都有较好的表现，滚动球故障场景中我们的方法虽然性能不佳，但仍高于其他方法。内圈故障与外圈故障中，方法尽管不是所有方法中精度最高的，仍能达到99%的精度。尤其是不同直径的外圈故障，我们提出的方法精度不仅超过90%，更是远超其他方法。 因此，我们的方法经过实验验证了其对新故障类型的处理能力。 此外，我们选择不同直径的外圈故障场景来探讨源域中未标签数据数量比例对网络性能的影响。结果如图3.6所示，显示了4种有标签数据数量在5种比例下的数据情况。可得，在有标签数据量少的情况下，无标签数据的增多能够较明显的提高网络的性能，但是在有标签数据量多的情况下，无标签数据的增多给模型的提高并不明显，并且当无标签数据数量超过一定范围时，网络精度几乎没有提高。 之后我们继续在负载0工作条件下，对新类型中不同直径的外圈故障场景进行one-shot与5-shot的比对。对此我们选择有标签数据数量为40与80（改变K后，问询集数据数量也随之改变，而在5-shot中需要问询集数据数量为25，因此有标签数据要足够多），无标签数据数量比例为4的数据进行对比，得到结果如表3.8所示。结果显示可得在5-shot中所有方法的性能要好于one-shot方式，这符合模型的一般规律，因为5-shot中使用到的数据更多表STYLEREF1\s3.SEQ表\*ARABIC\s18one-shot与5-shot比较外圈故障（直径）4080One-shot5-shotOne-shot5-shotFinetunel68.5772.9870.9075.36FinetuneW56.3374.7057.8779.21FeatureKnn69.2379.9466.7673.12FeatureKnnpro72.1375.4763.4072.70DSMN58.2060.5766.9383.83DSMNpre79.3783.8480.8389.06FSM376.8384.2158.8688.86Ours94.4797.3696.0398.10图STYLEREF1\s3.SEQ图\*ARABIC\s16无标签数据数目比例对方法性能的影响不同工作条件新类型下方法性能本任务是将前两种实验任务面对的部分工作条件下数据与新类别中数据难以大量获得的情况进行了结合。本实验中我们将探讨负载作为工作条件与不同故障类型表示新类型均改变时，方法的性能表现。本实验我们在新类型下任务场景的基础上改变目标域的负载，实现工作条件与故障类型的变化。故障类型的划分仍是内圈故障、外圈故障、滚动球故障与不同直径外圈故障四种并将目标域负载更改为负载3，场景设计如表3.9所示。表STYLEREF1\s3.SEQ表\*ARABIC\s19不同工作条件与新类型的场景设计源域目标域Load0健康状态，内圈故障，外圈故障Load3滚动球故障Load0健康状态，滚动球故障，外圈故障Load3内圈故障Load0健康状态，滚动球故障，内圈故障Load3外圈故障Load0外圈故障(直径0.007)Load3外圈故障(直径0.021)我们选择有标签数据数量为40，无标签数据数量为160的数据进行实验。最后结果见表3.10。结果显示我们提出的方法在不同工作条件与新类型中有着较好的性能表现。在内圈故障与不同直径的外圈故障中，网络的准确度大幅领先其他方法。滚动球故障也在所有方法中领先，外圈故障虽然不是所有方法中准确度最高的算法，但其精度也达到了99%。因此，我们认为我们提出的算法对不同工作条件下新的故障类型有较好的准确度。将表3.7与表3.10中数据进行比较，我们发现同样类型的滚动球故障与内圈故障在不同的负载工作条件下，其检测准确率有较大差异，可见不同工作条件下，同一故障类型的故障数据可能出现较大的差异。对于本场景，我们使用少量的有标签数据与大量的有标签数据进行对比。我们选择类别中有标签数据数量为10，无标签数据数量比例为4与类别中有标签数据数量为80，无标签数据数量比例为6两种数据集进行测试。为便于表示，两种情况记为L与M。得到结果如表3.11。可以发现在有标签数据量少时，网络的性能十分优秀，准确率一般领先10%。但在数据量增多时，网络性能上的领先会被缩小。而且通过结合表3.10发现，滚动球故障的准确率在数据量增加时，其准确率为81.33%，88.10%，94.10%逐渐增加，而在内圈故障中，网络准确率的变化是85.87%，98.67%，98.67%准确率在达到一定范围时不仅不会继续增加，反而会受到噪声等影响使准确率出现微小减小。表STYLEREF1\s3.SEQ表\*ARABIC\s110不同工作条件与新类型场景中方法性能滚动球故障内圈故障外圈故障外圈故障(直径)Finetunel75.8082.3077.3061.07FinetuneW80.3381.4688.5749.97FeatureKnn84.2383.2096.4664.53FeatureKnnpro77.1789.3399.9872.10DSMN82.2358.7799.8352.37DSMNpre85.9779.8099.9972.63FSM381.4778.6099.9966.53Ours88.1098.6799.9382.93因此，故障诊断中并不是增加有标签数据与无标签数据就能线性提高性能。表STYLEREF1\s3.SEQ表\*ARABIC\s111不同数据数量对性能的影响滚动球故障内圈故障外圈故障外圈(直径)LMLMLMLMFinetunel54.0073.8362.0074.8367.9774.6739.2058.27FinetuneW51.3681.8756.6786.9066.8787.6040.8650.17FeatureKnn61.2392.6372.1082.6086.3097.6039.9354.67FeatureKnnp62.3780.3762.6790.9090.5098.8752.9353.30DSMN68.6390.5378.8381.6795.0399.8360.1779.00DSMNpre65.3685.9766.5798.8392.9099.7362.1778.90FSM366.7091.5066.6788.2398.8799.4761.3768.07Ours81.3394.1085.8798.1399.3399.9785.3787.53消融实验为了判断半监督学习与特征融合网络分别对小样本学习网络的性能影响，我们选择了四种方法进行比对，基于半监督特征融合的小样本学习网络，基于特征融合的小样本学习网络，基于半监督的小样本学习网络，小样本学习网络。此外，我们选择了有监督数据量为10，无监督数据量为40的三种场景，改变负载的全故障类型，同一负载下的球故障与其他故障，改变负载的不同直径的外圈故障，并将其记为场景1，场景2，场景3。实验结果如表3.12所示，半监督学习与特征融合均能提升网络性能，而且特征融合网络对网络性能影响更大。表STYLEREF1\s3.SEQ表\*ARABIC\s112三种场景下的消融实验场景1场景2场景3无半监督+无特征融合75.0658.2061.37无特征融合82.3161.3373.97无半监督87.7364.8882.80Ours91.6865.6485.37参数调整针对特征提取网络中关键片段的数量选择问题，我们通过选择3个，4个，5个关键片段与不使用关键片段的四种特征提取网