【《基于降噪变分自编码器的污水处理过程故障监测分析》7800字】

基于降噪变分自编码器的污水处理过程故障监测分析目录TOC\o"1-3"\h\u13294基于降噪变分自编码器的污水处理过程故障监测分析 157771.1引言 1273281.2变分自编码器原理 2189771.1.1自动编码器 2265331.1.2变分自编码器原理 3117271.3降噪变分自编码器过程监测模型 5189741.3.1监控统计量与控制限 620391.3.2基于降噪变分自编码器的污水处理过程故障监测 7144741.4仿真结果及实验分析 9166791.4.1污水处理基准仿真模型简介 936511.4.2仿真实验及结果分析 121.1引言污水处理是缓解水资源短缺和提高水资源重复利用率的有效方法。污水处理过程是一个复杂的具有非线性、不确定性和动态性的物理和生化反应过程，还极易受到季节、天气、流量等诸多因素的干扰和影响，因此，污水处理过程中发生微小故障就可能会导致严重的后果。污水处理过程中的故障可能会导致出水水质不达标，从而增加处理那能耗和运行费用，严重事故如爆炸和污水水质严重不达标等甚至会威胁到人的生命安全。为了确保合格的出水水质同时降低因故障导致的二次处理能耗和保障人的生命安全，必须加强对污水处理过程的过程监控。因为污水处理过程中的生化反应过程包含许多复杂的微生物反应，因此污水处理过程的各个变量之间也普遍存在着非线性关系，而且污水处理过程的过程变量往往不严格服从高斯分布，这种数据间的非线性关系和数据分布的不确定性为污水处理过程的过程监测带来了一定的困难。同时，过程数据往往伴随着明显的随机噪声，随机噪声的干扰也会影响到对污水处理过程的监测效果。数据分布的不确定性直接影响到对数据特征的提取，如何有效的处理数据的非线性、不确定性和噪声干扰是一个值得研究的问题。2013年，Kingma和Welling提出了变分自编码器（VariationalAutoencoders，VAE）[43]。Doersch在2016年又对变分自编码器做了更加详细的解释[44]。变分自编码器采用非线性激活函数和变分推理思想来解决数据的非线性和不确定性问题。VAE通过变分推理可以从不确定性数据中提取到确定性的高斯特征。Zhang等提出了一种基于变分自动编码器的过程监测方法，通过变分推理的思想使提取到的特征满足高斯分布来处理数据的不确定性问题，并采用最终的深层特征进行过程监测，取得了不错的效果[45]。受到以上研究的启发，本章提出了一种基于降噪变分自编码器DVAE的污水处理过程的过程监测方法。利用其变分推理的思想使隐含层提取到的特征满足高斯分布来处理数据的不确定性问题，同时利用降噪思想使模型具备一定的鲁棒性，最终利用DVAE模型的隐含层空间构建隐含层特征统计量实现过程监测。1.2变分自编码器原理1.1.1自动编码器自编码器是深度学习中的具有代表性的无监督学习算法，可以从复杂的高维数据中学习到抽象的低位特征表示，其主要由输入层、隐含层和输出层组成，输入层和输出层的节点数保持一致。自编码器包含编码器和解码器两部分。自编码器的输入层和隐含层组成了编码器，它的隐含层和输出层组成了解码器，隐含层即为输入数据的编码表示。编码器通过非线性映射对数据进行压缩获得，而解码器则负责将隐含层特征映射为重构数据。自编码器通过减少输入数据和重构数据之间的误差进行训练，当输入数据和重构数据的误差尽可能小时认为模型达到收敛，此时隐含层也可以较好的表示原始输入数据的大部分信息。自编码器的网络结构如图2-1所示。假设输入数据为，其中表示原始数据的维度(变量数)，表示样本数。AE的编码器将输入层数据通过一个函数编码为低维特征，代表隐含层输出。AE的编码过程可以用以下公式表示： （2-1）其中为编码器权值矩阵，为编码器编码权重，为编码器激活函数,激活函数通常采用Relu函数，以增加网络的非线性学习能力。AE的解码器将隐含层输出通过激活函数解码为输出层的重构数据，该过程可以用下面的公式表示： （2-2）其中为解码器权值矩阵，为解码器编码权重，为解码器激活函数。重构误差被用来衡量输入数据和输出数据的差异来对AE进行训练，该过程可以表示为： （2-3）图2-1自编码器网络结构图Fig.2-1Thestructurediagramofautoencoder1.1.2变分自编码器原理变分自编码器可以对潜在空间的概率分布进行限制。变分自编码器的网络结构如图2-2所示。假设数据集包含的是由未被观测到的连续随机变量的一些随机过程产生的。这个过程包含两步：（1）是由某个先验分布产生的，（2）是由某个条件分布产生的。潜变量和参数是未知的。先验和似然被认为来自参数和的分布的参数族。根据先验和似然，边际似然积分被写作： （2-4）真实的后验分布被表示为： （2-5）从真实后验的计算公式可以看出，求解是不容易的。VAE引入一个识别模型来近似棘手的真实后验。未被观测到的连续随机变量被作为原始数据的潜在表示或编码。识别模型被作为一个概率编码器，被作为一个概率解码器。首先，假定所有数据都是独立同分布的，两个观测不会相互影响。所有数据点的对数边际似然之和组成的对数边际似然可以表示为： （2-6）每个数据点的对数边际似然可以被写作： （2-7）其中，公式的第一项是数据点的真实后验和识别模型的KL散度，第二项是数据点的边际似然的（变分）下界。KL散度（Kullback-Leiblerdivergence）即相对熵（relativeentropy），，是两个概率分布间差异的非对称性度量。在信息理论中，相对熵等价于两个概率分布的信息熵的差值。由于KL散度是非负的，可以得到： （2-8）直接优化下界是不可行的，因此转为优化它的下界，对应的，优化函数可以被写为： （2-9）由以上的公式可知，KL散度越小，识别模型就能够更准确的估计真实后验。为了确保识别模型和真实后验更接近，VAE需要最大化变分下界。图2-2变分自编码器网络结构图Fig.2-2Thestructurediagramofvariationalautoencoder采用蒙特卡罗（MontoCarlo）方法进行采样估计真实后验分布的方法是不可导的，此时无法使用传统的梯度下降法对网络参数进行训练和更新。VAE采用重参数技巧来处理这个问题。对于选定的后验分布，引入一个噪声变量的可微变换来重新参数化随机变量，再参数化后的表示如下： （2-10）公式（2-9）中。假设隐变量的先验服从多元高斯分布，同时后验也服从多元高斯分布。参数和是由编码器计算得到的均值和方差并随着网络的迭代不断更新。当时，重新参数化后的随机变量可以表示为： （2-11）经过以上推导过程，损失函数可以进一步被计算为： （2-12）其中，，，是通过蒙特卡罗方法采样的次数，一般取。是的维度。第一项通过使近似后验去逼近先验来调整KL散度使其尽可能小，同时这也能使编码的，即接近正态分布。第二项是重构误差，目的是输入数据和输出数据尽可能接近。VAE通过这两项来调整优化整个网络的参数。1.3降噪变分自编码器过程监测模型噪声对模型训练的影响不可忽略，但它的影响具有两面性。噪声一方面会影响模型的特征提取能力，另一方面它能够减少训练过程中的过拟合现象，提高模型泛化能力。通常采用两种方法来减少噪声对模型的影响，一种是在训练数据中添加适量的噪声，一种是去除训练数据中的噪声。去除训练数据中的噪声方法因为无法准确识别并删除噪声数据导致该方法的适用性较低，因在训练数据中添加适量的噪声的方法应用更加广泛。在模型中添加噪声来提高模型泛化能力的变分自编码器称为降噪变分自编码器（DenoisingVAE,DVAE）。机器学习领域常用的噪声一般是高斯噪声，这是一种概率密度函数服从正态分布的噪声。添加了噪声之后的数据被称为腐化数据。假设训练数据为，其中表示原始数据的维度(变量数)，表示样本数。数据添加噪声以后变为腐化数据，将腐化数据作为变分自编码器模型的输入数据进行训练，从而学习到更加鲁棒的高斯特征。降噪变分自编码器模型的训练过程如图2-3所示。图2-3中的是降噪变分自编码器模型的输出数据。图2-3降噪变分自编码器结构图Fig.2-3Thestructurediagramofdenoisingvariationalautoencoder降噪变分自编码器的损失函数的定义如下： （2-13）其中，代表KL散度损失，代表重构误差损失。VAE通过最小化目标函数来调整网络参数。1.3.1监控统计量与控制限利用经过腐化后的正常批次的过程数据作为输入对DVAE网络进行训练，构建DVAE模型实现过程监测。由于DVAE学习到了正常批次的特征信息，当批次过程处于正常状态时，DVAE模型可以学习到能够很好地代表正常过程数据的隐含层特征，而对于异常过程批次，DVAE模型构建出的代表异常过程数据的隐含层特征与代表正常过程数据的隐含层特征之间存在较大差异。按照统计学的观点，观测一个生产过程的运行状态是否正常，需要构建一个监测统计量来进行假设检验，依据统计量的值是否超过设定的控制限来判断是否有异常情况的发生。因此可以构建网络隐含层特征统计量来实现过程监测。隐含层特征统计量的具体定义如下： （2-14）其中，和分别是DVAE模型中的采样均值向量和方差的协方差矩阵。核密度估计（Kerneldensityestimation，KDE）是一种典型的非参数估计方法，它可以对数据的概率分布进行估计。假设数据服从某一特定分布，其密度函数可以利用核密度估计来近似拟合，其具体定义如下： （2-15）其中，是数据样本，是核函数，是样本数，是带宽。对于给定的数据样本，其置信水平为时的控制限可表示为： （2-16）1.3.2基于降噪变分自编码器的污水处理过程故障监测基于以上研究内容构建降噪变分自编码器过程监测模型，具体步骤包括离线建模和在线监测两部分。离线建模过程的具体实现步骤如下：Step1:对采集到的污水处理过程数据添加高斯噪声对数据进行腐化，将数据腐化为，并对腐化数据进行归一化处理。归一化公式如下： （2-17）其中，代表第个变量的第个样本值，和分别第个变量的最大值和最小值，最终得到归一化后的数据集，是数据集中的元素；Step2:将归一化后的正常状态的数据集作为降噪变分自编码器模型的输入数据，对降噪变分自编码器模型中的网络权重和偏置进行随机初始化并利用梯度下降算法和反向传播算法对降噪变分自编码器模型进行训练直到模型收敛。Step3:利用从正常状态数据训练的降噪变分自编码器模型中获得的采样均值向量和方差构建网络隐含层特征统计量。Step4:利用KDE算法对统计量的概率分布进行估计，并计算置信水平为99%的控制限。在线监测过程的具体实现步骤如下：Step1:对当前时刻在线采集到的过程数据利用离线建模过程获得的最大值和最小值对过程数据进行归一化得到。Step2:将归一化数据输入到DVAE模型中。利用公式（2-14），根据离线时刻获得的协方差矩阵和在当前时刻获得的均值向量来计算当前时刻的在线统计量。Step3：对每一个样本点，将其对应的离线统计量与控制限进行比较，如果其对应的统计量大于控制限，则说明此时刻的样本点有故障发生并发出警报，否则，返回在线监测步骤Step1继续进行监测，直到整个流程结束。图2-4描述了基于DVAE的污水处理过程的完整的过程监测流程。图2-4基于降噪变分自编码器的过程监测流程图Fig.2-4TheflowchartofprocessmonitoringbasedonDVAE1.4仿真结果及实验分析1.4.1污水处理基准仿真模型简介由于不同地区和不同环境下采用的污水处理工艺可能有所不同，而不同的环境和气候条件也会影响污水处理的效果。为了确保在不同工艺和控制策略下能对模型进行合理有效的评估，本节采用一种国际公认的基准仿真模型来验证过程监测模型的有效性。该基准仿真模型采用国际水协会（InternationalWaterAssociation，IWA）和欧盟科学技术合作组织共同开发的基准仿真模型（BenchmarkSimulationModel1，BSM1）[46]对污水处理过程进行仿真。BSM1模型模拟了一个完整的污水处理厂的污水处理系统，涵盖了污水从输入污水处理厂到净化完成的整个过程。该模型反映了污水处理过程中进水水质成分和出水水质成分之间的关系，合理地模拟了活性污泥法的污水处理工艺的反应机理，同时也能体现微生物生长和底物浓度之间的关系，是研究污水处理过程的重要仿真研究平台。BSM1模型包括硝化和反硝化过程来去除污水中的氨氮。该模型包括5个生化反应池和一个二沉池，其中生化反应池的前两个池是缺氧池（每个反应池体积均为1000m3），进行反硝化反应将硝态氮转化为氨气，后三个池是需氧池（每个反应池体积均为1333m3），进行硝化反应将氨氮转化为硝酸盐。二沉池共分为10层，池高为4m，底面积为1500m2，体积为6000m3。二沉池内只进行物理沉降实现污泥和水的分离而不进行生化反应。BSM1模型的日污水处理量为20000m3。污水在生化反应池内进行反应后，一部分进行内回流再次进入生化反应池进行生化反应，另一部分进入二沉池经过十层处理进行沉淀，最后处理得到的清水从上层流出，大部分污泥从下层排出进行回收处理，部分污泥通过外回流又回到生化反应池作为生化反应微生物基质继续参与生化反应。BSM1模型中的生化反应过程采用了活性污泥1号模型（ASM1）进行模拟。ASM1模型中包含13种水质组分、14个动力学参数和5个化学计量常数。ASM1模型中的13种水质组分的具体描述如表2-1所示。表2-2和2-3展示的是14个动力学参数和5个化学计量常数的细节描述。ASM1通过微分方程来模拟微生物反应和污泥沉降的动力学特性，该模型能够有效模拟活性污泥法的污水处理工艺的反应机理，模型中的参数可以模拟污水处理过程的动态性。表2-2和表2-3中定义的数据都是在15摄氏度的温度设定中获得的。图2-5描述了基于BSM1仿真模型的污水处理过程的工艺流程图。图2-5基于BSM1仿真模型的污水处理过程工艺流程图Fig.2-5TheprocessflowchartofsewagetreatmentprocessbasedonBSM1simulationmodel表2-1ASM1模型中的水质组分Tab.2-1ThewaterqualitycomponentsintheASM1model变量号水质组分定义符号单位1可溶解性不可生物降解性有机物Sg2可溶解性易生物降解性有机物Sg3溶解氧Sg4可溶解性可生物降解性有机氮Sg5氨氮Sg6硝态氮Sg7碱度Smol8缓慢可生物降解性有机物Xg9颗粒状不可生物降解性有机物Xg10生物质衰变产生的颗粒物质Xg11活性自养生物量Xg12活性异养生物量Xg13颗粒状可生物降解性有机氮Xg表2-2ASM1模型中包含的动力学参数Tab.2-2ThekineticparametersincludedintheASM1model参数定义符号参考值单位最大异养菌增长率μ4.0d异养菌衰变率b0.3d缺氧状态水解率校正系数η0.8缺氧状态增长率校正因子η0.8最大异养菌增长率μ0.5d最大比水解速率K3.0g氨化率k0.05d半饱和水解系数K0.1g自养菌衰变率b0.05d半饱和异质增长系数K10.0g半饱和自动增长系数K1.0g半饱和硝酸盐系数K0.5g半饱和自动氧气系数K0.4g半饱和异质氧气系数K0.2g表2-3ASM1模型中包含的化学计量常数Tab.2-3TheStoichiometricconstantsincludedintheASM1model参数定义符号参考值单位异养菌产量Y0.67g自养菌产量Y0.24g微生物基质中含氮比例i0.08g颗粒物中含氮比例i0.06g微生物基质转化为颗粒物的比例f0.08污水处理过程中的故障主要分为两种：过程故障和传感器故障。由于污水处理过程中的各类传感器长期处于酸性环境中，这使得传感器极易受到腐蚀导致其发生故障或损坏，从而导致其测量结果不准确（测量结果出现偏差、漂移、恒定值或一定的增益）。在仿真过程中可以通过对采集到的过程数据施加一定的漂移或者增益来模拟传感器故障。由于污水处理过程极易受到天气、温度、进水流量和污水中的各种毒性物质的影响，进而对活性污泥处理过程中的生化反应产生冲击，导致生化反应过程发生异常，进而产生过程故障。在仿真过程中可以通过修改ASM1模型中的部分动力学参数来模拟过程故障。常见的过程故障主要包括毒性冲击故障和污泥膨胀故障。1.4.2仿真实验及结果分析本节选取BSM1仿真模型在晴天条件下仿真获得的13个过程变量被用于过程监测建模。本文选择的BSM1模型的13个过程变量的详细描述见表2-1。训练数据集每隔15分钟采集一次数据，连续采集14天，共采集到1344个样本。测试数据集包括2个批次过程故障数据集，每个测试数据集代表不同程度的过程故障。故障数据在系统运行第7天通过仿真引入，第8天结束。表2-4给出的是晴天条件下过程故障测试数据集的详细描述。表2-4故障数据集详情Tab.2-4Thedetailsoffaultdataset故障批次故障名称故障参数故障样本点1污泥膨胀故障μ673-8642毒性冲击故障μ673-8641、数据的非高斯性检验图2-6展示了污水处理过程的正常过程数据中的13个主要过程变量的高斯性检验结果。图中蓝色点与红色线越接近说明数据分布越符合高斯分布。从图2-6可以看出，变量2、5、6、8和11近似满足高斯分布，而剩余变量不符合高斯分布。图2-6的检验结果说明污水处理过程变量存在明显的非高斯特征。变分推理的思想使DVAE模型的隐含层特征能够被拟合为高斯分布的特征层，以消除数据非高斯性对过程监控的影响。图2-7的验证结果说明DVAE模型的隐含层z学习到的特征是符合高斯分布的，这说明变分推理的思想在可在一定程度上处理数据的不确定性。图2-6变量高斯分布图Fig.2-6Normalprobabilityplotsofvariables图2-7DVAE隐含层特征高斯分布图Fig.2-7NormalprobabilityplotsofhiddenlayerfeatureofDVAE2、过程监测与结果分析为了验证所提出的DVAE监测模型的有效性，将所提出的模型应用于BSM1模型的故障数据集进行在线监测。选择基于KPCA和KICA的故障监测模型与DVAE模型进行实验对比。本章所提出的DVAE模型参数为13-6-2，基于KPCA和KICA的模型选用高斯核函数进行计算。本章节中基于KDE的控制限的置信水平被设定为99%。为了对三种模型的监测效果进行对比，本文以误报率（Falsealarmrate，FAR）和漏报率（Missingalarmrate，MAR）作为监测效果的评价标准，其具体定义如下： (2-18) (2-19)图2-8、图2-9和图2-10分别是KICA、KPCA及本章所提出的DVAE模型对故障1的在线监测效果图（为了展示更明显的对比效果，对部分模型的监控统计量及控制限取了对数，下文相同）。在线监测效果图中的红色线代表99%置信度的控制限，蓝色线代表过程数据（下文相同）。故障1是一种污泥膨胀故障。三种方法对故障1的误报率和漏报率的对比结果如表2-5所示。从图2-8可以看出，由于KICA提取的含有非高斯信息的独立主元的不稳定性和高斯核参数的影响，KICA模型几乎无法监测到故障1的发生，它的I2和SPE统计量的漏报率分别为97.4%和100%。图2-9的监测效果表明KPCA模型的SPE统计量取得了较好的监测效果，能够及时准确的监测到故障的发生并且没有漏报，而它的T2统计量已经完全失效，漏报率为100%。这是因为KPCA模型未考虑到数据的非高斯性对过程监控的影响，同时，高斯核参数的选取也会影响到KPCA模型的监测效果。从表2-5的结果可以获知，KICA模型的I2和SPE统计量的误报率分别为1.13%和0（KICA的SPE统计量误报率为0的原因是SPE统计量已经完全失效），KPCA模型的T2和SPE统计量的误报率分别为1.22%和1.04%,而DVAE模型的误报率和漏报率分别为0.43%和0，这说明DVAE模型可以在一定程度上处理数据的非线性和非高斯性问题对过程监控带来的影响，具有更优的监测效果。图2-8KICA模型对故障1的监测图Fig.2-8Monitoringchartforfault1byKICA图2-9KPCA模型对故障1的监测图Fig.2-9Monitoringchartforfault1byKPCA图2-10DVAE模型对故障1的监测图