《人工神经网络设计 》 课件 第9、10章 深度信念网络；人工神经网络应用

人工神经网络设计09深度信念网络目录受限玻尔兹曼机01020304深度信念网络深度信念网络设计应用实例：手写数字识别01受限玻尔兹曼机2006年，GeoffreyHinton教授及其同事提出了深度信念网络（DeepBeliefNetworks,DBN）。为了保证深层网络的训练效果，Hinton教授等人借助受限玻尔兹曼机（RestrictedBoltzmannMachine，RBM）对网络进行逐层预训练，解决了深层神经网络训练问题，对神经网络的发展产生了深远的影响。

基本概念3玻尔兹曼机（BoltzmannMachine，BM）是一种由二值随机神经元构成的全连接对称神经网络，包括可见层和隐含层:可见层:用于表示输入数据的特征；隐含层:用于捕捉数据中的隐含特征。

玻尔兹曼机图9-1玻尔兹曼机结构401受限玻尔兹曼机

玻尔兹曼机与受限玻尔兹曼机神经元相互连接构成全连接概率图模型，通过调整神经元间之的连接权值实现似然值最大化，从而建立数据的分布关系。在玻尔兹曼机中，可见单元和隐含单元之间的连接是任意的。例如，任意两个隐含单元可能存在连接，任意两个可见单元也可能存在连接。因此，易导致玻尔兹曼机计算复杂性较高。受限玻尔兹曼机（RestrictedBoltzmannMachine,RBM）应运而生。501受限玻尔兹曼机受限玻尔兹曼机是一个二分图结构的无向图模型。与玻尔兹曼机类似，受限玻尔兹曼机也由可见层与隐含层组成。不同的是，受限玻尔兹曼机的可见单元或者隐含单元之间没有连接。受限玻尔兹曼机也被称为簧风琴（Harmonium）

受限玻尔兹曼机图9-2受限玻尔兹曼机结构601受限玻尔兹曼机假设一个受限玻尔兹曼机由Kv个可见单元和Kh个隐含单元组成，定义如下：（1）可见单元的状态构成随机向量。

受限玻尔兹曼机（2）隐含单元的状态构成随机向量

。（4）偏置和，其中ai为可见单元vi的偏置，bj为可见单元hj的偏置。（3）权值矩阵

，其中元素wij为可见单元vi和隐含单元hj之间边的权值。受限玻尔兹曼机结构相对简单，可以根据具体任务的需求选择使用有监督或者无监督的学习方式，广泛应用于降维、分类、回归、协同过滤、特征学习以及主题建模等领域。701受限玻尔兹曼机

能量最小化类似于Hopfield神经网络，玻尔兹曼机和受限玻尔兹曼机会为网络定义一个“能量函数”，当能量达到最小值时，网络在达到最优状态。受限玻尔兹曼机的能量函数定义如下：若将能量函数写成向量形式，则表示如下：801受限玻尔兹曼机

能量最小化基于能量函数，可以得到联合概率分布：通过对概率函数求极值，可以得到网络的最佳参数。式中，Z为配分函数，也称归一化因子：901受限玻尔兹曼机

深度信念网络02深度信念网络然而，配分函数的计算涉及对所有可能状态的指数级求和，这在大多数情况下是不可行的。因此，马尔可夫链蒙特卡洛（MarkovChainMonteCarlo,MCMC）和对比散度（ContrastiveDivergence,CD）等方法被提出，以有效训练受限玻尔兹曼机。误差反向传播算法是训练神经网络的常用方法，但随着神经网络隐含层数量的增加，误差在从输出层逐层前向传递的过程中会逐渐减小，甚至趋近于零，导致梯度消失，从而使神经网络得不到有效训练。因此，在深度信念网络提出之前，深度神经网络一度被认为难以训练。10

深度信念网络结构深度信念网络是一种由多个堆叠的概率生成模型（通常是受限玻尔兹曼机）组成的深层神经网络。最底层为可见单元，其他层为隐含单元。图9-3深度信念网络结构图1102深度信念网络

深度信念网络结构深度信念网络可以看作由多个受限玻尔兹曼机堆叠而成。因此，可以以受限玻尔兹曼机的训练方式为基础，通过逐层训练的方式对深度信念网络参数进行调整，这种方法被称为贪心逐层训练算法。图9-4深度信念网络逐层训练过程1202深度信念网络

深度信念网络结构①将输入向量v和第一个隐含层h1作为受限玻尔兹曼机的可见层和隐含层，通过训练获得当前受限玻尔兹曼机的最佳参数，包括可见层和隐含层之间的权值、各神经元的偏置等。②将当前的隐含层h1作为下一层的可见层，将隐含层h2作为新的受限玻尔兹曼机，训练该受限玻尔兹曼机并获得参数，即第二个受限玻尔兹曼机被训练为模拟第一个受限玻尔兹曼机的隐含单元定义的分布。③将当前的隐含层h2作为可见层，将隐含层h3作为新的受限玻尔兹曼机隐含层，依次逐层训练。在各受限玻尔兹曼机具体训练过程中，可以采用对比散度算法进行训练。1302深度信念网络上述逐层进行训练的过程被称作预训练过程。在完成预训练后，可以执行反向传播算法对网络就进行微调，以进一步提高神经网络性能。训练完成的深度信念网络则可直接用作生成模型。除用作生成模型外，深度信念网络是否可以产生特定的输出？通常情况下，可以在深度信念网络的顶层增加一层全连接层（Softmax层或线性层）来产生特点的输出。全连接层实现将逐层提取的特征映射到目标输出，例如在分类任务中的类别标签，或者在回归任务中的数值预测。由于在无监督预训练过程中已经获得了权值和偏置的初始值，因此可以通过反向传播算法进一步优化全连接层的参数，从而提高模型在特定任务中的性能。1402深度信念网络

对比散度算法对比散度（ContrastiveDivergence，CD）算法是训练受限玻尔兹曼机的标准方法，该算法通过从数据样本中进行采样，显著降低了传统吉布斯采样所需的计算成本。CD算法的效率提升主要得益于其独特的采样过程：它使用一个训练样本作为可见单元的初始状态，随后通过交替对可见单元和隐含单元进行吉布斯采样来更新状态。与传统的吉布斯采样不同，CD算法通常只需进行有限步数的采样（即CD-k算法），而无需等待采样过程完全收敛，从而大幅减少了计算量。1502深度信念网络

对比散度算法受限玻尔兹曼机是一种由随机二值神经元组成的网络结构，每个神经元在要么处于激活状态（1），要么处于非激活状态（0）。在受限玻尔兹曼机中，单元状态的激活概率是通过能量函数来定义的。能量函数的值越低，表示对应的状态在概率分布中越有可能被实现。为了从能量函数映射到概率分布，引入了逻辑函数，它能够将能量函数的输出转换为概率形式，即计算给定输入条件下某个单元处于激活状态的概率。逻辑函数的应用，使得受限玻尔兹曼机能够以概率的形式表达单元状态的激活可能性，为模型的训练和预测提供了数学基础。1602深度信念网络

对比散度算法单步对比散度的步骤大致如下：（1）根据训练集中的样本设置可见单元vi，计算隐含单元hj的条件概率。在这一概率分布中通过随机采样获取隐含单元hj

。式中，

为逻辑函数：1702深度信念网络

对比散度算法（2）计算vi与hj的外积vihjT，此结果称为正梯度。在CD算法中，使用梯度上升算法更新权值，根据受限玻尔兹曼机能量函数，权值的梯度可以通过对能量函数求偏导得到：式中，偏置项与权值无关，所以忽略。1802深度信念网络

对比散度算法由于直接计算期望梯度通常是非常困难的，它涉及到对所有可能状态的求和。为了使CD算法能够以较低的计算成本有效地训练受限玻尔兹曼机，算法通过采样来估计期望值。CD算法权值wij用下式近似地更新：

为学习率，;表示使用真实数据计算的近似期望梯度（正梯度）;

表示使用重构数据计算的近似期望梯度（负梯度）。1902深度信念网络

对比散度算法（3）根据hj，计算可见单元

的条件概率。并从中随机采样获取一个重构的可见单元

，根据计算隐含单元的条件概率。之后，根据这一概率分布获取隐含单元。这个更新方法的一个特点是仅仅使用了局部信息。即虽然优化目标是整个网络的能量最低，但是每个权值的更新只依赖于它连接的相关变量的状态。2002深度信念网络

对比散度算法（4）同理，计算与的外积，此结果称为负梯度。（5）使用正梯度和负梯度的差值并结合学习率，调整更新权值和偏置。2102深度信念网络

深度信念网络设计DBN通过层层递进的方式提取样本数据中的特征，层数是影响网络性能的关键因素。层数的增加可以提高网络的学习能力，进而提升泛化性能。然而，网络层数的增加必然会导致计算成本的增加，且过多的层数也会导致过拟合。因此，如何选择合适的层数也是深度信念网络研究和应用中的难点问题。在目前的DBN研究中，多是凭借经验或者试凑法确定网络的层数，难以快速确定网络最佳结构。2203深度信念网络设计

深度信念网络设计本章介绍一种基于重构误差的网络层数（深度）确定方法。引入两条引理作为理论依据：RBM的训练精度随着深度的增加而提高。在DBN网络训练中，通过无监督学习，网络权值已处于较好的位置，而基于梯度下降的反向运算只是在某些小的方面调节权值。2303深度信念网络设计

深度信念网络设计在DBN训练过程中，每个RBM被训练为捕捉输入数据的不同层次特征，每一层RBM都会尝试对上一层的输出进行重构。通过最小化重构误差，RBM可以学习到如何最好地表示数据。输入数据首先通过RBM的可见层转化为隐含层表示，然后再从隐含层重构出可见层数据。重构误差就是评估这个重构的可见层与原始输入的相似度，可由下式评价：2403深度信念网络设计

深度信念网络设计训练规则如下所示：如果此时网络通过训练，重构误差达到目标，即低于预设值，则开始进行梯度反向微调；否则，令网络深度自动加一，继续进行训练。2503深度信念网络设计

应用实例：手写数字识别MNIST据库是一个包含手写数字的大型数据库，由60,000张训练图像和10,000张测试图像组成。每张图像都是从0到9的手写数字的扫描，这些数字是由美国人口普查局的雇员和美国高中生手写的，不同的书写风格会带来图像上的差异。由于这个数据集已经被广泛应用于各种模式识别技术的测试，因此被公认为是评估新算法性能的标准基准。在MNIST学习任务的基本版本中，由于没有提供几何知识，也没有进行特殊的预处理或数据增强，即使像素点的位置被随机且固定地排列，这也不会显著影响学习算法的性能。2604应用实例：手写数字识别

应用实例：手写数字识别本节实验从数据库中取5000个样本用于无监督学习，从中取出1000个样本用于有监督学习，再取1000个样本进行测试。数据库所含样本为0∼9的阿拉伯数字，均为手写体，每个图像为28×28的像素，5000个样本分为50批次，每批100个样本，因此每层的神经元默认100个，重构误差条件设定正确率为99%以上。2704应用实例：手写数字识别

应用实例：手写数字识别网络在隐含层层数达到3时停止增加，此时通过测试1000个样本，产生了75处错误，原图像和产生的错误分别如图所示。通过分析图中数字，可进一步统计出网络容易在判断什么样的图像、提取什么样的特征时产生的错误，这有助于对进一步提高网络性能提供参考。图9-5三隐含层DBN的分类错误图9-6三隐含层DBN的错误识别2804应用实例：手写数字识别

应用实例：手写数字识别网络产生的权值图像如图所示。这两张图显示的是DBN训练到的权值具象化，可以看出，随着深度的增加，网络权值愈加抽象，表明网络识别的信息是对这些抽象数据的组合（实际上这种组合具有稀疏特性）。图9-7底层RBM训练权值图9-8顶层RBM训练权值2904应用实例：手写数字识别

应用实例：手写数字识别网络重构误差曲线如图。从中可以看出重构误差在每一层RBM中呈下降趋势。图9-9底层RBM重构误差图9-10顶层RBM重构误差3004应用实例：手写数字识别

应用实例：手写数字识别将三个RBM的重构误差放到同一张图里，如图所示。图中红色的曲线为最后一层RBM重构误差，此时已经达到预设的目标。由于每增加一层RBM，其初始权值是随机给定的，故开始的重构误差处于较高的状态。而如何更有效地利用先验知识对其后一层RBM初始化，也值得进一步研究，这将有助于提高网络性能。图9-11各个RBM重构误差3104应用实例：手写数字识别人工神经网络设计10人工神经网络应用目录基于人工神经网络的污染物排放智能检测0102基于人工神经网络的污染治理过程智能控制01基于人工神经网络的污染物排放智能检测随着全球生态文明建设的推进，污染治理过程的智能化成为重要发展方向。而人工神经网络在这一领域展现出巨大潜力，在污染物排放智能检测方面应用广泛。

城市污水处理系统智能检测城市污水处理系统分析：城市污水处理系统是一个复杂的、大滞后的生物化学反应过程数据收集与预处理：数据预处理是构建可靠模型最关键的基础。人工神经网络设计：径向基函数（RBF）神经网络因其良好的非线性映射能力而被广泛应用。图10-1人工神经网络结构示意图3401基于人工神经网络的污染物排放智能检测城市污水处理利用微生物的凝聚、吸附和氧化功能分解去除污水中的有机污染物，是一个复杂的、大滞后的生物化学反应过程。活性污泥工艺是当前城市污水处理中较成熟且应用最为广泛的一种生物处理工艺，下图为活性污泥法城市污水处理工艺流程。

城市污水处理系统图10-2城市污水处理工艺流程图3501基于人工神经网络的污染物排放智能检测活性污泥工艺基本流程由初沉池、曝气池、二沉池、曝气设备以及回流设备组成。

城市污水处理系统工艺分析初沉池：清除污水中的部分有机物和悬浮物，降低后续处理工艺的负荷。曝气池：作为工艺核心部分，主要进行好氧和厌氧生物降解，使污水得到净化。二沉池：实现出水泥水分离以及活性污泥浓缩和回流。曝气设备：向曝气池供氧，使池内有机物与溶解氧充分接触。回流设备：将二沉池中的部分污泥送回曝气池，保持污泥活性的同时提高系统稳定性。生化需氧量(Biochemicaloxygendemand,BOD)和总磷(TotalPhosphorus,TP)是反映出水水质的关键指标参数，对其进行实时检测至关重要。3601基于人工神经网络的污染物排放智能检测基于获取到的北京某污水厂(活性污泥处理工艺)2014年的数据，对其进行预处理后按每天一组进行采样，得到365组数据。将365组数据分为三组：183组作为训练样本；91组作为验证样本；91组作为测试样本。

数据收集与预处理表10-1软测量模型候选变量注：固体悬浮物浓度(Suspendedsolids,SS)；污泥沉降比(Settlingvelocity,SV)；混合悬浮固体浓度(Mixedliquidsuspendedsolid,MLSS)；溶解氧(Dissolvedoxygen,DO)。3701基于人工神经网络的污染物排放智能检测由于城市污水处理过程呈现出高度的非线性特征，经典的线性相关性分析方法难以有效变量间的相关性，因此引入互信息对参数变量间的相关性进行度量。

数据收集与预处理给定两个随机变量X和Y，假定其边缘概率分布和联合概率分布分别为p(x)，p(y)和p(x,y)，则两变量间的互信息I(X;Y)可计算如下：(10-1)选取进水TP、出水H4-N、曝气池SV、出水油类、曝气池MLSS、进水油类作为出水BOD的特征变量(蓝色框)；选取出水NH4-N、出水温度、进水TP、曝气池DO、出水油类以及进水油类作为出水TP的特征变量(红色框)。3801基于人工神经网络的污染物排放智能检测本节将选用RBF神经网络分别构建面向城市污水处理过程的出水BOD智能检测模型和出水TP智能检测模型。

人工神经网络设计图10-3RBF建模策略图39

网络结构对神经网络性能的影响当采用RBF神经网络建立出水BOD智能检测模型时，随着神经元数量增加到11个，网络的验证误差和测试误差不再降低反而出现了上升，因此最终隐含层选用10个神经元。当采用RBF神经网络建立出水TP智能检测模型时，神经元数量增加到6个后，网络的验证误差和测试误差不再降低反而增加，因此最终选用隐含层选用5个神经元。隐含层神经元数量的增加会提高网络的学习精度，但过大的网络结构又会导致网络出现过拟合。因此在神经网络实际应用中，应根据具体任务选择合适的网络结构，以平衡网络的学习能力和泛化能力。图10-4出水BOD智能检测网络性能与结构间的关系图10-5出水TP智能检测网络性能与结构间的关系01基于人工神经网络的污染物排放智能检测40

出水BOD智能检测效果上图分别给出了用于出水BOD检测的RBF神经网络输出与期望输出的拟合效果以及相应的拟合误差。从图中可以看出，网络实际输出值能够较好拟合期望输出值，拟合误差在±1之间。图10-6出水BOD智能检测效果图图10-7出水BOD智能检测误差图01基于人工神经网络的污染物排放智能检测41

出水TP智能检测效果上图分别给出了用于出水TP检测的RBF神经网络输出与期望输出的拟合效果以及相应的拟合误差。从图中可以看出，网络实际输出值同样能够较好拟合期望输出值，拟合误差在±0.2之间。图10-8出水TP智能检测效果图图10-9出水TP智能检测误差图01基于人工神经网络的污染物排放智能检测42

实验结论本实例结果表明，应用增长型RBF神经网络能够实现对城市污水处理出水BOD和出水TP的精准检测。尽管用于构建RBF神经网络的训练样本数一样，但具体任务不同导致所建立的网络隐含层神经元数并不相同，说明通过结构的自组织设计，网络能够根据待解决任务自适应确定最佳网络结构。01基于人工神经网络的污染物排放智能检测4302基于人工神经网络的污染治理过程智能控制污染治理不仅需要对污染物排放进行有效检测，更需要对治理过程进行精准控制；人工神经网络在污染治理过程智能控制方面也有着重要的应用，特别是针对城市固废焚烧过程中的炉膛温度控制。

城市固废焚烧过程智能控制城市固废焚烧系统分析：城市固废焚烧过程是一个具有强非线性、不确定性等特点的复杂动态系统。模型预测控制框架：被控对象过程模型、炉膛温度预测模型、反馈校正和滚动优化。人工神经网络设计：基于BP神经网络的过程模型建立和基于LSTM预测模型的建立。控制律求解过程：目标函数的定义、梯度下降法的应用以及控制性能实验结果。44城市固废焚烧(Municipalsolidwasteincineration，MSWI)过程通过热解、氧化、燃烧将有机物转化为无机物并使得固废中的有毒有害物质被消除，实现城市固废减容减量的同时获得可再生能源，兼具减量化、无害化、资源化等特点。下图为城市固废焚烧工艺流程图

城市固废焚烧系统02基于人工神经网络的污染治理过程智能控制图10-10城市固废焚烧过程工艺流程图45

城市固废焚烧系统工艺分析MSWI过程主要包括固废存储、固废燃烧、余热发电、烟气净化等工艺环节，由固废池、焚烧炉、非选择性催化还原器、余热锅炉、汽轮机、发电机、脱酸塔、选择性催化还原器、布袋除尘器等装置组成。固废发酵：发酵，脱水固废焚烧：干燥、燃烧、燃烬余热交换蒸汽发电烟气净化：脱酸、除尘烟气排放：检测、排放MSW燃烧热能燃烧烟气特性强非线性MSWI过程出现非线性行为强耦合性各个子系统之间相互作用多变量性MSWI过程中多个变量影响稳定运行不确定性MSWI过程存在不确定工况02基于人工神经网络的污染治理过程智能控制46

炉膛温度控制意义为保证城市固废充分焚烧的同时减少污染物的排放，将炉膛温度控制在850℃以上

炉膛温度控制已成为制约我国固废焚烧厂运营和发展的主要瓶颈，能否将其稳定快速控制在合理范围之内是固废焚烧厂高效稳定运行的关键。炉温范围温度过低低温腐蚀生成二噁英焚烧不充分温度过高高温结渣NOx排放增加炉体负担增加02基于人工神经网络的污染治理过程智能控制47

模型预测控制架构模型预测控制(Modelpredictivecontrol,MPC)是一种基于特定范围内目标函数优化的先进控制策略，可以弥补时变、干扰等引起的不确定性，能够处理有约束、多变量、多目标的控制问题，已成功应用于城市固废焚烧过程控制中，并表现出了良好的效果。MPC在每个采样时刻，利用预测模型预测未来一段时间内系统的动态行为，通过在线求解一个非线性优化问题得到控制序列，进而实现对控制变量的优化控制。02基于人工神经网络的污染治理过程智能控制图10-11MPC控制策略结构图48

模型预测控制架构在本实例中，通过利用人工神经网络设计DMPC策略，从而实现城市固废焚烧过程中炉膛温度的智能控制。本节介绍的面向城市固废焚烧过程中炉膛温度的DMPC策略由四部分组成，包括基于BP神经网络的被控对象过程模型、基于LSTM神经网络的炉膛温度预测模型、反馈校正和滚动优化。其中，为炉膛温度参考值，是经反馈校正后的预测值，是经优化后的控制量，是被控对象输出值，是预测模型输出值。02基于人工神经网络的污染治理过程智能控制图10-12DMPC控制策略结构图49

输入变量选取02基于人工神经网络的污染治理过程智能控制MSWI过程变量众多，为准确评估变量间的相关性关系以选取输入变量，选取皮尔逊相关系数(Pearsoncorrelationcoefficient,PCC)分析，结合现场专家的实际工程经验，筛选出与炉膛温度相关性较高的工艺变量。其中，PCC分析是目前数学统计领域内常用的相关性分析方法，相关系数的取值范围为[-1,1]，绝对值越大，则相关性越强，可由如下公式表示：其中，和分别是变量x和y的平均值。表10-2候选输入变量(10-2)50

输入变量选取02基于人工神经网络的污染治理过程智能控制表10-3部分工艺变量与炉膛温度的PCC值由相关性分析结果可知，一次风量、二次风量、一次风温、进料器速度和炉排速度的PCC值较高，与炉膛温度的相关性较强，即上述变量变化时对于炉膛温度变化的影响较大。上述工艺变量与炉膛温度的PCC值如下表所示：因此，将模型输入变量确定为以上5个51

输入变量选取02基于人工神经网络的污染治理过程智能控制进而，采用准则（即拉依达准则）进行异常值筛选与剔除。其原理为：假设数据集由条样本组成，每条样本由个变量组成。计算每一特征变量（这里以第m个特征变量为例）的标准差，如下并对所有样本的特征变量进行判断，当满足下式时则被标记为异常样本：依次重复上述过程，直到判断完所有特征变量，最后一次性删除全部异常样本。最终，经异常值剔除后，获得炉膛温度模型的建模数据集，共包含2629条样本。按照2:1:1的比例，将数据集分别划分为训练集、验证集和测试集。(10-3)(10-4)52

基于BP神经网络的过程模型建立02基于人工神经网络的污染治理过程智能控制由于MSWI过程固有的强非线性和不确定性，导致其燃烧过程机理难以用数学式表达，因此采用人工神经网络建立MSWI过程模型。由于反向传播（Backpropagation,BP）神经网络具有较强的非线性建模和逼近能力，因此被广泛应用于工业过程建模中。在本节中，选用含一层隐含层BP神经网络构建MSWI过程模型。本节中，我们设置输入层神经元个数为5，输出层神经元个数为1，根据第3章给出的经验公式确定隐含层神经元个数为9，采用梯度下降法作为优化算法，通过误差的反向传播调整网络参数，最大迭代次数为3000，收敛误差为0.001，学习率为0.1。图10-13BPNN结构图53

基于BP神经网络的过程模型建立02基于人工神经网络的污染治理过程智能控制本节提出的基于BP神经网络的炉膛温度过程模型的拟合效果如下图所示，分别为训练集、验证集和测试集的拟合曲线。图10-14(a)训练集拟合曲线图10-14(b)验证集拟合曲线图10-14(c)测试集拟合曲线上图分别给出了三个数据集下BP神经网络的拟合效果。从图中可以看出，网络实际输出值同样能够较好拟合期望输出值。54

基于BP神经网络的过程模型建立02基于人工神经网络的污染治理过程智能控制为了进一步验证BP神经网络过程模型对炉膛温度动态变化的拟合性能，本节采用均方根误差(Rootmeansquareerror,RMSE)、平均绝对误差(Meanabsoluteerror,MAE)和决定系数(R-squared,R2)作为评价指标，进行拟合性能评估。上述评价指标的定义如下，且BP神经网络过程模型对炉膛温度动态变化的拟合性能如表10-4所示：表10-4BPNN模型性能指标由表10-4可知，BP神经网络炉膛温度过程模型的RMSE和MAE均处于较低水平，且R2接近1。由此可知，该模型对炉膛温度动态变化的拟合精度较高。因此，本节提出的BP神经网络炉膛温度过程模型能够精确反映MSWI过程炉膛温度的动态特性。(10-5)(10-6)(10-7)55

基于LSTM神经网络的预测模型建立02基于人工神经网络的污染治理过程智能控制建立炉膛温度预测模型所采用的数据集，是在建立被控对象的数据集的基础上，将过去时刻的各工艺变量和炉膛温度作为特征变量。在众多数据驱动模型中，长短期记忆(Longshort-termmemory,LSTM)网络可用内部存储单元上的门控机制来学习输入序列数据之间的长期依赖关系，对时间序列数据具有较好的预测性能。因此，在本实例中选取LSTM网络用于建立MSWI过程中炉膛温度的预测模型。本节中，我们根据本书第3章给出的经验公式确定LSTM网络隐含层神经元个数为15，采用基于误差的反向传播算法调整网络参数，设置迭代训练次数为100，学习率为0.05。图10-15LSTM网络结构图56

基于LSTM神经网络的预测模型建立02基于人工神经网络的污染治理过程智能控制本节提出的基于LSTM的炉膛温度预测模型的预测效果如图所示，图中(a)、(b)和(c)分别为训练集、验证集和测试集的拟合曲线。图10-16(a)训练集拟合曲线图10-16(b)验证集拟合曲线图10-16(c)训练集拟合曲线上图分别给出了三个数据集下LSTM神经网络的拟合效果。从图中可以看出，网络实际输出值同样能够较好拟合期望输出值。57

基于LSTM神经网络的预测模型建立02基于人工神经网络的污染治理过程智能控制此外，为进一步验证LSTM神经网络过程模型对炉膛温度动态变化的拟合性能，本节采用RMSE、MAE和R2作为评价指标，进行拟合性能评估。LSTM神经网络过程模型对炉膛温度动态变化的拟合性能如表10-5所示：表10-5LSTM预测模型性能指标由表10-5可知，LSTM预测模型的R