基于深度学习数据驱动软测量发展

1、基于深度学习的数据驱动软基于深度学习的数据驱动软测量的测量的发展发展姓名：赵京辉姓名：赵京辉学号：学号：14721501147215011 1、深度学习介绍、深度学习介绍深度学习（深度学习（DLDL）又称深层神经网络，可理解为含有多个隐藏层的神经）又称深层神经网络，可理解为含有多个隐藏层的神经网络。网络。深度学习算法思想深度学习算法思想第一步是预第一步是预训练阶段。训练阶段。其中深度网络其中深度网络先先通过通过无标签的数据进行无监督无标签的数据进行无监督的预训练，并将训练的权值作为深度网络初始化的权值。的预训练，并将训练的权值作为深度网络初始化的权值。第二步是反向传播第二步是反向传播阶段。运用

2、有标签的数据对整个网络进行有监督的阶段。运用有标签的数据对整个网络进行有监督的反向传播反向传播和梯度下降训练，对初始权值进行微调。和梯度下降训练，对初始权值进行微调。浅层模型和深层模型的对比浅层模型和深层模型的对比深层模型深层模型训练面临的挑战训练面临的挑战虽然几十年前人们就发现了深度网络在理论上的简洁性和较强的表达虽然几十年前人们就发现了深度网络在理论上的简洁性和较强的表达能力，但能力，但在深度学习问世之前在深度学习问世之前，在训练深度网络方面，在训练深度网络方面传统的传统的反向传播反向传播和梯度下降来训练深层模型和梯度下降来训练深层模型时面临诸多困难：时面临诸多困难：1. 1.数据获取问题

3、。数据获取问题。2. 2.局部极值问题。局部极值问题。3. 3.梯度弥散问题。梯度弥散问题。20062006年，年，HintonHinton提出了以自编码为训练方式的逐层贪婪训练算法，为提出了以自编码为训练方式的逐层贪婪训练算法，为深度神经网络带来了希望。深度神经网络带来了希望。自编码器自编码器自编码器利用一组无标签的训练数据自编码器利用一组无标签的训练数据，采用反，采用反向传播算法向传播算法进行无监督的模型训练进行无监督的模型训练。训练目标：输入训练目标：输入= =输出输出自编码器利用自编码器利用训练数据隐含着特定的结构，隐训练数据隐含着特定的结构，隐藏层就会学到藏层就会学到输入输入数据数据

4、间间的相关性的相关性。隐藏层就隐藏层就变成了输入数据的一种抽象的简化表示。变成了输入数据的一种抽象的简化表示。引入一个对应的解码器为了验证隐藏层的特征引入一个对应的解码器为了验证隐藏层的特征确实是输入的一种抽象表示，且没有丢失太多确实是输入的一种抽象表示，且没有丢失太多信息，信息，逐层贪婪算法的主要思路逐层贪婪算法的主要思路1. 1.每次只训练网络中的一层，即首先训练一个只含一个隐藏层的网络。每次只训练网络中的一层，即首先训练一个只含一个隐藏层的网络。2. 2.当这层网络训练结束之后才开始训练一个有两个隐藏层的网络，以当这层网络训练结束之后才开始训练一个有两个隐藏层的网络，以此类推。此类推。3

5、. 3.在每一步中，我们把已经训练好的前在每一步中，我们把已经训练好的前K-1K-1层固定，然后将前层固定，然后将前K-1K-1层的层的输出作为输入，训练第输出作为输入，训练第K K层。层。4. 4.将各层单独训练所得到的权重用来初始化最终的深度网络的权重。将各层单独训练所得到的权重用来初始化最终的深度网络的权重。逐层贪婪的训练方法取得成功要归功于以下几方面：逐层贪婪的训练方法取得成功要归功于以下几方面：1 1、数据获取数据获取。虽然获取有标签数据的代价是昂贵的，但获取大量的无标签数据是容虽然获取有标签数据的代价是昂贵的，但获取大量的无标签数据是容易的。易的。DLDL的潜力在于它能通过使用大量

6、的无标签数据来学习到更好的的潜力在于它能通过使用大量的无标签数据来学习到更好的模型模型2 2、更好的局部极值更好的局部极值当用无标签数据训练完网络后，相比于随机初始化而言，各层初始权当用无标签数据训练完网络后，相比于随机初始化而言，各层初始权重会位于参数空间中较好的位置上重会位于参数空间中较好的位置上。“逐层初始化逐层初始化”的步骤就是让模的步骤就是让模型处于一个较为接近全局最优的位置，从而获得更好的效果。型处于一个较为接近全局最优的位置，从而获得更好的效果。网络微调网络微调使用反向传播法进行微调使用反向传播法进行微调逐层初始化完成后，就可以用有标签的数据，采用反向传播算法对模逐层初始化完成后

7、，就可以用有标签的数据，采用反向传播算法对模型进行有监督的训练。这一步型进行有监督的训练。这一步是是对多层模型整体的精细调整对多层模型整体的精细调整，一般被一般被称作称作“微调微调。微调将栈式自编码神经网络的所有层视为一个模型，这样在每次迭代微调将栈式自编码神经网络的所有层视为一个模型，这样在每次迭代中，网络中所有的权重值都可以被优化。中，网络中所有的权重值都可以被优化。深度神经网络建模步骤：深度神经网络建模步骤：确定网络的体系结构确定网络的体系结构预训练：逐层贪婪训练算法预训练：逐层贪婪训练算法微调：初始化权值，微调：初始化权值，BP算法微调算法微调是否过拟合是否过拟合模型测试模型测试YN结

8、束结束原油蒸馏装置原油蒸馏装置应用应用软测量建模在线质量预测指标：软测量建模在线质量预测指标： 9595重柴油分馏点温度重柴油分馏点温度原油蒸馏装置原油蒸馏装置应用应用在本研究中，数据集包含在本研究中，数据集包含351351个选自于最近一年的工艺操作中的过程个选自于最近一年的工艺操作中的过程/ /质量的样本。该数据集将质量的样本。该数据集将251251个样本分成训练集，另个样本分成训练集，另100100个样本分为测个样本分为测试集。试集。应特别注意，选取的过程变量中应特别注意，选取的过程变量中另有另有17241724个个“无标签无标签”的样本的样本数据数据，这些数据没有这些数据没有质量样本作为

9、回归目标。在这方面，过程变量中质量样本作为回归目标。在这方面，过程变量中17241724个个“无标签无标签”的样本被用于的样本被用于D DL L的无监督训练。的无监督训练。但但这些这些无无监督数据不能被监督数据不能被传统的数据驱动模型利用。传统的数据驱动模型利用。确立模型确立模型通过通过十折十折交叉验证交叉验证，确立，确立用于质量预测用于质量预测的各模型结构：的各模型结构：1. 1.深度神经网络深度神经网络的的网络架构网络架构选择为选择为16-20-16-116-20-16-1。2. 2.单隐层神经网络隐含层的神经元的数量选择为单隐层神经网络隐含层的神经元的数量选择为4545。3. 3.支持向

10、量机的核函数采用最常用的高斯核，正则化参数支持向量机的核函数采用最常用的高斯核，正则化参数C=1.2 C=1.2 =0.01=0.01，r=0.07r=0.07。4. 4.单纯单纯PLSPLS的训练集选定为的训练集选定为1111。5.NNPLS5.NNPLS潜变量的数量选择为潜变量的数量选择为11 11 ，神经元的数量选择为，神经元的数量选择为2 2。与传统的数据与传统的数据建模建模方法方法对比对比1 1、与传统的数据与传统的数据建模建模结构相比，深层结构在近似值方面是更有效和结构相比，深层结构在近似值方面是更有效和有力的。有力的。2 2、传统的浅传统的浅层层经网络和支持向量机没有考虑潜变量经

11、网络和支持向量机没有考虑潜变量; ;但是，深度神经但是，深度神经网络通过预处理网络通过预处理阶段阶段建立潜变量模型，这使其能够充分利用大量的过建立潜变量模型，这使其能够充分利用大量的过程数据。随着越来越多的过程数据被采用，深度神经网络能够提取更程数据。随着越来越多的过程数据被采用，深度神经网络能够提取更多的过程信息，从而有更好的表示能力。多的过程信息，从而有更好的表示能力。深度学习与深度学习与SVMSVM测试误差绝对值分布测试误差绝对值分布1 1、运用运用深度学习深度学习预测误差的预测误差的7575落入在落入在33的范围内，的范围内，而而SVMSVM相对相对应为应为6464的。的。2 2、与与SVMSVM相比深相比深度度学习显著减少较大的估计误差，这表明更好的泛学习显著减少较大的估计误差，这表明更好的泛化能力化能力。o1 Co4 Co3 Co2 C预处理训练的有效性验证预处理训练的有效性验证1 1、逐层贪婪训练算法让模型处于一个较为接近全局最优的位置，从、逐层贪婪训练算法让模型处于一个较为接近全局最优的位置，从而获得更好的效果。而获得更好的效果。2 2、没有先验知识、没有先验知识DLDL模型