（化学工程专业论文）基于非线性主成分分析与神经网络的参数预测模型.pdf

四川大学硕士学位论文 基于非线性主成分分析与神经网络的参数预测模型 化学工程专业 研究生邱添指导老师王煤教授 化工生产过程中，产品质量指标和生产过程中参数的预测和控制，对于保 证生产系统的连续运行、提高产量和质量起着十分重要的作用。 氢氮比是合成氨生产中一个极为重要的控制指标。针对氢氮比控制大滞后、 非线性和时变性的特点，运用非线性主成分分析方法与神经网络相结合，在大 量实测生产数据的基础上，建立了氢氮比预测模型。建模时，首先对变量即影 响因素进行降维处理，用2 个主成分反映5 个变量所包含的9 4 8 5 的信息。以 降维所得的主成分作为模型输入变量，经过网络训练、回想及数据预测等大量 的比较计算，确定了模型结构，建立了神经网络氢氮比预测模型。与实测氢氮 比相比，预测氢氮比的绝对误差的平均值为0 0 3 5 2 ，平均相对误差为1 6 9 2 6 ， 能够满足对合成塔入口氢氮比进行实时控制的要求，且具有训练速度快、预测 迅速的特点。 磷铵产品的水分含量是重要的质量指标。针对生产过程中影响因素众多， 水分含量较难预测和控制的现状，首先用非线性主成分分析方法处理原始数据 样本以减少变量数目。采用3 个主成分代表9 个变量所包含的9 6 2 9 的信息。 用所得主成分作为输入变量，建立了神经网络磷铵水分预测模型。与磷铵产品 的实测水分相比，模型预测水分的绝对误差的平均值为0 2 0 1 9 ，平均相对误差 为7 1 。 关键词：非线性主成分分析预测模型合成氨氢氮比磷铵产品水分b p 神经网络 四川大学硕士学位论文 p r e d i c t i n gm o d e lo f p a r a m e t e r sb a s e do nn o n l i n e a rp r i n c i p a l c o m p o n e n ta n a l y s i sa n dn e u r a ln e t w o r k g r a d u a t es t u d e n t q i u t i a n s u p e r v i s o rp r o f w a n gm e i i nc h e m i c a lp r o c e s s e s ，t h ep r e d i c t i o na n dc o n t r o lo f p r o d u c tq u a l i t yi n d e x e sa n d p r o d u c t i o np r o c e s sp a r a m e t e r sp l a yav e r yi m p o r t a n tr o l et os t e a d yt h ew h o l ef a c t o r y n m n i n gp r o d u c t i o ns y s t e ma n di n c r e a s et h eo u t p u ta n dq u a l i t y h 2 n 2r a t i oi sa ni m p o r t a n tc o n t r o li n d e xf o ra m m o n i as y n t h e s i s a c c o r d i n gt o t h ec h a r a c t e r i s t i co fh 2 n zr a t i os u c h 舾b i g 1 a 岛n o n - l i n e a ra n dv a r i e t y - b y - t i m e ， n o n - l i n e a rp f i n c i 硼c o m p o n e n ta n a l y s i sa n dt h en e u r a ln e t w o r ka r ec o m b i n e d , t h e p r e d i c t i o nm o d e lo fh j n 2r a t i o i sc o n f i r m e db a s eo nl a r g en u m b e r so ft h e i n e a 删d a t a i nt h ep r o c e s so f m o d e l i n g ，t h ef i r s ts t e pi st od e c r e s et h ed i m e n s i o n s o fv a r i a b l e st h a t 黜t h ei n f l u e n t i a lf a c t o m a n dt h er e s u l ti st h a tt h et w op 血d p a l c o m p o n e n t sh a sc o n t a i n e dt h ei n f o r m a t i o nt h a ti s9 4 8 5 o ft h ei n f o r m a t i o no ft h e f i v ev a r i a b l e s t h ep r i n c i p a lc o m p o n e n t sa r ec h o s e na si n p u tv a r i a b l e so ft h e n e t w o r km o d e l a f t e rp e r f o r m i n gal a r g en u m b e ro fc o m p u t i n ge x p e r i m e n ta n d c o m p m i s o nl i k et r a i n i n g , r e c a u i n ga n dp r e d i c t i n gd a t ab yt h en e t w o r k , t h em o d e l s t r u c t u r eo fi ti sc o n f i r m e d , a n dt h en e b l a ln e t w o r km o d e lf o rp r e d i c t i n g 姚r a t i o i se s t a b l i s h e d t h er e s u l ts h o wt h a tt h ea v e r a g ea b s o l u t ev a l u eo ft h ea b s o l u t ee r r o r b e t w e e nt h ep r e d i c t i n gd a t aa n dt h es u r v e y i n gd a t ai so 0 3 5 2 。a n dt h ea v e r a g e r e l a t i v ee r r o ri s1 6 9 2 6 t h e s e 啪s a r i s f yt h er e q u i r e m e n to f p r e d i c t i n gh 2 n 2r a t i o t i m e l y , a n dh a st r a i n i n gq u i c k l y , p r e d i c t i n gr a p i d l yc h a r a c t e r i s t i c t h ew a t e rc o n t e n to fa m m o n i u mp h o s p h a t ei sa ni m p o r t a n tq u a l i t yi n d e x a c c o r d i n gt ot h ea c t u a l i t yo fa n a m o n i u mp h o s p h a t ep r o d u c t i o ns u c ha sm u l t i 四川大学硕士学位论文 - i n f l u e n t i a lf a c t o r s ，p r e d i c t i n ga n dc o n t r o l l i n gh a r d l yo ft h ew a t e rc o n t e n t ，f i r s t l y , o r i g i n a ld a t ai st r e a t e db yn o n - l i n e a rp r i n c i p a lc o m p o n e n ta n a l y s i st ol o w e rt h e n u m b e ro fv a r i a b l e s t h er e s u ri st h a tt h et h r e ep r i n c i p a lc o m p o n e n t sh a v e c o n t a i n e dt h ei n f o r m a t i o nt h a ti s9 6 2 9 o ft h ei n f o r m a t i o no ft h en i n ev a i l a b l e s t h ep r i n c i p a lc o m p o n e n t sa t ec h o s e na si n p u tv a r i a b l e so ft h en e t w o r km o d e l ，t h e n e n t a ln e t w o r km o d e lf o rp r e d i c t i n gw a t e rc o n t e n ti se s t a b l i s h e d t h er e s u l ts h o w t h a tt h ea v e r a g ea b s o l u t ev a l u eo f t h ea b s o l u t ee r r o rb e t w e e nt h ep r e d i c t i n gd a t aa n d t h es u r v e y i n gd a t ai so 2 0 1 9 a n dt h ea v e r a g er e l a t i v ee l t o ri s7 1 k e y w o r d s tn o n - l i n e a rp r i n c i p a lc o m p o n e n ta n a l y s i s ；p r e d i c t i n gm o d e l ；h g n 2r a t i o o fa n m a o n i as y n t h e s i s ；w a t e rc o n t e n to f a m m o n i u mp h o s p h a t e ；b pn e l , l r a ln e t w o r k i i i 四川大学硕士学位论文 申明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得四川大学或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所作出的任何贡献均已在 论文中做了明确的说明并表示谢意 本学位论文成果是本人在四川大学读书期间在导师指导下取得的，论文成 果归四川大学所有，特此声明。 研究生签名；鱼遗 指导老师签名： 之塞 虫三月翌日 坐丑年由五日 四川大学硕士学位论文 1 前言 1 1 课题研究的目的和意义 化工生产过程中，产品质量指标和工艺参数的控制极为重要。稳定的控制 对于保持生产系统的连续运行、提高产量和质量以及降低消耗起着十分重要的 作用。而一些化工过程的参数和控制指标常常具有时滞性，即根据监测或分析 的结果进行调节之后，往往要滞后一段时间才能看到效果。因此，为了能稳定 实时地进行调节和控制，需要对相关参数或控制指标进行预测，根据预测结果 进行调控，使控制指标或参数能够稳定在最佳值附近。 预测计算的关键在于过程的数学模型，过程模型分为机理模型、经验模型 和混合模型。机理模型是通过分析过程的物理、化学本质和机理，利用质量衡 算、能量衡算、化工热力学、化学反应动力学的基本理论建立的，精确且适用 面广；经验模型则直接以实验或生产实测数据为依据，只着眼于输入一输出关 系，不考虑过程本质，通过对数据进行分析而得到过程输入与输出的函数关系。 经验模型只适用于原装置的操作，外推性差。 化工过程中影响控制参数或质量指标的因素很多，由于化工过程的复杂性， 一些参数随影响因素的变化难以给出严格的数学关系，因此很难用机理模型进 行准确及时的预测调控。而不少企业和生产单位由于比较容易得到大量的实测 数据，建立经验模型较为方便。 通常，经验模型可采用数理统计方法和智能方法建立。数理统计较多地采 用多元回归分析方法，这种方法对于线性或拟线性问题较为容易，但对于多元 非线性问题则误差较大，建模也相对困难。基于人工神经网络的智能模型方法， 适合于非线性以及影响因素较多的过程。用智能模型来预测质量指标或控制参 数，可作为对相关因素进行调节的参考和依据，实现过程的实时稳定控制。 基于人工神经网络的智能模型方法近年来在包括化工在内各个领域得到成 功运用，尤其在非线性和多输出系统的预测、优化等方面显示出强大威力i l 】 神经网络方法具有强大的非线性映射功能，比最小二乘法、样条插值法或其它 曲线拟合法对数据的拟合能力更强，它不会因为一个或几个数据的较大误差而 影响网络的整体预测性能，具有较高的准确性。采用神经网络方法，不需要通 过复杂的物料衡算和能量衡算，甚至不需要知道各相关影响因素的单位和数值 四川大学硕士学位论文 大小，只要有足够多的数据对，就能够有良好的预测能力。 对于影响因素众多的非线性过程，生产现场的实测数据具有量大、非线性 的特点。大量的数据会导致神经网络模型训练速度缓慢，预测效率降低，抗干 扰能力差。因此，需要对实测样本数据进行预处理，去除样本数据间的相关性， 删除其中的部分冗余信息，进而降低数据的维数，减少数据量。主成分分析方 法可用于样本数据的降维，即减少变量的数目。 主成分分析方法和人工神经网络相结合已经在很多领域得到应用。张兴会 等人【2 】将主成分分析方法和神经网络相结合对我国失业问题进行预测。取得了 良好的预测结果。王明宪口】等人将两者结合用于物流中心选址决策中，显示了 较高的精度和效率。聂军【4 】则将其运用于橡胶配方优化中，所得结果与实际规 律相符。王战魁【5 】还将其应用于危险化学品车的识别。袁仲泉【6 】等人将两者结 合建立p t a 溶剂脱水塔软测量模型，其建模精度高，具有实用价值。由此可见， 将传统主成分分析方法和神经网络结合，已经得到较广应用。 然而，传统的主成分分析方法存在主成分承载信息量少和线性降维的缺陷。 对于大量的非线性数据，可采用非线性主成分分析方法来处理，所提取的主成 分能在最大限度保持原有数据重要信息的同时，有效提取数据的线性及非线性 特征，将高维数据映射到低维特征空间，有效降低样本数据的维数，从而简化 网络的拓扑结构，使模型结构更加简单，收敛速度更快。 基于非线性主成分分析的神经网络方法能够解决许多用传统方法难以解决 的问题。由于具有高度的并行结构和并行实现能力，因而能够有较好的容错性 和较快的总体处理能力。将神经网络方法和非线性主成分分析方法相结合，用 于多因素、非线性过程的预测与控制，在编程上易于实现，能够造出很好的人 机交互界。同时在线修改参数方便，运行可靠，预测速度快，抗干扰能力强， 便于工艺控制和管理，可减少操作工的劳动强度，降低企业生产成本，经济效 益显著。 1 2 主要研究内容 本文将基于非线性主成分分析的神经网络模型，用于化工生产过程参数的 预测。以氨合成塔氢氮比的预测m 1 川和磷铵产品中水分的预测为例，通过分析 得到能代表数据信息的主成分，建立以主成分为输入变量的神经网络模型，运 四川大学硕士学位论文 用模型进行参数预测并考察其误差情况。 论文工作的基本思路和步骤如下： ( 1 ) 通过分析生产过程确定影响预测目标的相关因素； ( 2 ) 采集实际生产中测得的样本数据对供建立模型使用； ( 3 ) 运用非线性主成分分析方法对原始数据进行降维，目的是减少变量 数目； ( 4 ) 将主成分作为神经网络的输入参数，建立神经网络并初始化神经网 络的各个参数值； ( 5 ) 通过对比训练确定神经网络的训练函数； ( 6 ) 确定包括学习速率、隐含层神经元的个数、训练次数等在内的参数 和网络结构； ( 7 ) 运用所建模型预测目标数据并分析其误差。 非线性主成分分析程序采用s a s 9 0 编写，神经网络程序采用m a t l a b 7 0 4 编写。 1 3 论文结构 本论文由六部分组成： ( 1 ) 前言：说明了课题研究的目的和意义及研究方法和思路； ( 2 ) 人工神经网络概述：简要阐述了神经网络的概念、类型、特点及其 在化工领域的应用重点介绍了b p 神经网络； ( 3 ) 主成分分析概述：叙述了主成分分析和非线性主成分分析方法的基 本原理和计算步骤； ( 4 ) 运用非线性主成分分析的神经网络预测合成氨氢氮比：叙述了合成 氨氢氮比预测模型的建模方法、步骤以及氢氮比的预测情况和误差 范围； ( 5 ) 运用非线性主成分分析的神经网络预测磷铵产品水分：叙述了磷酸 一铵产品水分预测模型的建模方法、步骤以及磷铵水分的预测情况 和误差范围； ( 6 ) 结论：对结果进行简要归纳，列出主要结论。 3 四川大学硕士学位论文 2 人工神经网络概述 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k 简称a n n ) 【n 】是在现代神经生理 学和心理学的研究基础上，模仿人的大脑神经元结构特性而建立的一种非线性 动力学网络系统，它由大量的简单的非线性处理单元( 类似人脑的神经元) 高 度并联、互联而成，具有对人脑某些基本特性的简单的数学模仿能力。人工神 经网络最大的特点是自适应，它通过自身的学习机制自动形成所要求的决策区 域。网络的特性由其拓扑结构、结点特性、学习或训练规则所决定，它能充分 利用状态信息，对来自不同状态的信息逐一训练得到均衡的收敛的权值，这些 权值代表了网络的某种映射关系，而且网络可连续学习，当环境改变，这种映 射关系可以自适应，以求对对象的进一步逼近。 2 1 人工神经网络的类型和特点 不同类型的神经网络从不同的角度对生物神经系统不同层次进行描述和模 拟，利用这些网络模型可实现函数逼近、数据聚类1 2 1 、模式分类、优化计算等 功能。代表性的人工神经网络模型有以下几种 1 3 1 ， ( 1 ) b p 网络 ( 2 ) 感知器 ( 3 ) 线性神经网络 ( 4 ) h o p f i e l d 模型 “ ( 5 ) 径向基函数网络 ( 6 )自组织网络 人工神经网络具有如下特性【1 4 】： ( 1 ) 并行分布处理 ( 2 ) 非线性映射 ( 3 ) 通过训练进行学习 ( 4 ) 适应与集成 ( 5 ) 硬件实现 2 2 神经网络的学习训练法则 4 四川大学硕士学位论文 在人工神经网络中，学习规则是修正联接强度的一种算法，以获得知识的 结构，以适应周围环境的变化悯。学习过程可分为有监督过程和无监督过程两 种类型。b p 算法和触盯理论就是典型的代表。有监督过程就是通过外部示教 者进行学习，对于给定的输入模式【l 们，当实际的输出结果和正确的期望输出( 导 师信号) 有误差时，网络将通过自动调节机制调节相应的联接强度( 即结合权 重m 0 ) ，向减少误差的方向改变联接权值，经过多次重复训练，最后和正确结 果相符合在一定的误差范围内。 2 3 人工神经网络的实现 神经网络的实现技术可以分为全硬件实现和软件实现两方面【1 7 1 。全硬件实 现研究的核心是神经器件的构造( 电子、分子、生物神经芯片) 。软件实现主要 是传统计算机上的软件仿真。 2 3 1 全硬件实现 全硬件实现是指物理上的处理单元及输入输出通道与神经网络模型中的神 经元和互连一一对应。 。 这种全硬件实现的优点是真正体现了神经网络的并行机制，有很快的运算 速度，能满足实时需要。 但在全硬件实现中，不可能设想由成千上万个微处理器通过复杂互连形成 网络来实现全硬件的神经网络。这是因为目前生产的通用微处理器具有很强的 运算能力和一定规模的局部存储器，但是只有很少的输入输出通道，根本不可 能实现神经网络的物理互连；而且，用具有很强计算能力的微处理器实现只具 有简单计算功能的神经元必将造成严重的资源浪费，因此，现在人工神经网络 硬件实现的发展方向是研制专用的神经芯片。 2 3 2 软件实现 软件实现是指全部的神经计算都由一台通用计算机完成。通过某种计算机 语言对神经网络的结构、输入输出数据、激活函数以及学习规则进行描述后运 行程序并显示模拟结果。 由于神经网络的计算涉及到大量的矩阵计算，利用传统的计算机高级语言 如c 语言来实现神经网络显得十分吃力，而m a n ，a b 语言在矩阵计算方面具 四川大学硕士学位论文 有天然的优势，因此，本文使用m a t l a b 语言对人工神经网络进行软件实现。 2 4 b p 网络及b p 算法 2 4 1 人工神经网络用于过程系统建模的理论依据 从广义上讲，所谓数学模型，就是所考虑的过程系统中某些变量间关系的 总称。一个过程系统的模型可表示为输入义( 西，而，) 到输出 ，【乃，娩，咒) 的映射f ，所以一个数学模型可以描述为： y = f ( 柳 ( 1 ) 而大部分数学模型最终可归结为一组方程式，在机理上，为一组过程特征 的方程式；在统计模型中，为一组统计回归出来的数学式。而对于前向多层神 经网络来说，最终建立的是用权值和阙值表示的网络的输入、输出关系式。 设前向多层网络由输入层、输出层和中间层( 或称隐含层) 组成，中间层 可以是一层、也可以是多层。图l 为一个4 层的网络，中间层为2 层，神经元 个数分别为3 和4 ，输入层和输出层分别有3 个和2 个节点。 而 屯 毛 m 儿 图1 4 层前向多层网络 f i g 1f o u r - l a y e rf e e d - f o r w a r dn e u r a ln e t w o r k s 图2 单个人工神经元模型 f i g 2t h em o d e lo f o n en a o n 对于单个神经元j ( 图2 ) ，其数学模型为：乃= ( b 玉一q ) 。其中毛为 神经元j 的输入；乃为神经元j 的输出；w _ 为神经元j 与其它神经元连接权值； 巴为神经元j 的阙值；f 为输入输出转换函数。 以图1 所示的神经网络为例，设每层网络每层输出为o j ，第一层输出直 匮卜圈 6 四川大学硕士学位论文 根据单个神经元的数学模型，第二层的输出为： 匮卜厂 争 m 2 w 笠 第四层( 输出层) 的输出为： 盼 平，l 2 q 睦 岛 萎3 d 1 3 卅玎 d 4 j ( 3 ) ( 4 ) ( 5 ) 由此可以看到输出层与输入层存在一个非线性映射关系y = 厂( x 一日) ， 建立模型的过程就是确定连接值和阈值的过程，从这点上讲，智能建模型可以 归入黑箱模型。 求解前向型多层网络中权值和阈值最成功算法为误差反向传播算法( b a c k p r o p a g a t i o n ) ，基于这种算法的网络也称为b p 神经网络【l s 】。 2 4 - 2 梯度下降法 假设下列准则函数 ， 1 j ( w ) = 占( 矿，七) 2 = 寺( 】，( 七) 一y ( 矿，_ j ) ) 2 ( 6 ) 二二 其中，y 代表希望的输出，y ( w ，k ) 为网络的实际输出，w 是网络的所有 权值组成的向量，占( 矿，为y ( w ，k ) 对y 的偏差。现在的问题是如何调整w 使准则函数最小。梯度下降法( g r a d i e n td e c e n tm e t h o d ) 【1 争嘲可用来解决此问 题，其基本思想是沿着j o y ) 的负梯度方向不断修正w 值，直到j ( 叼达到最 小值。这种方法的数学表达式为： ， 下iij 1=_i_ q q 啦 旧q 愕一，rlill 币，lj 喙 2 x 1，j 蚝垓也m 心 ， 十j吆屹 四川大学硕士学位论文 。 附咖+ a ( 二等l 其中，是控制权值修正速度的变量，j ( w ) 的梯度为 等脚，叫翌笋脚， 在上述问题中，把网络的输出看成是网络权值向量w 的函数，因此网络的 学习就是根据希望的输出和实际的网络输出之间的误差平方最小原则来修正网 络的权值向量。 2 4 3b p 神经网络算法 和统计回归一样，利用b p 算法求解时，先必须为模型采集一套x ，y 的样 本数据。只不过b p 算法采用的是数值解法。其基本思想为，假设权值和阈值 的初始值，根据神经元模型逐层计算神经元的输出，将输出层计算输出与样本 输出进行比较，当样本输出值与计算输出值的方差大于某一给定值时，修正权 值和阈值，代入模型重新逐层计算，直到网络输出的计算值和样本值的方差小 于某一给定值。 设样本数为p ，某个神经元，的输出值为，输入总和为肥0 ，每个节点 的阈值为日，若，为输入层节点，其输入，输出值为： 刀0 = 勃= 厂( 肥白) ( 9 ) 若，为隐含层或输出层节点，其输入、输出值为： 峨= = ，( 船0 ) = 厂( 坳一q ) ( 1 0 ) 其中神经元f 为与神经元- ，相连的上一层( 靠近输入层) 节点，w 。为神经元_ ， 与神经元f 的连接权值。 设第p 个样本输出层神经元，的样本值为乞，输出层每个神经元歹的计 算输出值与样本值0 的误差为： 白一 ( 1 1 ) 对于第p 个样本，输出层的误差取为方差： 乓= 丢( o 一) 2 ( 。：) 四川大学硕士学位论文 此式算出的是一个样本中各输出节点的计算值与样本值0 的误差。若共有 p 个样本，总误差为： e 。；l7 e ， ( 1 3 ) 神经网络的计算就是要使e ，及e 不断降低，从而使网络输出层神经元的 计算输出值逐渐接近样本给定值。这一过程是通过不断修正连接权值完成，即： 嵋+ 1 ) = 蟛( 九) + ， ( 1 4 ) ( 1 ) a 。w j i 的计算方法 a ，m 0 计算应用的是最优化理论的最速下降法，即对于具有一阶连续偏导 数的函数，按函数的负梯度方向搜索能够最快搜索到最优解，其搜索公式为： 工( + 1 ) = x ( n ) 一h 要：( 1 5 ) 万 其中素为函数的梯度，h 为搜索步长 从方差公式可知，乓= f ( o a ) = ，( ) ，应用最速下降法，设 ，1 吆o c 一薏，即权值的变化与误差的变化负值成正比，取比例为珂，则有： 饥叫嚣 m ， 而： 由式可知： 定义： 则： 堡：旦堕 - - - - = - - 一- - 二二 鸭凯白鸭 等： 哪 4 旦0 ：一6 口 n e t 一 ” 一厶p w 镕= q 6 日o * 9 ( 1 7 ) ( i s ) ( 1 9 ) ( 2 0 ) 四川大学硕士学位论文 此式表示，要使乓下降，必须按此式调整权值。式中如可以按以下方法计算： 撇：铲卺一薏鲁一薏八吲 恤， 对于考，若歹为输出层神经元，按式( 2 1 ) 有 薏= 屯叫 c 沈， 因此 毛= ( 0 一) 厂( 甩) ( 2 3 若，不是输出层神经元，则将作为下一层的输入，设下一层有k 个神经 元 ；薏= 莩岳8 。n e t # = ；旦o r i e l # 寿呼俐日8 t l l 噼8 0 日 日、” = ；老叩， ， 因此 = ，( 疗b 0 ) 颤。 ( 2 5 ) 式中为隐含层的误差，为隐含层下一层的误差，可见下一层各个神经 元k 的误差缸按式的关系反传给上一层的各个神经元j ，故此称该算法为误 差反向传播算法。 根据上面各式，可以计算权值修正值： 嵋+ 1 ) = ；：0 ) + 坳= 嵋+ 鸭 ( 2 6 ) 实际运用时，通常再加上一项，以防止权值调整幅度变化过大，即： 嵋( 疗+ 1 ) = 蝶( 厅) + 叩d 刍+ 口 嵋( 甩) 一蝶( 万一1 ) 】 ( 2 7 ) 式中r 称为学习步长，盯称为动量因子，二者均为小于1 的参数。 在上面的算式中，函数，是指神经元输入输出的转换函数。由前面所述可 知，f 有几种常用函数形式，对于b p 算法，除输入层外，神经元的转换函数， 四川大学硕士学位论文 通常取s 型函数。 若f + 1 7 ，则 2 再 ( ：s ) f ( 峨) = ( 1 一) ( 2 9 从而对于输出层，化成： = 一) o 一) ( 3 0 ) 对于隐含层，化成： 啄= ( 1 一) ( 3 1 ) ( 2 ) 阈值的计算方法 阏值计算原理如图3 所示，为每层多加一个神经元( 输出层除外) 。 第0 层 第1 层 第2 层 第3 层 图3 闻僵计算示意围 f i g ，3 t h es k e t c h m a p o f t h r e s h o l d c 洳l a f i o l l 该神经元只与下层的神经元相连嘲，参与下层神经元的输入计算，并设此神经 元的输出为1 。详细计算过程如下： 对于第0 层，q = u = o ，1 )噬= 1 ( 3 2 ) 21 对于第l 层，嘲= 钟= 而+ w 0 1 五+ = w 0 。四+ ( 3 3 ) i = 0j = 0 2 1 一叫= k 印= j 。x o + w , l 五+ m 2 = 窆魄四+ 心2 ( 3 4 ) 四川大学顼士学位论文 2 i 叫= k 讲= w 2 0 x o + w 2 i 五+ 屹= 也，钟+ w 笠 ( 3 5 ) 脚f ；o 三个式子的最后一项m 乜、2 、h 么是第0 层增加的神经元2 与第一层的三个 神经元0 、1 、2 的连接权值，这三个值即可被当作三个神经元的阈值残、研、 谚。这样三个神经元的输出可以用下式表示： q ：，( 圭讲一q ) ；，( 2 钟) ：f ( n e t j ) u = o ，1 ，2 ) 0 1 ：= l ( 3 6 ) l - o 同理对于第2 层 2 - ， 谚= ，( 坳科一够) = ，( 科) = ，( n ) u = o ，1 ) 锈= 1 ( 3 7 i oi - o 对于第3 层 q = ，( k 砰一彰) = ( 研) = ，( 聊弓) u = o ，1 ) ( 3 8 ) ( 3 ) b p 算法的迭代计算步裂弘2 9 1 ： ( a ) 选取野、a 值。 ( b ) 确定e p 、e 精度q 、s 2 和最大迭代次数，? - 1 - - 般取1 0 - l o _ 4 。 乞一般取l o 。一1 0 4 ，计算精度不宣取得过高。 ( c ) 随机选取w 。、谚的初值。 ( d ) 设多层神经网路的层数为弛从第0 层( 输入层) 开始，向输出层 逐层计算每个神经元的输出，对于输入层， 0 0 = 勃( 工0 为输入层神经元的样本输入值) ， ( 3 9 ) 其他层d 二= ，( w z - 1 q 川i - 1 一目j ) ( ，= 1 ，膨) ( 4 0 ) 然后求、e ，若i 耳j q 、l e i 乞。则迭代结束。 四川大学硕士学位论文 ( e ) 计算输出层鳄，蟛4 磅= 吆一铹) 厂( 以一鲈)a p 蟛肛1 = 群。1 ( 4 1 ) ( f ) 从输出层向输入层逐层计算，a p 蟛一， 砖1 = ( 行e i - i 一彰1 ) 绉i , i - 1u = m ，m 一1 ，1 ) ( 4 2 ) t ( g ) 修正权值，若迭代次数，l n ，回到步骤( d ) ，循环计算。 嵋o + 1 ) = 蝶( n ) + ，( 行) + 以，坳o 1 ) ( 4 3 ) 在实际应用中，原始的b p 算法存在一定的局限性，因此出现了很多的改 进算法【3 2 】。 2 4 4b p 网络的应用 将b p 神经网络用于过程系统建模需要以下几个步骤： ( 1 ) 建立网络结构 输入层节点数，对应自变量数，输出层节点数对应因变量数，即目标变量 数。中间层及隐含层节点数靠经验选取【3 3 1 。 ( 2 ) 样本选取 和统计回归方法一样，在选取样本数据时，是应尽可能在变量的取值范围 内均匀取值，这样建立的模型才能全面描述问题的性质。同样，b p 网络也具有 统计模型外延性较差的缺点，因此，在建立样本时，样本数不宜过少，否则会 影响模型的外延性。 ( 3 ) 数据预处理 由于转换函数一般为指数形式，当自变量大于一定的值后，函数将趋近于 i 或0 ，随着自变量的增大或减小，函数值将变化不大。如果直接将实际数据作 为神经网络的输入参与计算，将会使学习一开始就处于饱和状态，看不出不同 样本的差别，无法进行调整，因此在学习之前，需要对样本数据作预处理。通 常是把样本值折成 o ，1 】或 1 ，l 】范围内的数据，这一过程称为归一化例。最简单 的归一化可以采用下面的公式： = 土( 4 4 ) m 1 3 四j l l 大学硕士学位论文 为归一化后的值，毛为真实值。此外还有一些更完善的归一化公式， 如： 2 i x i - - i x m i a ，5 蒜 ) 一血k m 一五血十u l 等等。虹、毛。分别为样本中同一变量可能取得的最小值和最大值。学习结 束后，再用上面的这些公式将样本数据返回真实值。 ( 4 ) 学习参数选择 学习参数包括学习步长r 和动量因子a ，为小于1 的参数。二者取值的大 小将影响学习效果和收敛速度。取值过大，可能导致迭代振荡，无法收敛：取 值过小，可能使收敛速度较慢。通常可以在0 0 5 0 9 尝试取值。也可以采用动 态取值的方法，即开始学习时，将学习步长取小些，动量因子取大些，迭代一 定的次数后，将学习步长加大，动量因子减小。 ( 5 ) 完整的建模过程 利用b p 网络进行过程系统建模的步骤可用图4 的框图表示。 1 4 四川大学硕士学位论文 图4 完整的学习过程 四川大学硕士学位论文 3 主成分分析概述 3 1 主成分分析法的基本思想 在许多问题中，当影响因素很多时，数据处理就很困难。而这些因素间往 往有一定的相关性，因此如果能从所研究的多个因素中，找出几个能综合原有 因素的信息的新指标，用这几个新指标进行分析仍能满足要求，就可使问题简 化，达到降维的目的。降维的方法很多，主成分分析方法( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a ) 】就是其中一种。主成分分析方法能使产生的新指标能综合反 映原指标的信息，而且使新指标彼此之间不相关。 主成分分析是设法将原来众多具有一定相关性的指标( 比如p 个指标) ，重 新组合成一组新的相互无关的综合指标来代替原来指标通常数学上的处理就 是将原来的p 个指标作线性组合，作为新的综合指标。现将这种线性组合的选 取方法说明如下：将选取的第一个线性组合即第一个综合指标记为f l ，用f 1 的 方差来表达原来指标的信息，记为v a t ( f , ) 。即v a r ( f 1 ) 越大，表示f l 包含的信息 越多。因此在所有的线性组合中所选取的f i 应该是方差最大的，称f l 为第一主 成分。如果第一主成分不足以代表原来p 个指标的信息，再考虑选取f 2 即选第 二个线性组合。为了有效的反映原来的信息，f l 已有的信息就不需要再出现在 f 2 中，用数学语言表达就是要求c o v ( f i ，f 2 ) - - - - - 0 ，称f 2 为第二主成分。依 此类推可以造出第三，四，第p 个主成分。这些主成分之间不仅不相关。 而且其方差依次递减。如果只挑选前几个最大主成分，虽然会损失一部分信息， 但是由于减少了变量的数目同时又保留了原来指标的大部分信息，还从原始数 据中进一步提取了某些新的信息，故通常有利于问题的分析处理和简化。 3 2 主成分分析方法的数学模型 设有n 个样品，每个样品观测p 项指标( 变量) ：x l x 2 ，x p ，得到原 始数据资料阵： x = x l ix 1 2 而，l t 1x 2 ：2 j 2 ：k 墨，置，_ ) ( 4 6 ) x nx n x 口l 四川大学硕士学位论文 其中置= 五l x 2 t ： h i = 1 , 2 ，p ( 4 7 ) 用数据矩阵x 的p 个向量( 即p 个指标向量) x i ，x 2 ，舄，作线性组合( 即 综合指标向量) 为 e = a l l 五+ a 2 l x 2 + - - + 4 ，1 4 五= 4 1 2 五+ 4 2 2 五+ + 2 t ( 4 8 ) f p 2 0 p x l + a 2p x 2 七+ o 口xp 简写成 e = q l i x t + 口2 i 砭+ + 4 4 i = 1 ，2 ，p ( 4 9 ) 上述方程组要求： 矗+ 4 三+ + 口二= l i = l 2 ，p ( 5 0 ) 且系数础由下列原则决定： ( 1 ) f i 与f j ( i ，j = 1 ，2 一，p ) 不相关； ( 2 ) f x 是x l ，x 2 ，x 的一切线性组合( 系数满足上述方程组) 中方差最大 的，f 2 是与f 1 不相关的x l ，x 2 ，x 一切线性组合中方差最大的，f p 是与 f l ，f 2 ，f p - 1 都不相关的x l ，x 2 ，k 的一切线性组合中方差最大的。 当每个方程中的系数向量( a l i ，a 2 i ，如) ，i _ l ，2 ，p 恰好是协差 阵的特征值 如a 。o 所对应的单位特征向量时，满足上述要求的 方程组的系数。数学上可以证明使v a r ( f i ) 达到最大，这个最大值是在的第 一个特征值所对应单位特征向量处达到，依此类推使v a r ( k ) 达到最大值是 在的第p 个特征值所对应单位特征向量处达到。 值得指出的是，当协差阵z 未知时，可用其估计值s ( 样本协差阵) 来代替。 设原始资料阵为： x = x i ix 1 2 x 2 1 x 2 2 j _ i 2 1 7 ( 5 1 ) 加? ：砌 四川大学硕士学位论文 则s = o f ) ，其中勺= 去( k i ) 耐一i ) ，而相关系数阵r = ( ) ，其中 ，4 l i 托2 赤，显然当原始变酗，x 2 ，玛标准慌躺娟= n 实际应用时，指标的量纲往往不一样，因此要在计算之前先消除量纲的影 响，将原始数据标准化，这样处理后s 和r 相同。因此一般求r 的特征根和特 征向量，并且不妨取r ：x 。x 。因为这时的r 与三x 。鼻只差一个系数，显然石x 与! j z 的特征根相差n 倍，但由于其特征向量不变，并不影响求主成分。 3 3 主成分数目的选取 在解决实际问题时，一般不是取p 个主成分，而是根据累计贡献率的大小 取前k ( p ) 个。 定义称第一主成分的贡献率为 圭 ，由于哳( e ) = 丑，所以 j l ：! ! ! 终2 。因此，第一主成分的贡献率就是第一主成分的方差在全部方 艺 肠们) 鲥i l l 差中的比值，这个值越大，表明第一主成分综合x l ，x 2 ，舄信息的能力越 ，4 强。前两个主成分的累计贡献率定义为( + 五) 丑， 前k 个主成分的累计 贡献率定义为丑丑 1 l l1 i l 如果前l 【个主成分的累计贡献率达到8 5 ，表明前k 个主成分基本包含了 全部测量指标所具有的信息，这样即减少了变量个数又便于进行分析和研究。 假定前k 个主成分的累计贡献率达到了我们所要求的值，提取前k 个主成 分作为原始变量的主要特征信息。记方程组的系数矩阵为a ，取其前k 列记为 p ，则称? = 艘为原始数据矩阵x 的主成分，则其重建的原始变量为 囊：t p f ， 四川大学硕士学位论文 3 4 主成分分析方法的计算步骤 “ 设有n 个样品，每个样品观测p 项指标，将原始数据写成矩阵【3 6 1 。 ( 1 ) 将原始数据标准化； 这里为书写方便，不妨设上面矩阵己标准化了。 ( 2 ) 建立变量的相关系数阵； r = ( 白) p p 不妨设r = 石z ( 5 2 ) ( 3 ) 求r 的特征根 如z ，o r 相应的单位特征向量； 口l 2 龟i a 2 1 ： a p ! ，a 2 2 a 1 2 a 2 2 ： u p 2 ，口，5 ( 5 3 ) ( 4 ) 写出主成分： e = 口“j ，i + 4 2 i 盖j + 口一丑， i = i ，2 ，p ( 5 4 ) 3 5 主成分分析方法结合神经网络在建模中的应用 直接利用神经网络建立预测模型有其不足之处，针对这些问题，学者们从 以下方面改进：( i ) 网络结构应尽量简单；( 2 ) 对样本集进行优化，在不损失 主要信息的前提下，减少样本矢量的维数，用维数较少但彼此正交的新矢量代 替原矢量 主成分分析方法是使用最优线性变换的一种降维映射方法，可将多变量的 数据化为较少的综合变量的数据，主要用于数据的压缩 3 7 1 。将该方法结合b p 神经网络可有效满足以上要求。将样本数据进行主成分分析，提取主成分，然 后将处理后的数据输入神经网络来进行训练预测。这样可达到既保留了原有各 变量主要信息，又达到减少变量个数，同时神经网络的结构也得到了精简的目 的。 3 6 主成分分析方法的缺陷 将神经网络和主成分分析方法相结合，建立预测模型，目的是首先应用主 成分分析方法去除原始样本数据间的相关性，删除其中的部分冗余信息，进而 降低数据的维数，得到主成分，用得到的主成分作为网络的输入，减少网络输 1 9 四川大学硕士学位论文 入层的节点数，建立网络模型。