（系统工程专业论文）软测量技术及其在工业聚丙烯生产过程中的应用.pdf

浙江大学硕士学位论文 摘要 在许多工业控制场合，存在着一大类变量，由于技术或经济的原因，目前尚 难以或无法通过传感器进行检测，但同时又是需要加以严格控制的、与产品质量 密切相关的重要过程参数。这将影响到产品质量及系统的稳定性，会给企业带来 不可低估的经济损失。软测量技术应运而生。 本文系统和深入的研究了软测量技术的若干重要方面，以偏最小二乘和神经 网络的理论为基础，建立了多种软测量模型，并比较了各种模型的预测效果。以 某石化企业的s p h e r i p o ! t 艺p p 装置为例作为应用背景，通过从现场采集的数据 建立聚丙烯熔融指数的软测量模型，并运用建立的模型对现场数据进行软测量预 测，得到了较好的效果。本文主要研究内容如下： 1 阐述了软测量技术的基本概念及其发展，分析了软测量的建模思想以及软测 量建模的四个要素，软测量模型的工业实施。对工业聚丙烯的生产过程做了 简要的介绍，特别介绍了s p h c r i p o l 聚丙烯聚合工艺及其工艺流程。 2 对主元分析( p c a ) ，偏最b - - 乘( p l s ) ，人工神经网络( a n n ) 等在软测 量建模中要用到的一些方法做了理论介绍。为后面的应用打下理论基础。 3 分别通过p l s 算法和r b f 神经网络算法建立了软测量模型，并以通过m a t l a b 仿真双效蒸发工业过程得到的数据作为数据样本对模型进行检验。然后将 p l s 模型与r b f 神经网络模型结合，以p l s 算法作为外部模型，r b f 神经 网络算法作为内部模型得到p l s r b f n n 模型。最后对三种模型效果进行了 比较。 4 介绍了聚丙烯聚合反应机理，分析了影响聚丙烯熔融指数的多种因素，分别 选择了建立均聚产品和共聚产品软测量模型的过程变量。通过从现场采集的 数据建立p l s 模型和p l s r b f n n 模型，并运用建立的模型对现场数据进行 软测量预测，得到了较好的效果。 最后，对全文做出总结，并对软测量的发展进行了展望。 关键词软测量偏最小二乘( p l s ) 人工神经网络( a n n ) 基于径向基神经网 络( 砌强) 工业聚丙烯 浙江大学硕士学位论文 a b s t r a c t t h e r ee x i s tag o o dm a n yv a r i a b l e si nt h ei n d u s t r i a lp r o c e s s a tp r e s e n t , i ti s d i f f i c u l t , s o m e t i m e si m p o s s i b l e ，t oc h e c ka n dm e a s u r et h ev a r i a b l e s ，w h i c hi sc l o s e l y r e l a t e dt ot h eq u a l i t yo fp r o d u c t i o n , t h r o u g ht h es e n s o rd u et ot e c h n o l o g i c a l0 1 e c o n o m i cr e s u i c t i o n i tw i l la f f e c tt h es t a b i l i t yo ft h es y s t e m , w h i c hw i l lb r i n ga b o u t l a r g ee c o n o m i cl o s s e s t h e r e f o r e ，s o f ts e n s i n gc o m e s i n t ob e i n g t h i sp a p e rg o e sd e e pi n t os e v e r a li m p o r t a n ta s p e c t so fs o f ts e n s i n gt e c h n o l o g y , c r e a t i n gm u l t i p l em o d e l so fs o f ts e n s i n gb a s e do np a r t i a ll e a s ts q u a r e ( p l s ) a n d n e u r a ln e t w o r k sd 呻t h e ni tc o m p a r e st h er e s u l to fp r o s p e c t c o m b i n i n gt h ea e r i a l a p p l i c a t i o no fi n d u s t r i a lp o l y p r o p y l e n e ( p p ) p r o c e s s ，s o f ts e n s i n gm o d e l sh a v eb e e n c r e a t e dw i t ht h ed a t ac o l l e c w , df r o mt h ef i e l da n du s e dt om a k ep r o s p e c t s w “c h b r i n g sa b o u tg o o de f f e c t s c o n t e n t si nt h i sp a p e ra r ea sf o l l o w s ： 1 i te o v e l 薯b a s i cc o n c e p t i o n sa n dt h e i rd e v e l o p m e n to fs o f ts e n s i n gt e c h n o l o g ya n d a n a l y z e st h em o d e l - c r e a t i o ni d e a , t h ef o u rf a c t o r sa n di m p l e m e n to fs o rs e n s i n g t h ep r o d u c t i o np r o c e s so f i n d u s t r i a lp pi sb r i e 厨i n 扛o d u o e d 2 t h et h e o r i e so fp e a , p l s ，a n da n na r ei n t r o d u c e dt op a v et h ew a yf o rl a t e r a p p l i c a t i o no f s o f ts e n s i n gt e c h n o l o g y 3 s o f ts e n s i n gm o d e l sa r es e tu p c o r d i n gt op l sa n dr b fa n dt e s t e dt h r o u g ht h e d a ms a m p l ew h i c hi sc o l l e c t e df r o mt h es i m u l a t i o no fd o u b l ee v a p o r a t i o n t h e n p l s r b f n ni s g a i n e db yc o m b i n i n gt h em o d e lp l sw i t hr b f n n f i n a l l y c o m p a r i s o ni sm a d e 锄o n g 也et h r m o d e l s 4 r e a c t i o nm e c h a n i s mo fp pi si n t r o d u c e d , m u l t i p l ef a c t o r si n f l u e n c i n gm e l ti n d e x ( m i ) o fp p 1 l ea n a l y z e da n dp r o c e s sv a r i a b l e so fe q u a lp o l y m e r i z a t i o na n d m u l t i p l ep o l y m e r i z a t i o na r es e tu p m o d e lp l sa n dm o d e lp l s r b f n na l es e tu p w i t ht h ed a t ac o l l e c t e df r o mt h ef i e l da n du s e dt om a k ep r o s p e c t so fo t h e rd a t a g o o dr e s u l t sh a v eb e e nr e c e i v e d f i n a l l y , c o n c l u s i o ni sm a d e a sw e l l 勰t h ee x p e c t a t i o nf o rt h ef u t u r ed e v e l o p m e n t o f t h es o f ts e n s i n g v 浙江大学硕士学位论文 致谢 从2 0 0 0 年进入浙江大学至今的六年多的学习生活中，我得到了很多老师和 同学的帮助和关心。在论文即将完成、学业即将结束之际，向所有关心过我的老 师、同学、朋友和亲人们表示诚挚的谢意。 首先要衷心感谢我的恩师梁军教授。在本科的系统工程课上梁老师严谨的治 学态度就给我留下了深刻的印象，从跟随粱老师进行本科毕业设计开始，在这将 近三年的学习生活中，梁老师在繁忙的科研和工作中对我学习和研究给予了悉心 的指导和循循善诱的启发。在他的指导下，我在各方面的能力都得到了相应的提 高。他的睿智、对知识孜孜不倦的追求、对教育科学研究的热爱、严谨的治学态 度让我学到了如何做事，他在生活中的宽容、豁达教会了我如何做人。他渊博的 知识、开阔的眼界以及严谨踏实的学术作风永远是我学习的榜样。梁老师对我的 教诲和帮助我终身难忘。 感谢浙江大学系统工程研究所和系统工程研究所的所有老师，感谢你们给我 的指导和帮助；你们传授给我的专业知识是我不断成长的源泉，也是完成本论文 的基础；浙江大学系统工程研究所是一个团结友爱，积极向上的集体，为我提供 了舒适的学习条件和良好的科研氛围，在此表示衷心感谢。 感谢师兄师姐刘育明、万力、昊军强、高枫、沈倩、熊丽的热心指导和帮助， 本论文涉及的研究和开发工作的顺利完成得益于大家亲密无间的合作和众位的 先期成果；感谢4 1 1 实验室的所有同学，从你们身上我学到了很多的新知识和新 方法，特别是李吴和邹振宇两位同学，在实验室的最后这段时间，他们对我的鼓 励和帮助，给了我很大的支持。 感谢我的室友朱建平、林祖伟、区志励，和他们在一起生活和学习的美好时 光，一起聊天谈心的酣畅，是我终生难忘的美好回忆。 感谢齐鲁石化塑料厂杨宝柱厂长、信息中心刘风周主任、刘志鹏主任、王文 庆副主任，在我的科研项目中，你们给我提供了便利的工作条件，并给予了密切 配合和积极支持。 感谢所有的朋友与同学，一起生活和学习的美好时光里，他们给予我的真诚 鼓励和无私帮助是终生难忘的。 浙江大学硕士学位论文 同时我更要感谢我的家人特别是我的父母和姥姥，在我1 8 多年的学习生活 中，他们给了我需要的一切，使我能够全身心的投入到学习研究之中。还要感谢 我的女朋友，感谢她给我的照顾和对我的鼓励。谨以此文献给我的姥姥。 王昕 2 0 0 6 年7 月3 0 日于求是园 浙江大学硕士学位论文 第一章绪论 摘要本章阐述了软测量技术的基本概念及其发展，分析了软测量的建模思想以 及软测量建模的四个要素，软测量模型的工业实施。重点阐述了基于p l s - - n n 的软测量方法的应用发展。对工业聚丙烯的生产过程做了简要的介绍，特别介绍 了s p h e r i p o l 聚丙烯聚合工艺及其工艺流程。 1 1 引言 随着现代工业的迅速发展，生产工艺的复杂化对控制系统性能的要求不断提 高。在许多工业控制场合，存在着一大类变量，由于技术或经济的原因，目前尚 难以或无法通过传感器进行检测，但同时又是需要加以严格控制的、与产品质量 密切相关的重要过程参数。这将影响到产品质量及系统的稳定性，会给企业带来 不可低估的经济损失。典型的例子有精馏塔的塔顶塔底产品质量，纸浆的k a p p a 值，生物发酵罐中的生物量参数以及聚合反应中聚合物的熔融指数。软测量技术 应运而生。 1 2 软测量技术 1 2 1 软测量技术的研究及其发展 早在上世纪的7 0 年代，b r o s i l o w 就提出了推断控制的基本思想和方法：采 集过程中比较容易测量的二次变量( s e c o n d a r yv a r i a b l e ，又称辅助变量) ，构造 推断估计起来估计并克服扰动和测量噪声对过程主导变量( p r i m a r yv a r i a b l e ) 的 影响【1 0 ，”。推断控制策略包括估计器和控制器的设计，在上世纪8 0 年代中后期 提出的软测量技术就体现了估计器的特点，在9 0 年代初期软测量技术得到了迅 浙江大学硕士学位论文 速的发展，1 9 9 2 年国际过程控制专家t j m a c v o y 在著名学术刊物a u t o m a t i o n 上 发表了一篇名为“c o n t e m p l a t i v es t a n c ef o rc h e m i c a lp r o c e s sc o n t r o l ”的i f a c 报 告【4 】，明确指出了软测量技术是今后过程控制的主要发展方向之一。 经过2 0 几年的发展，软测量技术已日趋成熟，构造软测量模型的方法已经 有很多种，可以根据不同的需要选择不同的建模方法。软测量技术在很多实际工 业装置上也得到了成功的应用【4 。2 们。并且其应用范围在不断的拓展。早期的软测 量技术主要用于被控变量或扰动不可测的场合，其目的是实现工业生产过程的复 杂控制。现在，该技术己渗透到需要实现难测参数的在线测量的各个领域。 1 2 2 软测量思想 软测量的基本思想是根据某种最优准则。选择一组既与主导变量有密切联系 又容易测量的变量，称为辅助变量，通过构造某种数学关系，用计算机软件实现 对主导变量的估计。 软测量模型的基本结构如图1 1 所示。其中d 1 为不可测扰动，d 2 为可测扰动， u 为输入变量，x 为可测的辅助变量，y 为估计变量的测量值( 可通过传感器测 得。也可通过实验室分析或其它离线方法测得) 。 图1 - ! 软测量模型的基本结构 软测量的目的就是利用所有可获得的信息求取主导变量的“最优”估计值 它，即可构造函数f ( ) ， 矿= ，( 以，柳 ( 1 1 ) 函数f ( ) 即为要构造的数学关系，也就是要构造的软测量模型。 2 浙江大学硕士学位论文 1 2 3 软测量技术的四个要素 软测量技术共有四个要素，辅助变量的选择、数据处理、软测量模型的建立 和模型的在线校正，其中最重要的是软测量模型的建立。 要素一辅助变量的选择 辅助变量的选择包括变量类型、变量数目和检测点的选择，这三个方面是互 相关联、互相影响的，由过程特性决定，此外还受设备价格和可靠性、安装和维 护的难易程度等外部因素制约。 就变量类型的选择，目前软仪表中使用最广泛的是与主导变量动态持性相 近、关系紧密的可测参数。 二次变量可选数目的下限是被估计的变量数，而最佳数目则与过程的自由 度、测量噪声以及模型的不确定性有关。 测点位置的选择采用奇异值分解或工业控制仿真软件等方法进行检测点的 选取。 要素二数据处理 数据处理包括误差处理和数据变换两个部分。 误差处理 从工业生产过程中采集到的数据误差主要有随机误差和过失误差两类误差。 随机误差受随机因素的影响，如操作过程的微小波动或检测信号的噪声等。 对于随机误差除剔除跳变信号外，常采用数字滤波法。 过失误差包括仪表的系统偏差( 如堵塞、校正不准和基准漂移等) 、测量设 备失灵以及不完全或不正确的过程模型。过失误差出现的几率虽很小，但它的存 在会严重恶化数据的品质，可能导致软测量甚至整个过程优化的失效。常用的校 正方法有统计假设检验法、广义似然比法和贝叶斯法等。 数据变换 对数据的变换包括标度、转换和权函数三个方面。 浙江大学硕士学位论文 工业过程中的测量数据有着不同的工程单位，变量之间在数值上相差几个数 量级，直接使用这些数据进行计算可能会由于机器字长有限而丢失信息，或者引 起算法的数值不稳定性问题，利用合适的因子对数据进行标度，能够改善算法的 精度和稳定性。 转换包括对数据的直接转换以及寻找新的变量替换原变量两个含义。通过对 数据的转换，可有效的降低非线性特性。 权函数可实现对变量动态特性的补偿。如果辅助变量和主导变量间具有相同 或相似的动态特性，那么使用静态仪表就足够了。合理使用权函数使我们可能用 稳态模型实现对过程的动态估计。 要素三软测量模型的建立 软测量技术的核心是建立软测量模型，即如何建立工业过程控制对象的数学 模型。目前建立数学模型的方法主要有机理分析建模，统计回归建模，状态估计 建模，人工神经网络建模，基于模糊技术建模和模式识别建模六种建模方法应用 较为广泛。 机理分析建模 基于机理分析方法是工程中常用的方法，通过对过程对象的机理分析，找出 不可测主导变量与可测的辅助变量之间的关系建立机理模型。通常机理模型由代 数方程组或微分方程组组成。机理分析建模法是建立在对工艺机理了解程度的基 础上，由于大多数过程控制领域存在非线性性、不确定性和复杂性，难以建立精 确的数学模型，并且在线计算量大难以满足实时要求。 李艳，张健等人根据在间歇蒸煮过程纸浆k a p p a 研究方面积累的大量经验， 通过对该过程的机理分析建立了纸浆k a p p a 值的软测量机理模型【4 】。 李春富，王挂增等人根据聚丙烯聚合反应机理和反应动力学，建立了丙烯聚 合过程的机理模型【5 】。 机理分析建模的优点在于有明确的物理意义，外推性能较好。但是比较复杂， 模型中需要确定的系数较多，不适用于机理尚不完全清楚的工业过程。 统计回归建模 回归分析法比较简单而且容易实现，通过对大量生产过程中的数据采集样 4 浙江大学硕士学位论文 本，分析因变量y 与多个自变量，x 2 ，矗之间的关系。回归分析法分为线性回 归和非线性回归；同时又可分为：多元线性回归( m l r ) ，逐步回归( m s r ) ，最小 二乘法( l s ) ，主元分析法( p c a ) ，主元回归法( p c r ) ，偏最d x - - 乘法( p l s ) 。其 中偏最小二乘法技术较为成熟并且应用广泛。 对于辅助变量较多，多变量数据间又存在严重关联和共线性问题的情况，一 般的多元线性回归中的逐步回归技术不能获得较好的软测量模型，传统最小二乘 会遇到病态矩阵而无法求解，此时需要采用基于多元投影类方法( 如主元回归分 析和偏最小二乘法) 。因此，基于多元投影方法的软测量适用于高维且变量耦合 严重的复杂生产过程的建模，并具有更强的鲁棒性。 梁军运用多元统计投影原理和非线性函数的t a y l o r 逼近原理建立了流化床 乙烯气相聚合过程变量和质量变量间的主元多项式非线性偏最小二乘软测量 ( n o n l i n e a rp l s ) 模型【6 l 【刀。 颜学峰，陈德钊等人提出了一种自适应偏最小二乘回归( a p l s r ) 方法，并 将这种方法应用于含硫苯衍生物的构效关系( q u a n t i t a t i v es t r u c t u r e - a c t i v i t y r e l a t i o n s h i p ，q s a r ) 建模【8 】。 统计回归建模方法虽然有算法简单的优点，但需要较多的数据样本，且对测 量误差比较敏感。 状态估计建模 对于如下状态方程所描述的系统对象： 戈= 血+ b u n 2 1 y = c x( 1 3 ) 其中z 为刀维状态向量，材为r 维控制向量。y 为聊维输出向量，a 为胛珂 维系统矩阵，b 为盯r 维输入矩阵，c 为所n 维输出矩阵。 q = c c a c a 2 翻州 ( 1 4 ) 浙江大学硕士学位论文 如果幺的秩为n ，即 硎七【幺】= 聆 ( 1 5 ) 则系统能观。如果系统是可观的，则我们一定能通过系统的输入变量和系统输出 构建观测器来估计出系统所有的系统状态值。基于状态估计的软测量建模方法是 把系统的输入和输出当作辅助变量。而有待于估计和重构的系统状态变量作为主 导变量的一种建模方法。 易灵芝，王根平等人根据简化了的管道煤气运送系统建立线性系统，并将 管道气的压力和流量作为系统的状态变量，输出点的气压为系统输出。通过状态 观测器建立软测量模型，计算主导变量管道内某处的压力”。 由于状态估计建模是基于系统能观性的理论，因此与一般的软测量技术相 比，它具有完整、严谨的数学基础，而且状态观测器的构建有套系统有效的方 法。但是对于生产过程的复杂性和不确定性，难以建立系统的状态空间模型。 人工神经两络建模 在软测量技术应用领域里，大多数过程特点是系统的非线性和复杂性，要建 立较高精度的估计模型对主要变量估计是十分困难的。人工神经网络( a r t i f i c i a l n e u r a l n e t w o r k ，a n n ) 具有良好的非线性映射能力、自学习适应能力和并行处 理能力，任何非线性连续函数都可由一个三层前向网络以任意精度来逼进。基于 人工神经网络的软测量是近年来研究最多、发展最快和应用范围很广泛的一种软 测量技术。基于人工神经网络建模本质是一种参数辨识法，然而与其他方法不同 之处是神经网络本身可以作为一种辨识模型的结构，且辨识模型的结构不需要事 先确定，它直接学习系统的输入输出数据的过程，学习的目的是使所要求的误差 准则函数达到最小，从而归纳出隐含在系统输入输出数据中的映射关系。软测量 建模中常采用的人工神经网络结构b p ( b a c k p r o p a g a t i o n ) 网络、多层前向网络、 基于径向基函数( r b f 。r a d i a lb a s i sf u n c t i o n ) 人工神经网络。 刘载文，崔莉风等人提出了基于径向基函数( r b f ) 人工神经网络的s b r 出水b o d 值的软测量方法【。 王玉辉，宋蕴兴等采用神经元网络b p 算法建立软测量模型预报炼钢过程中 的钢水温度1 ”。 人工神经网络建模的缺点是对一些复杂的问题，训练时间很长，收敛速度太 6 浙江大学硕士学位论文 慢，而且可能陷入局部极小。 基于模糊技术建模 模糊技术基于模糊数学理论，通过模拟人脑的近似推理和综合决策过程，处 理模型未知和不精确性的控制问题，使控制算法的可控性、适应性和合理性提高。 该软测量方法适用于复杂系统被测对象呈现亦此亦彼的不确定性，难以用数学表 达式描述的场合。 模式识别建模 基于模式识别的软测量方法是采用模式识别的方法对工业过程中获取的数 据进行预处理，从中进行特征提取和选择，形成了以模式识别为基础的模式识别 模型。基于模式识别方法建立的软测量模型的优势是在事先对系统缺乏了解的情 况下，基于系统输入输出的数据，进行特征提取建立其数学模型。 穆罕默德阿塔和蒋慰孙采用了基于b a y e s 序列分类器的模式识别方法进行 精馏塔板效率估计【1 2 1 。 由于上述方法即有自己的优点，同时也存在着缺点，所以在实际工业过程中 建立软测量模型一般并不是单一的采用上述方法中的一种，而是结合上述方法中 的两种或多种方法，取长补短，建立软测量模型。 如大多数情况下模糊技术与人工神经网络方法进行有机结合，将神经网络与 模糊技术结合构成模糊神经网络软测量方法，多用于非线性系统，将输入输出样 本数据通过网络训练学习建立非线性软测量模型，利用神经网络的自适应性、容 错性和模糊逻辑处理模糊或定性信息的能力，有效克服训练样本的不确定性和噪 声的影响。 而由于统计回归建模方法在处理非线性的问题时效果不是很理想，所以统计 回归方法常和人工神经网络方法结合，利用神经网络的解决非线性问题的能力弥 补统计回归方法的不足。 如文献 1 8 】将遗传算法、人工神经网络和支持向量基算法结合起来，建立软 测量模型，该模型具有较好的泛化能力。 文献 1 4 1 通过神经网络( n n ) 逼近策略，由偏最小二乘回归( p l s ) 方法拓 展得到非线性的p l s n n 方法建立了p l s - n n 软测量模型。 浙江大学硕士学位论文 要素四软测量模型的在线校正 软测量模型建立后，并不是一成不变的，由于测量对象的特性和工作点都可 以随时问发生变化，因此必须考虑模型的在线校正，才能适应新工况。 软测量模型的在线校正可表示为模型结构和模型参数的优化过程，具体方法 有k a l m a n 滤波技术在线修正模型参数；更多的则利用了分析仪表的离线测量值 进行在线校正。为解决模型结构修正耗时长和在线校正的矛盾，有人提出了短期 学习和长期学习的校正方法f 。短期学习是在不改变模型结构的情况下，根据 新采集的数据对模型中的有关系数进行更新：而长期学习则是在原料、工况等发 生较大变化时，利用新采集的较多数据重新建立模型。在线校正有自适应法、增 量法和多时标法等。根据实际过程的要求，多采用模型参数自校正方法。 最简单的在线校正算法为常数项修正法，即取软测量模型为 y = f ( 吃，甜，x ) + a y( 1 6 ) a y = 卢( ，一扔( 1 7 ) 若y 。强，则y = 。砒 若y 0 8 乙则负荷向量a 将代表数据z 的最大 变化方向，办与a 垂直并代表数据x 的第二大变化方向，p k 代表最小变化方 向。 当矩阵z 中的变量问存在一定程度的线性相关时，数据x 的变化将主要体 现在最前面的几个负荷向量方向上，这样就可以将矩阵工进行主元分解后写成 下式 x = t i p r + f 2 z + + 如靠+ e ( 2 8 ) 式中f 为误差矩阵，代表x 在以+ 1 到等负荷向量方向上的变化。由于误差矩 阵昱主要是由于测量噪声引起的，将e 忽略掉往往会起到清除测量噪声的效果， 不会引起数据中有用信息的明显损失。因而z 可以近似的表示为 x z t t 最+ t 2 匠+ + t k 匠q 2 3 偏最小二乘方法 偏最小二乘法( p a r t i a ll e a s ts q u a r e s ，p l s ) 最早是由h e r m a nw o l d 于2 0 世 纪6 0 年代提出的，它以其良好的性能在工业过程的建模和控制中得到广泛的应 用。 偏最t j 、- - 乘回归主要用于建立多因变量与多自变量的统计关系。在回归分析 中，当自变量与因变量的个数都很多，并且在自变量之间以及因变量之间都存在 较严重的多重共线性时，如果采用一般的多元回归方法，其分析结果的可靠性极 低，而采用偏最t , - - 乘回归分析的建模方法，可以较好的解决这个问题。 2 3 1 基本原理 为了研究因变量】，= 魄，y 2 ，儿】与自变量x = 【五，屯，】之间的统计关 系，偏最d - - 乘回归分析借用了主元分析的工作手段。它首先在自变量系统x 浙江大学硕士学位论文 中，提取一个主元t l ( t l 是x t ，毛，的线性组合) ，同时，在因变量系统y 中， 提取一个主元地( m 是乃，兄，儿的线性组合) 偏最小二乘回归分析在提取这 两个主元时，有下列两个要求。 ( 1 ) 和q 应尽可能大的反映它们各自原变量系统中的方差信息。 ( 2 ) t l 和u 的相关程度能够达到最大。 这两个要求表明， 和“。应尽可能好的综合它们各自的原变量系统，同时， 自变量主元对因变量主元的解释性又能达到最大。 在第一主元和地被提取出来后，偏最小二乘回归分别实施x 对的回归以 及y 对弘的回归。如果回归方程已经达到满意的精度，则算法终止；否则。将利 用x 被 解释后的残余信息以及y 被m 解释后的残余信息进行第二轮的主元提 取。如此往复，直到能达到一个较为满意的精度为止。若最终对x 共提取了彳个 主元，f 2 ，t a ，偏最小二乘回归将通过施行y k 雨j t i ，t 2 ，的回归，最后再表 达成关于原变量的回归方程a 2 3 2 计算方法推导 设自变量数据矩阵为爿r “一，因变量数据矩阵为y 灭”，栉为样本数， m 和p 分别为自变量和因变量的维数。 s t e p l 找到第一主轴叫，q 和第一主元 = 她，= 磁( i h 9 = 帔8 = 1 ) 。 为了使主元和- 1 能最多反映它们各自原数据系统的方差信息同时又使 和。的相关程度达到尽可能大，则应有 嚣肠7 ( ) ( 2 1 0 ) 1 9 浙江大学硕士学位论文 嚣胁( ) ( 2 1 1 ) i 。雹翟l r ( ，) ( 2 1 2 ) h i = l 牺一 ” 7 以上三个式子等价于下式 m a x c o v ( t , ，“1 ) = x l g a r ( t 1 ) v a r ( u 1 ) r ( t l ，m )( 2 t 3 ) 式中c o y ( ，) ，f a r ( ) ，r ( ，) 分别为协方差运算，方差运算，相关运 算。若用向量内积形式，则p l s 的主元提取化为求解下述约束优化命题 i 稍莘。( 她，y q ) ( 2 1 4 ) 可以证明，约束优化问题( 2 1 4 ) 的最优解分别是矩阵z 7 】，x 和y 7 。杨，y 对应 最大特征值的单位特征向量，最优值是矩阵x 7 y y 7 x 的最大特征值平方根( 矩 阵x y y 7 x 和矩阵，x x 7 】，同特征根) 。 求得m 和q 后，立即可以求得第一主元 = 她( 2 1 5 ) 1 = 磁( 2 1 6 ) s t e p 2 建立彳的第一主元和】，的第一主元m 之间的关系 由自变量向量和因变量向量之间的线性回归关系u t = 6 1 ，得 6 l = ( u j t o ( t r t , ) ，b l 为回归系数。 s t e p 3 计算石的负荷向量a ，y 的负荷向量吼 a = 7 ) ( 扎)( 2 1 7 ) g l = ( y 7 m ) ( 玎坼)( 2 1 8 ) 则 x = t , p r + 五 ( 2 1 9 ) 浙江大学硕士学位论文 y = q 孽j + e = b i t l g i + e( 2 2 0 ) 其中砭，e 为残差矩阵 s t e p 4 用置和艺取代工和y ，然后求第二主轴和第二主元 t z = 五w 2( 2 2 1 ) 2 = e 乞 ( 2 2 2 ) 2 = 6 2 乞 ( 2 2 3 ) p 2 = ( 墨t 吃，7 吧t f 2 )( 2 2 4 ) q 2 = ( 譬如) ( 也)( 2 2 5 ) 从而彳导到 五= f 2 西+ 五( 2 2 6 ) e = “2 9 ；+ e = b 2 t 2 q ；+ e ( 2 2 7 ) 依此类推，可得其余主元= 置，= l e ，其中i = 3 ，4 ，a ，a m 。 定义石的主元矩阵和负荷矩阵分别为 r = 【，f 2 ，t a 】r “。 p = p l ，p 2 ，p a l e r ”。 定义y 的主元矩阵和负荷矩阵分别为 u = k 吻，】r “。 q = 【g 。，g ：，q a r “。 回归系数矩阵为 b = 庙昭【6 1 ，6 2 ，吮】r “。 定义x 和y 的残差矩阵分别为e 和，则p l s 可分别由外部关系和内部关系描 述。 外部关系为 浙江大学硕士学位论文 内部关系为 x = t p t + e = t i 霞+ e j = l r = u q 7 + ，= 甜，衫+ ， = 玩或( ，= t b 以= ( 蚝7 k j 八o t ) 根据上述关系用p l s 方法建立模型为 r - = u 矿+ f = t b q j r f 2 3 3 算法基本性质 f 2 3 0 ) ( 2 3 1 ) f 2 3 2 ) ( 1 ) 自变量系统的各个主轴之间具有正交性，即 ( m ，m ) = w w ，= 0 ，f ， ( 2 ) 自变量系统的各个主元之间具有正交性，即 q i ，t j ) = 昏i = 0 ，i j ( 3 ) 自变量系统的各主轴与和负荷向量之间具有正交性，即 ( w j ，p j ) = 一p j = 0 ，f ， ( 4 ) 自变量系统中提取的信息与其残差信息是相互独立的，表达为数学式为 q t ，x = t ：x = 0 ，i j 当工和】，之间的模型为线性模型的时候，所需要的主元个数等于模型的维 数。而非线性模型需要更多的维数来描述非线性。所用主元的个数是p l s 的一 个重要性质。虽然可以采用与z 矩阵的秩一样的元素，但通常并不是所有主元 都是需要的，小的主元通常代表了噪声。而且小的主元会引起非线性的问题。通 常用的选定主元个数的方法主要有以下几种。一种方法是定义一个阈值，当l 慨0 小于这个阈值的时候，就认为已经选取了足够多的特征向量。另外一种方法是比 浙江大学硕士学位论文 较0 e 0 和i i 曩当它们的差小于设定的阈值的时候，就可以停止增加新的主元。 还有一种确定主元个数的方法是交叉检验法。将数据分为训练数据和测试数据， 每增加一个主元时，将相应的p l s 模型在测试数据上进行测试。当所用的主元 多于一定数目时，p l s 模型在测试数据上的误差将会增加。在测试数据上误差最 小的p l s 模型所对应的特征向量个数即认为是合适的。 2 4 人工神经元网络 人脑由大量的高度互联的神经元组成，这些神经元由三部分组成：树突、细 胞体和轴突。树突将电信号传送到细胞体，细胞体对这些输入信号进行整合并进 行阈值处理。轴突把细胞体的输出信号导向其他神经元。一个神经细胞的轴突和 另一个神经细胞树突的结合点成为突触。神经元的排列和突触的强度确立了神经 网络的功能。人工神经网络以计算机仿真的方式从物理结构上模拟人脑，使系统 具有人脑的某些用函数模拟突触的作用。人工神经网络虽然没有人脑那么复杂， 但是两者有两个关键的相似之处。首先，两个网络的构成都是可计算单元的高度 互连。其次，处理单元之间的连接决定了网络的功能。 神经网络系统具有分布存储和容错性、可塑性与自适应性和自组织性、并行 处理性、层次性这四个基本特征。 2 4 1 神经元模型和网络结构 1 神经元 神经网络的基本处理单元是神经元( n e u r o n ) ，图2 - 1 表示了一个有r 个输 入的神经元模型。 浙江大学硕士学位论文 输入褪元 r 一、，_ _ 、 - - - - 萨妤即+ b ) 图2 - 1 神经元模型 图中p = p l ，p 2 ，见r 为神经元的输入，它即可以是系统外部引入的信 号，也可以是系统内部其他神经元输出的信号。矿= w l l ，w 1 2 ，m ，。 为权值矩 阵，w l l m 。，w l 卫分别为a ，见，n 对应的权值。该神经元有一个偏置值6 ， 它与所有输入的加权和累加，从而形成净输入甩： 霄 舻w 1 m p + w 1 删p + 一w t ， p r + 6 = p + 6 ( 2 3 3 ) i = l 这个表达式也可以写成矩阵形式： 力= 陟p + b 厂为传输函数，净输入，z 被送入，在厂中产生神经元的标量输出a 。 神经元的输出口可以写成 口= ，( 阡，p + 6 )( ： 最常用的传输函数有硬极限传输函数，线性传输函数和对数一s 形传输函数。 2 多层神经元 一般来说，单个神经元并不能满足实际应用的要求。在实际应用中需要有多 个并行操作的神经元，将这些可以并行操作的神经元组成的集合称为“层”。图 2 - 2 是一个三层神经网络的模型。 2 4 浙江大学硕士学位论文 噬 图2 - 2 三层神经网络模翌 如图所示，第一层为输入层。 第二层为隐含层，有r 个输入、s 1 个神经元，1 为s 1x r 维的权值矩阵，r 1 为隐含层神经元的净输入矩阵，疗1 通过传输函数，1 得到隐含层的输出矩阵一， d = f l ( w 1 p + b 1 ) ( 2 3 6 ) 第三层为输出层，输入为隐含层的输出，输出层有s 2 个神经元，输出矩阵4 2 ， 也是该神经网络的输出， a 2 = 厂2 ( 形2 d + 矿) = 厂2 ( 矽2 厂1 ( 形1 p + b 1 ) + 6 2 ) ( 2 3 7 ) 多层网络的功能要比单层网络强大的多。比如，一个隐含层具有s 形传输函 数、输出层具有线性传输函数的网络，经过训练可对大多数函数达到任意精度的 逼近。 2 4 2 神经网络的学习方法 神经网络在使用之前要进行训练和学习，这样才能使网络符合所需的要求， 实现所设计的功能。训练是指通过一组或多组对应的输入信号，按照某种有计划 的步骤调整连接权值，直到网络的运行结果能符合某种要求为止。学习则是指网 络对训练的反应，和网络具有的一种性能。 神经网络的学习方式可以分为监督学习( 有教师学习) 和无监督学习( 无教 师学习) 两种p ”。 监督学习需要外界存在一个“教师”，他可对给定的一组输入提供应有的输 浙江大学硕士学位论文 出结果，这组已知的输入一输出数据称为训练样本机，神经网络可根据已知输出 与实际输出之间的插值来调节系统参数。感知机学习规则、有监督的h e b b 学习， w i d r o w h o f f 学习算法、b p 算法、r b f 网络都是有监督的学习。 与监督学习不同，无监督学习时不存在外部教师，神经网络完全按照环境提 供数据的某些统计规律来调节自身参数或结构( 这是一种自组织过程) ，以表示 出外部输入的某种固有特性。无监督学习包括主分量分析，自组织特征映射模型 的竞争学习形式等。 当神经网络应用在软测量建模中时，其学习方式一般都为监督学习。其学习 规则为误差纠正学习。 令一( i ) 为输入( 七) 时，神经元在加寸刻的实际输出，弘( 七) 为期望的输出， 则误差信号可表示为： 岛( 七) = y a k ) 一一( | i )( 2 3 8 ) 误差纠正学习的最终目的是使某一基于e ( 女) 的目标函数达到最小，以使网 络中每一输出单元的实际输出在某种统计意义上逼近应有输出。一旦选定了目标 函数形式，误差纠正学习就变成了一个典型的最优化问题。最常用的目标函数是 均方误差判据，定义为误差平方和的均值： 薛州 其中e 为期望算子，式( 2 3 2 ) 的前提是被学习的过程是宽平稳的，具体方法可用 最优梯度下降法。直接用，作为目标函数时需要知道整个过程的统计特性，为 解决这个问题，通常用厂在时刻k 的瞬时值f ( 七) 代替，即： f ( | | ) ：昙孝( | i ) ( 2 4 0 ) 问题变为求f ( j j ) 对权值矿的极小值，根据梯度下降法可得 w ，= a e , ( k ) x j ( k ) ( 2 4 1 ) 其中口为学习步长。 浙江大学硕士学位论文 2 5 基于径向基函数( r b f ) 神经网络 1 9 8 5 年，p o w e l l 提出了多变量插值的径向基函数( r a d i a lb a s i sf u n c t i o n ， r b f ) 方法，1 9 8 8 年，b r o o m h e a d 和l o w e 首次将r b f 应用于神经网络设计， 构成了径向基函数神经网络，即r b f 神经网络。 结构上看，r b f 神经网络属于多层前向神经网络，它是一种三层前向网络， 输入层由信号源节点组成；第二层为隐含层，隐单元的个数由所描述的问题而定， 隐单元的变换函数是对中心点径向对称且衰减的非负非线性函数；第三层为输出 层，它对输入模式做出响应。 r b f 神经网络的基本思想是：用径向基函数( 砌弹) 作为隐单元的“基”， 构成隐含层空间，隐含层对输入矢量进行变换，将低维的模式输入数据变换到高 维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分。 2 5 1r b f 神经网络的网络结构 r b f 神经网络的神经元模型结构如图2 - 3 所示。由图所见，r b f 神经网络传 递函数翮傩是以权值向量和阈值向量之间的距离i i 如f 0 作为自变量的，其中， 0 d b f 0 是通过输入向量和加权矩阵的行向量的乘积得到的。 r b f 神经网络传递函数的原型函数为： r a d b a s ( n ) = e 1 ( 2 4 2 ) 输入神经元 ，、，。、 图2 3 径向基神经元模型结构 当输入自变量为0 时，传递函数取得最大值为1 。随着权值和输入向量之间 浙江大学硕士学位论文 2 5 2 径向基函数的学习过程 r b f 神经网络隐含层采用径向基函数作为激励函数，该径向基函数一般为 高斯函数。隐含层每个神经元与输入层相连的权值向量形1 和输入矢量x 9 ( 表 示第g 个输入向量) 之间的距离乘上阈值耐作为本身的输入。 由此可得隐含层的第f 个神经元的输入为： 浙江大学硕士学位论文 输出为： 船= 霹 ( 2 4 4 ) 矿= e x p ( - ( k 7 ) 2 ) = e x p i 一厚j i q 2 。睇 2 = e x p ( 一( 陪x 9 ) 2 ) s ， 径向基函数的阈值b 可以调节函数的灵敏度，单实际工作中更常用另一参数 仃。此时隐含层神经元的输出变为： 仁唧 - 嗲 。 输出层的输入为各隐含层神经元输出的加权求和。由于激励函数为纯线性函 y 9 - - e i e ( 2 4 7 ) f = l r b f 网络的训练过程分为两步：第一步为无教师式学习，确定