（控制理论与控制工程专业论文）推理估计方法及其在化工过程建模中应用.pdf

摘要 捅要 推理估计器是推理控制系统设计的关键，推理估计器模型( 软测量模型) 的设计方法 也是设计一个控制系统的关键，也是软测量技术的核心。不同于一般意义下的数学模型， 它强调的是通过二次变量来获得对主导变量的最优估计。 本文在介绍了推理估计器设计方法的基础上，针对推理估计器的两种常用方法一偏 最小二乘回归法( p l s ) 和支持向量机( s v m ) 建模方法进行了深入研究。偏最小二乘回归是 一种新型多元统计分析方法，在因变量对多自变量的回归建模中，当各变量集合内部存 在较高程度的相关性时，用偏最d x - 乘回归建模分析，比一般多元回归更加有效，其结 论更加可靠。支持向量机( s v m ) 建模方法是一种新的数据建模方法，它以统计学习理论 为基础，采用结构风险最小化准则，在最小化样本拟合误差的同时控制学习函数的复杂 度，从而获得良好的泛化能力。 为提高推理估计器模型的精度和p l s 模型的泛化能力，本文首先将缩放的思想嵌入 到p l s 模型中，对原有的缩放法进行改进。通过缩小或放大训练集，将训练样本模糊化， 寻求用输出误差最小的样本集回归模型，缩小测试误差，来提高p l s 的泛化能力。多个 仿真实验和分析表明，基于r 因子的缩放法简单可靠，效果明显，可用以改进和提高p l s 的泛化能力。 在一般的多变量回归建模方法中，通常将用来建立模型的每个输入样本对模型的输 出都看作有着相同的影响，各个输入样本不同的预报能力往往被忽略。本文将样本权重 和减量学习的思想嵌入到p l s 算法中，提出了可调权重偏最小二乘回归算法 ( r e g u l a b l e w e i g h t e dp a r t i a ll e a s ts q u a r e s ，r w p l s ) 。该方法首先用普通的p l s 方法对样本 数据进行回归建模，然后根据增量学习的逆方法一减量学习方法，分析各个样本，为预 报能力弱的样本分配权值。用重新分配了权值的样本进行训练，得到泛化能力更强的模 型。将r w p l s 应用于双酚a 结晶过程软测量建模，可以获得更高精度的模型。 推理控制的思想是实现推算出主导变量以实现反馈控制，或推算出干扰以实现前馈 控制。根据上述思想，以提高模型的预测能力为目标，本文提出了一种基于输出偏差校 正( d e v i a t i o nc o r r e c t i o n ) 的建模方法。该方法将模型的测试偏差引入到模型输出校正中， 从而提高了模型的预测精度。将该方法与支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 相结合，将测试偏差反馈到输出实施校正，并在实际应用于双酚a 结晶过程软测量模型 中，获得了比s v m 模型更好的预测精度。 关键词：推理估计器；偏最小二乘回归；双酚a 结晶过程；缩放法；样本权重；偏差校 正；支持向量机；泛化能力 a b s t r a c t a b s t r a c t i n f e r e n t i a le s t i m a t o ri st h ek e yt e c h n i q u eo fa l li n f e r e n t i a lc o n t r o ls y s t e md e s i g n i 1 1 e d e s i g no fi n f e r e n t i a le s t i m a t o rm o d e l ( s o f t s e n s i n gm o d e l ) i st h ek e yp a r to fac o n t r o ls y s t e m ， a n da l s oi st h ec o r eo fs o f t s e n s i n gt e c h n i q u e i t sd i f f e r e n tf o r mm a t h e m a t i c a lm o d e li n g e n e r a lm e a n i n g ，a n de m p h a s i z e sg e t t i n gt h eo p t i m a le s t i m a t i o no fap r i m a r yv a r i a b l ef r o m s e c o n d a r yv a r i a b l e s i nt h i sp a p e r ，b a s e do nt h ed e s i g nm e t h o d so fi n f e r e n t i a le s t i m a t o r , i ti ss t u d i e df o rp a r t i a l l e a s ts q u a r e s ( p l s ) a n ds u p p o r tv e c t o rm a c h i n e ( s v m ) p l si san e wm u l t i v a r i a t e s t a t i s t i c a la n a l y s i sm e t h o d i nt h em o d e lo fm u l t i p l e d e p e n d e n tv a r i a b l e st om u l t i p l e i n d e p e n d e n tv a r i a b l e s ，a n dt h e r ei sh i g hc o r r e l a t i o no fi n n e re v e r yv a r i a b l e s ，p l si sm o r e r e l i a b l e b e s i d e s ，s v mi s an e wd a t am o d e l i n gm e t h o dt h e o r e t i c a l l yb a s e do ns t a t i s t i c l e a r n i n gt h e o r y e m p l o y i n gt h ec r i t e r i ao fs t r u c t u r a lr i s km i n i m i z a t i o n ，w h i c hm i n i m i z e st h e f i t t i n ge r r o r so ft h es a m p l e - d a t aa n dc o n t r o ls i m u l t a n e o u s l yt h ec o m p l e x i t yo ft h el e a r n i n g f u n c t i o n t h u s ，t h es v m sg e n e r a l i z a t i o ni sb e r e rt h a no t h e r s an e w a p p r o a c ht oi m p r o v et h eg e n e r a l i z a t i o na b i l i t yo fp a r t i a ll e a s ts q u a r e sr e g r e s s i o n 、析t l ls h r i n k m a g n i f y i n gt h o u g h ti sp r e s e n t e di nt h i sp a p e r t h i sa p p r o a c hi st oi m p l e m e n t s h r i n k i n go rm a g n i f y i n gt h ei n p u tv e c t o r , r e d u c i n gt e s te r r o r , i m p r o v i n gt h eg e n e r a l i z a t i o n a b i l i t yo fp l s s o m es i m u l a t i o nr e s u l t ss h o wt h i sa l g o r i t h mi se f f e c t i v ea n di m p r o v e dt h e g e n e r a l i z a t i o na b i l i t yo fp l s i no r d i n a r ym u l t i v a r i a t em o d e l i n gm e t h o d s ，i ti st h o u g h tt h a te a c hi n p u ts a m p l em a k e s t h es a m ec o n t r i b u t i o nt ot h eo u t p u to fm o d e l ，w h i c ht h ed i f f e r e n c eo fr e p r e s e n t a t i v e n e s s b e t w e e nt h es a m p l e si s i g n o r e d i nt h i sp a p e r , b yi n t r o d u c i n gt h ec o n c e p to fw e i g h t e d s a m p l i n ga n dd e c r e m e n tl e a r n i n gi n t op a r t i a ll e a s ts q u a r e s ( p l s ) ，an e wm u l t i v a r i a t e r e g r e s s i o nm e t h o d ，r e g u l a b l ew e i g h t e dp l s ( r w p l s ) i sp r o p o s e d d i f f e r e n ts a m p l ei nt h e t r a i n i n g s e ti sw e i g h t e dd i f f e r e n t l ya c c o r d i n gt oi t sr e p r e s e n t a t i v e n e s st o i m p r o v et h e p r e d i c t i o na b i l i t y , a n dd e v e l o pam o d e lw i t hb e t t e rg e n e r a l i z a t i o na b i l i t y r w p l si su t i l i z e dt o d e v e l o pas o f ts e n s o rf o rt h ec r y s t a l l i z a t i o np r o c e s so fb i s p h e n o l - a ，a n dt h er e s u l t ss h o wt h a t t h ep r e d i c t i o nb yr w p l si sm u c hm o r ep r e c i s e t h em a i ni d e ao fi n f e r e n t i a lc o n t r o li st oc a l c u l a t ep r i m a r yv a r i a b l ef o rf e e d b a c kc o n t r o l ， o rc a l c u l a t ei n t e r f e r e n c ef o rf e e d f o r w a r dc o n t r 0 1 a c c o r d i n gt ot h i si d e a , an e wm o d e l i n g m e t h o db a s e do no u t p u td e v i a t i o nc o r r e c t i o nt oi m p r o v et h eg e n e r a l i z a t i o na b i l i t yi sp r e s e n t e d i nt h i sp a p e r t h i sa p p r o a c hi n t r o d u c e dt h em o d e lt e s te r r o rt om o d e lo u t p u tc o r r e c t i o na n d i m p r o v e dt h ea c c u r a c yo fp r e d i c a t i o nm o d e l a tt h es a m et i m e ，i ti n t e g r a t e d 谢t l ls u p p o r t v e c t o rm a c h i n e i ti sa l s ou t i l i z e dt od e v e l o pt h es o f ts e n s o rf o rc r y s t a l l i z a t i o np r o c e s so f b i s p h e n o l a ，a n dt h er e s u l t ss h o wt h a ti th a s ab e t t e rp r e d i c t e dp r e c i s i o n k e y w o r d s ：i n f e r e n t i a le s t i m a t o r ；p a r t i a l l e a s t s q u a r e s ；c r y s t a l l i z a t i o np r o c e s s o f b i s p h e n o l - a ；s h r i n k i n g m a g n i f y i n ga p p r o a c h ；w e i g h t e ds a m p l e s ；d e v i a t i o nc o r r e c t i o n ； g e n e r a l i z a t i o na b i l i t y ； 独创性声明 本人声明所呈交的学位论文是本j , d f - 导师指导下进行的研究工作及取 得的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意 签名：日 期： 关于论文使用授权的说明 丝堕至璺! ；望 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容和纸质论文的内容相一致 保密的学位论文在解密后也遵守此规定 签名： 导师签名： 第一章绪论 第一章绪论 1 立题依据 1 1 1 推理控制 在工业控制中，由于检测装置的限制，某些过程输出的采样间隔非常大，影响了对 扰动的有效监测。这种情况常见于蒸馏塔产品的化学成分控制【l j 以及化工反应器的控制 中【2 1 。因为在这些控制系统中化学成分分析仪的检测时间长，从而导致了大采样延迟。 在实际应用中，人们一般选择与不易检测的输出量相关的一些可快速测量的中间变量直 接作为被控变量。由于传统的控制方法不能有效地处理这类问题，因而，推理控制这一 领域逐渐形成。 关于推理控制，还没有一个统一明确的定义。文 3 】指出：“所谓推理控制( 或推断 控制) 是指利用过程模型由可测输出变量( 二次变量) 将不可测的被控过程的输出变量 ( 主导变量) 推算出来，以实现反馈控制，或将不可测扰动推算出来，以实现前馈控制 的一种控制系统”。这里的可测输出变量即为辅助输出变量或称中间变量。推理控制策 略包括推理估计器和控制器的设计。现在发展起来的软测量技术就体现了推理估计器的 特点。估计器的设计是根据某种准则，选择一组既与主导变量有密切联系，又容易测量 的二次变量，通过构造某种数字关系，实现对主导变量的在线估计【4 】。 一个完整的推理控制系统的设计，一般由推理估计器的设计和推理控制器的设计两 部分组成。推理估计器的设计是推理控制系统设计的关键，推理控制器以推理估计器为 基础。没有性能优越的推理估计器，推理控制系统就不能把被控对象控制好，就不能满 足工艺的要求。推理估计器又称软传感器或软测量仪表。 1 1 2 推理估计器的设计 1 ) 二次变量的选择 二次变量的选择包括三个方面，即变量类型、变量个数和检测点的选择。在选择变 量时应考虑这三者之间的相互影响和关联，它们主要由过程特性决定。 ( 1 ) 变量类型的选择 文献 5 】给出了二次变量选择的若干原则：灵敏性、特异性、过程适用性、精确性和 鲁棒性。针对一个具体过程，其选择范围就是对象的可测变量集，通常是十分有限的。 ( 2 ) 变量个数的选择 最佳变量个数则与过程的自由度、测量噪声以及模型的不确定性有关。选择二次变 量往往先根据工艺知识，初选出与主导变量关系最为密切的变量，然后通过相关分析与 工艺专家知识相结合，最后筛选出数量上比较合适的二次变量一j 。 ( 3 ) 检测点的选择 检测点的选择方案十分灵活，般采用单值分解s v d ( s i n g u l a rv a l u ed e c o m p o s i t i o n ) 原则，选择检测点位置的方法具有定量比和精度高的特点，能适应操作点的变化【6 j 。实 际应用证明了该方法的可行性。有的也可根据投影误差最小原则去选择检测点的位置【5 】。 2 ) 输入数据的处理 江南大学硕士学位论文 输入数据的正确性和可靠性关系到估计器的输出精度，而它们常因外部污染不能直 接作为估计器的输入，因此输入数据的预处理( 数据变换和误差处理) 成为软测量技术中 必不可少的一步【_ 7 1 。该内容又包括数据变换【8 】和误差处理( 随机误差处理和过失误差处 理) 。 3 ) 推理估计器模型的建立 推理估计器模型( 也称软测量模型) 是软测量技术的核心。它不同于一般意义下的 数学模型，它强调的是通过二次变量来获得对主导变量的最优估计。推理估计器模型的 建立方法有以下几种1 6 , 1 6 j 。 ( 1 ) 机理建模 在全面深刻了解某类过程的工艺机理后，就可以根据有关的工艺机理列写有关平衡 方程式，确定不可测主导变量和可测二次变量的数学关系，建立估计主导变量的机理模 型。该方法所建立的模型有明确的物理意义，外推性能较好。但是，这类模型一般比较 复杂，模型中需要确定的系数较多，在实际使用中会遇到一些困难。特别是该法不适用 于机理尚不完全清楚的工业过程，但可与其它经验建模方法结合使用【4 5 1 。 ( 2 ) 状态空间法建模 用状态空间模型描述推理控制系统，是很直接的方式，不需要额外的模型转换。多 数是采用卡尔曼滤波技术和龙伯格观测技术进行推理估计，要求所选用的辅助输出对系 统的状态是完全可观测的，这样被控输出的估计值就能间接求得。这样的系统虽不具有 代表性，但是针对某些化工过程，它也给出了被控变量的可靠推理估计【9 1 。 s o l i m a n 等把推理估计问题分解为具有不同时间标度的两个状态估计器( 慢估计器 和快估计器) 。在形式上，形成了多率推理估计。用周期性时变p t v ( p e r i o d i ct i m ev a r i a n t ) 黎卡提方程的解，得出最优多率状态估计，从而得到被控输出的两次采样之间的估计值 【l o 】 o 状态空间法用状态空间模型描述推理控制系统，既自然又方便。但由于引入状态观 测器，需要解黎卡提方程，又要求状态可观测。这一方面增加了系统的阶次，又可能导 致不稳定的控制器，而不稳定的控制器又会破坏系统的跟踪性能。因此，状态空间法在 实际工程中的应用受到了限制。 ( 3 ) 输入输出法建模 推理估计的输入输出法最初阶段以静态估计为特色。由于工业过程主要运行于稳 态，推理估计的关键部分是稳态估计器的设计。在输入输出法的研究中，较多的是把主 级输出和辅助输出的检测量一同纳入控制中。从设计的控制器对过程主级输出来说是开 环的，要完全补偿不可测扰动和实现无差调节，需要确切知道被控过程和扰动过程的数 学模型，这在实际中是很困难。同时，过程的各参数因环境条件、生产条件而变化，又 由于设备老化和非线性，被控过程的参数会随时间而缓慢变化。自适应推理估计器更能 胜任这种被控变量与辅助变量之间的复杂和时变的关系【2 2 1 。毛可智等也给出了一种双率 自适应控制的输入输出方法【1 1 】。而多率的推理估计模型也成为现在研究的一个方向【1 2 1 。 2 第一章绪论 输入输出法描述推理控制系统的模型不断地简化和改进，从不同的角度出发，得出 的推理估计器的形式各不相同。我们可以根据实际问题的需要选择适当的形式。同时， 要看到输入输出法具有一些优点，如有利于控制系统的频域分析，便于进行自适应设计 等等。 ( 4 ) 非线性推理估计 从许多仿真结果看，当生产过程的工作情况变动范围较大时，尤其是当被控输出、 辅助输出及相关变量之间存在很强的非线性时。非线性推理估计设计要优于线性推理估 计和卡尔曼滤波。非线性推理估计的研究也很多，如非线性卡尔曼滤波、广义卡尔曼滤 波、模糊模型【13 1 、神经网络逼近【1 4 】、非线性逼近等【15 1 。其中人工智能方法兴起的时间 不长，用人工智能的方法处理非线性推理估计器技术的认识将逐步完善。 ( 5 ) 基于回归分析法建模 采用统计回归方法可建立以下推理估计模型： y = i n x 使用p c r ( p r i n c i p a lc o m p o n e n tr e g r e s s i o n ) 法将上式改写为矩阵形式： y = m t x 对上式进行s v d 分解，得到： q = t t p + t 2 匠+ + l g 建 工业过程中经常通过对生产过程的历史数据回归分析，建立控制指标的推理估计模 型，实现在线估计。而且回归分析算法简单，是建立推理估计模型的最常用方法之一。 但它需要较多的数据样本，对测量误差比较敏感【4 3 】。 4 ) 推理估计器模型的在线校正 推理估计器模型建立后，并不是一成不变的。由于测量对象的特性和工作点都可以 随时间发生变化，因此必须考虑模型的在线校正，才能适应新工作情况。推理估计器模 型的在线校正可表示为模型结构和模型参数的优化过程，具体方法有k a l m a n 滤波技术 在线修正模型参数等；更多的则利用了分析仪表的离线测量值进行在线校正【1 6 1 。在线校 正有自适应法、增量法和多时标法【4 】。根据实际过程的要求，大多采用模型参数自校正 方法。但是，尽管在线校正如此重要，目前在软测量技术中，有效的在线校正方法仍不 够多，今后必须加强这方面的研究以适应实际的需要【4 6 1 。 1 1 3 基于偏最小二乘( p l s ) 的推理估计器 关于模型： y = 薯b + 恐幺+ + 幺，y 是模型的输出，五到是模型的输 入，q 至包是模型参数。给定一组输入输出数据x 和y ，模型的参数可以从如下多元线 性回归获得：晷= ( x r x ) q x r y 。其中否= ( 盆反爹) r 是模型参数估计向量。当模型输入 变量是相关的，上式的估计不可靠，因为x r x 是奇异的。在这种情况下，偏最小二乘 回归( p a r t i a ll e a s ts q u a r e sr e g r e s s i o n ，p l s ) 就用于估计模型的参数。对于线性系统，采用 p c r 和p l s 效果相差不多；对于非线性系统，p l s 的效果更好。高惠璇【1 7 】、肖琳【1 列和 除哲【1 9 】等用具体例子对最小二乘回归( m l r ) 、主成分回归( p c r ) 和偏最小二乘回归( p l s ) 3 江南大学硕士学位论文 进行比较分析，揭示了p l s 可以提供一个较为合理的回归模型外，还可以同时完成一些 类似于主成分分析和典型相关分析的研究内容。 偏最d - - 乘回归是由s w o l d s 、c a l b a n o 等人提出的一种新型多元统计分析方法。 在因变量对多自变量的回归建模中，当各变量集合内部存在较高程度的相关性时，用偏 最小二乘回归建模分析，比一般多元回归更加有效，其结论更加可靠。近年来，该方法 在我国的经济【2 0 1 、化学【2 1 1 、交通【2 2 】、气候例等诸多领域开展很多应用研究，并取得了 较好效果。王惠文口4 】【2 5 】通过分析偏最小二乘回归对多变量信息的综合与筛选作用，揭示 了偏最小二乘回归在多重相关条件下建模的机理，同时也展示了这一新型多元分析方法 应用范围的广泛性瞵j 。 1 2 双酚a 及生产过程简介 双酚a ，英文名b i s p h e n 0 1 a ，简称b p a ，一般采用苯酚和丙酮为原料，在各种酸 性介质中催化缩合生产。是制造环氧树脂、聚碳酸酯( p c ) 、聚砜树脂等的重要原料。双 酚a 也用于制备抗氧剂、稳定剂、增塑剂、橡胶防老剂、油漆、油墨、农药等。以双酚 a 为原料的多种聚合物材料及多种制剂在化工、轻工、电子仪表、机电、交通运输、建 筑、军事、航空航天工业等现代科学技术的各个领域中得到了广泛的应用。因此，双酚 a 产品对新型合成材料的制造、应用和发展有着重要的意义。双酚a 生产工艺主要包括： 缩和反应、脱水、结晶、脱酚、裂解等单元【2 6 】。影响双酚a 和副产物形成的主要反应条 件是：反应温度、水含量、苯酚丙酮比等。为了获得b p a 的高产量，这些反应条件必 须适当选择和控制。 结晶工艺过程是将b p a 和苯酚和其他杂质分离的单元，将生成的b p a 含量低的混 合物经过反复结晶、洗涤和分离，得到基本只含有b p a 和苯酚的混合物。在整个b p a 生产流程中结晶部分起到了除杂的作用，关系到b p a 的纯度和含量，对于能否得到高 纯度的b p a 产品有至关重要的作用，是双酚a 生产工艺中十分重要的一环。结晶过程 中b p a 和苯酚的百分含量是最终的质量指标，但该指标无法在线进行测定，只能离线 分析且时间长。因此建立预报性能良好的推理估计模型，可对质量指标实时预测，为优 化生产提供指导。 1 3 国内外研究现状 早期的推理控制可以追溯到1 9 7 5 年j o s e p h 的博士论文过程推理控制。而推理控 制自从被提出以来，便在化工过程控制中起着重要的作用。1 9 9 2 年的一份i f a c 报告暖7 l 中表明了这一点。这份报告是由i f a c 应用委员会化工过程控制工作组起草的，以提高 过程控制技术基础和扫除技术障碍，最终实现商业应用为目标，提出了7 项技术前沿， 其中推理估计器列在首位。近年来，在国内外学者的不断努力下，推理估计器的理论基 础及其应用已经成为过程控制中一个较为活跃的领域。近年来不断发展的同时，表现出 一些值得注意的问题和动态，大致有下面几个方面： 1 ) 最佳推理估计器设计问题 推理估计器的研究依赖于实际工程背景，并且随着过程控制的不断进步而发展的。 在实际应用中，应该把辅助输出快速采样的优势及其含有丰富信息与控制策略结合起 4 第一章绪论 来，对于不同的过程总有最佳的推理估计器存在，究竟怎样设计，要视被控过程特点而 定。推理估计模型的设计问题也是推理控制的关键问题。 2 ) 有效的输入输出模型 由于被控变量大部分时间得不到采样值，一般输入输出模型对系统的描述是无效 的。因此是否能找到能恰当的描述系统特性又能把推理估计器和控制器的设计有机地结 合起来的输入输出模型，是值得研究的内容。 3 ) 最优化方法的选择 h 。最优化方法比h 2 最优化方法更加直接地提高推理估计器的鲁棒性，更方便地进 行鲁棒性分析。把h 。优化法和鲁棒辨识法融合于推理估计器的设计中，是很有意义的 探索。 4 ) 人工智能方法的尽快引入 人工智能方法如神经网络、模糊规则、遗传算法等，不但在理论上已经得到了不断 的完善，而且在实际应用中也有了很多成功的例子。所以人工智能方法也将是众多可以 提高控制质量方案中重要的一部分。 5 ) 推理估计器技术的应用 推理估计器技术是工业过程优化和分析的有力工具，由于工业过程的复杂性决定了 不可能只采用一种技术就可完美地解决建模和控制问题，因此，要将各种技术有机地结 合起来，已成为今后研究和应用的潮流。 1 4 论文内容安排 用何种方法设计一个推理估计器、提高该方法的泛化能力并将其应用于化工建模一 双酚a 的生产过程，是一个系统性的课题，也是该领域的最重要的组成部分。本文主要 针对提高设计推理估计器的方法的泛化能力和预测能力进行一些探讨，全文共分六章： 第一章绪论 主要介绍推理估计器的理论背景及研究现状和双酚a 的简介。对推理估计器基本设 计方法做了简要的介绍，推理估计器模型的建立是推理控制系统的核心。 第二章偏最小二乘回归算法介绍 主要是关于偏最小二乘方法的基本情况，详细介绍了线性p l s 和非线性p l s 的算 法。 第三章偏最d - - 乘回归模型的泛化能力改进研究 为提高推理估计器模型的泛化能力，鉴于已有算法的优缺点，提出了可以提高p l s 的泛化能力的r 算法，并用实验证明了其可行性。 第四章可调权重偏最小二乘方法及其在双酚a 结晶过程中的应用 考虑到不同样本对模型的影响能力不同，结合权值思想，本章提出了可调偏最小二 乘方法，用重新分配了权值的样本进行训练，得到泛化能力更强的模型。将可调偏最小 = 乘方法应用于双酚a 结晶过程软测量建模，可以获得更高精度的模型。 第五章基于偏差校正的建模法在b p a 结晶过程中的应用 江南大学硕士学位论文 推理估计器模型的预测精度是衡量一个模型好坏的最重要标准，而在实际工程应用 中，模型的精度往往不能令人满意，如何有效的提高模型精度便成了一个焦点的问题。 本章提出了一种基于偏差校正和支持向量机相结合的算法，并实际用于双酚a 结晶过程 的推理估计模型中，获得了比单纯支持向量机更精确的预测模型。本章还简要介绍了支 持向量机的基本知识。 第六章总结与展望 对本文工作作了总结，并对今后的研究方向作了进一步的探讨与展望。 6 第二章偏最d - - 乘回归( p l s ) 算法介绍 第二章偏最小二乘回归( p l s ) 算法介绍 2 1 引言 偏最d , - 乘回归是一种多元统计数据分析方法。近些年来，它在理论、方法和应用 方面都得到了迅速的发展。许多统计学家开始致力于其理论研究，而它在应用方面的巨 大发展前景正受到越来越多人的关注。p l s 的重要性主要有以下几个方面【2 5 】： 1 ) p l s 是一种多因变量对多自变量的回归建模方法。特别当各自变量集合内部存在 较高程度的相关性时，用p l s 方法进行回归建模分析，比对逐个因变量作多元回归更加 有效，其结论更加可靠，整体性更强。 2 ) p l s 可以较好的解决许多以往用普通多元回归方法无法解决的问题。在普通的多 元线性回归的应用中，经常受到许多限制。最典型的问题就是自变量之间的多重相关性， 多指标系统常存在严重的多重相关性，在多元回归分析中，如果采用普通的最小二乘方 法，这种变量多重相关性就会严重危害参数估计，扩大模型误差，并破坏模型的稳健性。 另一个在使用普通多元回归时经常受到的限制，是样本点数量不宜太少。普通多元回归 对在样本点数量小于变量个数时的建模分析是完全无能为力的，而这个问题的数学本质 与变量多重相关性十分类似。因此，采用偏最t j 、- 乘回归方法，也可以较好的得到解决。 3 ) p l s 可以实现多种数据分析方法的综合应用。p l s 可以集多元线性回归分析、典 型相关分析和主成分分析的基本功能为一体，将模型预测类型的分析方法与非模型式的 数据认识性分析方法有机的结合起来。而且p l s 在建模的同时实现了数据结构的简化， 可以在二维平面图上对多维数据的特性进行观察，这也使得p l s 分析方法的图形功能十 分强大。在一次p l s 分析计算后，不但可以得到多因变量对多自变量的回归建模，而且 可以在平面图上直接观察两组变量之间的相关关系，以及观察样本点的相似性结构，使 数据系统的分析内容更加丰富，同时又可以对所建立的回归模型给予许多更详细深入的 实际解释。 2 2 标准p l s 算法 2 2 1 线性p l s 将输入变量x 和输出变量y 的得分矩阵进行线性回归。一个偏最小二乘模型包括 外部关系( x 和y 分别进行分解) 和内部关系( 连接x 和2 引。 输入变量矩阵x 的外部关系可以写为 口 r x = t p r + e = 厶p + e h = l h 输出变量矩阵y 的外部关系可以写为 口 r r = u q r + f = 蚝g + f h = l h 如果采用足够多的特征向量( 即足够大的a ) ，可以使e = f = 0 。偏最小二乘建模的 目标是使0fi i 尽可能的小，同时得到x 和y 间的关系。偏最小二乘的内部关系可以写 7 江南大学硕士学位论文 为玩= 6 厶。其中6 。= 彳f 。在实际计算中，为了保持u h 和t h 更多地具有对方 的信息，偏最小二乘采用下列递推算法。 假设输入输出变量x 和y 都已经过归一化处理，即为减去各自的均值并除以各自 的标准差后得到的数据。 ( 1 ) 取e o = x ，f o = y ，h = l ： ( 2 ) 取y 的某一列作为u h ，即u h = f j ； ( 3 ) 外部变换： w y 私h ) 将嵋规范化： w 二2 二i ii i “= e 一l w g 二= f p h - , l r 将q n 规范化： 小：l l14i l u h5 吒一l 吼 n 重复上述步骤，直到收敛。检查是否收敛的方法是看t h 与上次的差是否在范围之内； ( 4 ) 计算x 的负荷向量p h ： 薪厶) 使p h 规范化： 小。i ii | f 。= f 。i i p 0 w 。= w 慨0 ( 5 ) 求解内部关系系数巩： ”砰 ( 6 ) 计算误差： e h = e h 4 - - t h 蠢 最= 只，一坟f 。牙： 第二章偏最d - - - - 乘回归( p l s ) 算法介绍 ( 7 ) 决定特征向量的个数：如果上述模型不满足精度，令h = h + l ，返回( 2 ) ，否则结 束。 2 2 2 非线性p l s 对于线性系统，通常可由交叉验证等方法选定前几个主要的p l s 成分，其余成分则 被视为随机噪声或可忽略的复共线性因素。然而对非线性系统，这些成分可能还包括着 很重要的非线性信息。非线性偏最小二乘( n o n 1 i n e a rp a r t i a ll e a s ts q u a r e ，n l p l s ) 模型 应避免丢失这些有用的信息，它们既要克服自变量间的相关性，又能反映出自变量与因 变量间的非线性关系。这样的模型会有相当高的拟合精度，并能得到足够准确的预测结 果，因此也是相当稳健的【2 9 1 。 一基于样本矩阵非线性变换的n l p l s 采用自变量的一种非线性形式拟合因变量，且待定参数为线性的，这是较为常用又 易于实施的方法。这相当于对x 矩阵先作非线性变换，然后再用线性的p l s 方法处理。 设有n 个样本，每个样本有1 个自变量，n 1 个因变量，它们构成自变量矩阵w n l 和因 变量矩阵y n m 。 1 ) 样本矩阵的二次变换( s q u a r e d x ) 在很多情况下多项式是一种恰当的选择，为此需在x 矩阵中添加一个非线性部分， 它由各自变量的高次项和交积项组成。这些添加项的系数还是线性的，该方法在本质上 仍然是线性的，故称为线性多项式偏最小二乘法l i n p p l s ( l i n e a rp o l y n o m i a lp l s ) ，尤 适用于非线性程度不太高的情况。此时往往只需添加自变量的平方项和交积项，n x ( 1 + s ) 维的新自变量数据矩阵列，其中， s ：，+ ( ，一1 ) + ( ，一2 ) + + 1 = 塑王旦 2 x = 【以啪】 ( 2 - 1 ) 其中，前l 列的) ( o i d 等同于原矩阵x ，s 后列为新添加的二次项矩阵) ( c 她，各元素应为 ( f _ 1 ，2 ，n ；j ，k = 1 ，2 ，l ；j 七) ，此后即可对x 与y 执行偏最小二乘算法【3 9 1 。 2 ) 基于c h c b y s h c v 多形式的偏最小二乘法( c h b p l s ) 根据逼近理论，有界闭区域上五，五，五的连续函数，可以用五，五，x 。的多 项式逼近。多项式形式多样，在没有误差的情况下，各种表达形式等价。但是，实际问 题大多存在误差，此时采用不同的表达形式，将对所建模型的预测效果产生重要影响。 对此，c h c b y s h e v 多项式是较好的选择，它在 - l ，1 内中心展开，具有最佳一致逼近等很 多优良性能，适用于数据拟合。选用由c h e b y s h e v 多项式构成的多元多项式为基底的线 性参数模型，其参数个数往往大于样本容量，应用偏最小二乘法可以较好地解决该难题。 这种基于c h e b y s h c v 多项式的偏最小二乘算法简记为c h b p l s 。 c h b p l s 模型的形式可记为 y = p o + 蝎岛七巧屯蝎b ( 2 2 ) 9 江南大学硕士学位论文 其中，矸 是x ，的k ，次c h e b y s h e v 多项式，j = 1 ，2 ，z 。又a j x ，6 ，应对x ，先执 行线性变换：塑譬型，使取值范围为【一1 ，1 】。故巧屯实为巧勺) 垄型。式( 2 2 ) b j a j b j a i 的各项为多元c h e b y s h e v 多项式，0 毛，也，岛k ，k 为单个c h e b y s h e v 多项式最高 次。q 为项数，其取值可用交叉验证方式，以预测误差小为准则自适应的确定。 该法经数值试验，证明由它建立的模型有良好的预测效果，并且在优化腐蚀箔工艺 配方等研究工作中取得了较好的效果。c h b p l s 方法充分利用了c h e b y s h e v 多项式和 p l s 两者的优点，当有误差干扰且变量数据偏离原点时，由本算法所建的模型，其预测效 果明显优于传统多项式模型，即稳健性有提高。但当自变量数目较大时，高次项数目会成 指数增长，算法的建模速度将明显减慢1 2 抚4 2 j 。 3 ) 基于机理的样本矩阵变换( s q u a r e d xp l sb a s e do nm e c h a n i s m ) 从根本上说，模型的正确选择应由问题本身的机理所确定，通常的数据处理采用统 计方法，实为不得已。由此提出样本矩阵的变换应尽可能从机理出发，即使部分的也好。 文献 4 7 针对吸收光谱和其他仪器的测量数据存在软饱和类型的非线性现象，可以 认为吸收光谱中某一限定值以下，其吸收现象是线性的，而高于该限定值的部分则为非 线性响应。对于一组需进行多元校正的吸收光谱，可先通过数值优化技术确定该限定值 k ，将低于k 的光谱部分以线性形式保留，对余下的部分则经非线性处理后( 通常是取 其平方值) 再加入原样本矩阵，从而形成新的自变量矩阵。由于引入了有关体系的机理， 将使模型的物理意义更为明确，并可减少计算量。该技术的有效运用，还可减少实验中 的一些额外工作，如稀释样品、改变比色皿以及其他将吸收光谱从高吸收区移向线性区 的操作。该法在利用氧化还原指示剂对一种氧化剂的定量分析中已得到应用，较为准确 地通过紫外一可见光谱预测了化合物的浓度【4 。 二基于内部非线性映射到p l s ( i n n e rn o n - l i n e a tp l s ) 上面提到的在x 矩阵中添加非线性项，然后应用线性p l s 方法建模。其主要缺点 有：难以确定添加什么非线性项。由此易造成模型拟合欠佳的后果：当采用多项式逼近 时，将会增添过多的项，并可能影响预测效果。另外，对结果很难作出解释。对此，w o l d 等提出改造n i p a l s 算法，对每次提取的t i 和u i 成分实施非线性映射：u t = 厂( t ) + 玛， 庇为残差向量，亦即将内部映射非线性化，对于两个一维变量而言，显然较易实现。这 是一种更为结构化的方法，可以更好地保留p l s 的优良性能，构建成简洁稳健的模型。 根据处理方式的不同，可以将这种方法分为以下4 类。 1 ) 基于多项式非线性关系的偏最d x - - 乘法p p l s ( p o l y n o m i a lp l s ) w o l d 等最早提出对内部映射采用多项式，在一般应用中二次以上项的影响很小， 可以忽略，即有“= c o + g ，- i - c 2 t 2 + h ，此时为执行n i p a l s 算法，两个外部线性映射形式 上与线性p l s 的相同，它们和内部映射组合构建为q u a d r a t i cp l s ( q p l s ) ，w o l d 等认 为对权矢量w 的调整则应计及非线性内部映射的结果，亦即在新露的基础上调整w ，从 而使y 能被尽可能少的p l s 成分t 非线性地充分解释。这类方法已在高度非线性数学 1 0 第二章偏最小二乘回归( p l s ) 算法介绍 方程中拟合，以及在工业p h 值中和系统工业流动床反应器中得到应用和推广，与其他 方法进行比较，显示出较强的预测能力，并越来越受到重视。该方法的估算求解过程较 为繁杂，收敛也较慢。但w o l d 为非线性p l s 算法的结构化作了开创性的工作，以后的 很多非线性p l s 算法都以此为基础1 4 邑甜】。 2 ) 基于样条函数内部隐身的偏最t b - - 乘法s p l p l s ( s p l i n cp l s ) 多项式映射，当阶数较低时，无法表达复杂的