（控制理论与控制工程专业论文）数据校正技术研究.pdf

硕士论文 数据校正技术研究 摘要 现代企业每天都采集大量的测量数据，而这些数据能够反映企业生产装置的运行状 况，是企业进行各种工作的基础。在实际生产中，测量数据往往不准确，甚至带有显著 误差，直接使用这些数据会令企业的各项工作无法有效进行，而且也会产生很大的经济 损失。因此要对测量数据进行校正，获取高质量、高可靠的数据。本文针对显著误差的 检测方法进行了分析和研究，并对其中的不足之处作了改进。主要研究内容如下： ( 1 ) 分析了原有m t - n t 法中存在的问题，提出了一种改进的方法。该方法在检测出 显著误差后，不是对其测量值进行校正，而是对其方差进行校正，并用校正后的方差代 替原来的方差来参与计算。该法能够避免系数矩阵因降秩而产生奇异的问题，同时改进 的方法也减少了误判。仿真研究表明该方法的有效性。 ( 2 ) 针对使用广义似然比法进行显著误差检测时可能出现的误判现象，引入了节点 检验法，提出了一种改进的广义似然比法。改进的方法通过对广义似然比法检测出来的 显著误差进行再判断，在一定程度上避免了误判。仿真研究结果表明其有效性。 ( 3 ) 研究了顺序识别同步补偿法中存在的问题，并通过引入线性组合技术，提出了 一种改进的方法。该方法能够有效地减少侯选显著误差集合中变量的个数，从而在一定 程度上减小了出现误判的概率，同时该方法也避免了求投影矩阵的问题。 ( 4 ) 介绍了几种常用的数据分类方法，并通过实例仿真对其进行了研究、比较。 关键词：数据校正，m t - n t 法，g l r n t 法，线性组合 a b s t r a c t e v e r yd a ym o d e me n t e r p r i s e sa r ec o l l e c t i n gal a r g ea m o u n to fm e a s u r e m e n t s t h e s e m e a s u r e m e n t sc a nr e f l e c tt h eo p e r a t i n gc o n d i t i o n so fp r o d u c t i o nd e v i c e s ，a n di sa l s ot h eb a s i s o fv a r i o u sw o r k p r o c e s sm e a s u r e m e n t sa r eo f t e ni n a c c u r a t e ，a n de v e nc o n t a i ng r o s se r r o r s i f t h e s em e a s u r e m e n t sw i t hg r o s se r r o r sa r ed i r e c t l yu s e d ，t h ee n t e r p r i s e sc a nn o te f f e c t i v e l y c a r r yo u tt h ew o r k , a n de v e nh a v eag r e a te c o n o m i cl o s s s oi t i sn e c e s s a r yt oc o r r e c t m e a s u r e m e n t st oo b t a i nh i g hq u a l i t ya n dr e l i a b i l i t yd a t af o rp r o c e s si n d u s t r i e s i nt h i s d i s s e r t a t i o n ，s o m em e t h o d so fg r o s se r r o rd e t e c t i o na r ea n a l y z e da n ds t u d i e d t h e nt h e m e t h o d sw i t hs o m ed e f c c t sa l ei m p r o v e d t h em a i nc o n t r i b u t i o n so ft h i sd i s s e r t a t i o na r e d e s c r i b e da sf o l l o w s ： ( 1 ) s o m ep r o b l e m so fm t - n tm e t h o da r ed i s c u s s e d ，t h e na ni m p r o v e dm e t h o di s p r o p o s e d a f t e r ag r o s se r r o ri sd e t e c t e d ，i t sv a r i a n c ei n s t e a do fi t sv a l u ei sc o r r e c t e d ，a n dt h e n i t so r i g i n a lv a r i a n c ei sr e p l a c e dw i t hc o r r e c t e dv a l u e t h ei m p r o v e dm e t h o dc a no v e r c o m et h e d e c r e a s eo fc o e f f i c i e n tm a t r i xr a n ka n da l s or e d u c et h ep r o b a b i l i t yo fm i s i d e n t i f i c a t i o n t h e s i m u l a t i o nr e s u l t ss h o wt h a tt h i sm e t h o di se f f e c t i v e ( 2 ) t os o l v et h em i s j u d g m e n to fg e n e r a l i z e dl i k e l i h o o dr a t i o ( g l r ) m e t h o d ，n o d a l t e s t m e t h o di si n t r o d u c e d ，a n dt h e nac o m b i n e dm e t h o di sp r o p o s e d a f t e rag r o s se r r o ri sd e t e c t e d b yg l rm e t h o d ，n o d a lt e s tm e t h o dw i l lt e s tt h eg r o s se r r o rd e t e c t e da g a i n t h ec o m b i n e d m e t h o dc a na v o i dt h em i s j u d g m e n tt oac e r t a i ne x t e n t a n dt h es i m u l a t i o nr e s u l t ss h o wi t s e f f e c t i v e n e s s ( 3 ) t h ep r o b l e m so fs e r i a l i d e n t i f i c a t i o nw i t hc o l l e c t i v ec o m p e n s a t i o nm e t h o da r e a n a l y z e da n dd i s c u s s e d a f t e rt h a t t h el i n e a rc o m b i n a t i o nt e c h n i q u ei si n t r o d u c e d ，a n dt h e n a i li m p r o v e dm e t h o di sp r e s e n t e d t h em e t h o dc a i lr e d u c et h en u m b e ro fv a r i a b l e si nt h es e to f c a n d i d a t eg r o s se r r o r s ，s ot h a ti tc a nr e d u c et h ep r o b a b i l i t yo fm i s i d e n t i f i c a t i o n b e s i d e s ，t h i s m e t h o dc a na l s oa v o i dt h ec o m p u t a t i o no f p r o j e c tm a t r i x ( 4 ) s e v e r a lc o m m o nm e t h o d so fd a t ac l a s s i f i c a t i o n a r ei n t r o d u c e d ，a n dt h e nt h e s e m e t h o d sa r es t u d i e da n dc o m p a r e db ys i m u l a t i o n k e yw o r d s ：d a t ar e c t i f i c a t i o n ，m t - n tm e t h o d ，g l r - n tm e t h o d ，l i n e a rc o m b i n a t i o n u 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名： 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名： 硕士论文数据校正技术研究 1 绪论 1 1 引言 目前，工业依旧是我国的支柱产业，在国民经济中占有举足轻重的地位。工业过程 是一个复杂的大系统，涉及的过程因而也非常的复杂。随着过程系统的大型化、综合化、 信息化以及复杂化，系统建模和过程控制难度等越来越大。而计算机技术的不断发展， 计算机的广泛应用，使得企业的信息化程度加大。现在各种传感器等在企业工厂中遍布 可见，而且传感器采集速度快，短时间内可以采集大量的数据。这些大量的测量数据能 够反映工业过程中各种装置的运行状况。通过这些测量数据可以对企业进行生产调度、 计划管理以及掌握设备的运行状况等；有时还可以确定数学模型中的未知参数，实现过 程监控、最优化控制等；另外还可以根据测量数据做出单元设备的物料衡算和热量衡算， 为设计提供数据等等。而这些工作要大量依赖于准确的测量数据。然而，由于测量数据 不可避免的带有随机误差，甚至是显著误差，这就使得测量值不再真实的反映生产状况。 由于这些测量数据是关于系统状态的基本信息，甚至是唯一的信息。如何保证这些测量 数据的真实性、可靠性，成为企业工厂等不得不面临的一个关键问题。 一般来说，工业过程中每天采集到的大量数据，主要包括物料流率、组分、温度、 压力、液位等。这些测量数据能够反映装置的运行状况，是企业实现计算机过程控制、 模拟、优化以及生产管理的基本依据。其理论上应该满足一定的内在规律，如物料平衡、 能量平衡等，但是实际上由于受到一些因素，这些现场数据，不可避免的带有一定的误 差，从而不准确，因而也就无法准确地满足那些约束要求了。因此，对过程测量数据进 行筛选加工，以获得高质量、高可靠的数据，用以正确的指导操作、生产和管理，是上 个世纪六十年代以来愈来愈重要的研究课题。 通常，测量数据的误差可分为随机误差( r a n d o me r r o r ) 和显著误差( g r o s se r r o r ) 两大 类。任何采集到的测量数据都不可能为真实值，都带有随机误差，这是一种受随机因素 的影响而产生的，服从一定的统计规律的误差。而显著误差则是由于测量仪表或传感器 精度下降、操作不稳定或设备、管道有泄漏等因素造成的。同时，由于受到其他条件的 限制，比如采样条件不允许、安装的测试仪器仪表价格昂贵、测量技术不可行等，并非 所有需要的变量都是可以测量的，因而也就无法从现场采集到，这就使得所需要的数据 不再完整。显然，数据的不准确性、不完整性和不可靠性，给过程分析和研究工作带来 了大量的困难，也使得许多过程优化、控制等无法有效地发挥作用，甚至造成决策的偏 差。目前许多建好的和正在开发建设的企业综合自动化系统，也都受到了数据不完整性、 不准确性、不可靠性的困扰。随着系统规模的不断扩大和复杂性的提高，这些问题将更 加突出。因此，在采用这些测量数据进行各项工作之前，必须先进行校正，使其更加真 1 一 1 绪论硕士论文 实、准确。而对于那些需要而又因各种因素无法采集的测量数据，要利用已有的测量数 据通过某种关系约束对其进行合理的估计。由于测量数据对系统研究、分析、控制、优 化等有非常重要的作用，因此确保数据的准确性、可靠性和完整性就显得尤为重要。而 数据校正技术作为- - 1 3 能够确保数据准确性、可靠性以及完整性的智能数据处理技术， 将会发挥越来越大的作用【l j 。 数据校正就是综合利用各种统计分析方法、辨识和优化技术等，对采集到的测量数 据进行校正，剔除其中的显著误差、或对含有显著误差的测量数据进行重新估计，并降 低随机误差的影响，使其满足一定的约束条件，同时还要设法估计出未测变量的值。数 据校正的目的其实就是提高数据的精确性、可靠性和完整性，增加有用的信息。随着 m e s 等越来越多的应用于过程工业中，准确可靠的数据显得尤为重要。 利用校正后的可靠数据，不仅可用于装置的模拟优化，确定最佳操作参数，指导现 场控制操作与生产集成管理，从而达到提高生产稳定性和产品质量、降低成本、节能降 耗等目的；还可为仪表管理和操作人员诊断仪表偏差、排除仪表故障等提供参考依据。 目前，数据校正在工程应用方面主要有两个：第一，应用在生产装置级或操作单元级， 主要为流程模拟、过程控制与优化提供满足物料、能量平衡的操作数据；第二，应用在 全厂级，为全厂物料、能量平衡计算、生产统计、计划调度及计算机信息集成系统的其 他应用软件，提供准确、可靠的物料流和能量流数据。 1 2 数据校正技术的发展概述 数据校正技术最早可以追溯n - - 十世纪六十年代，由k u e h n 和d a v i d s o n 在研究计 算机控制工艺过程时提出的【2 】。经过近5 0 年的发展，数据校正技术不仅在理论方面得到 广泛、深入的研究，而且在工程实践方面也得到广泛的重视和应用，越来越多的行业特 别是石油、化工等流程工业得到广泛的应用，甚至连能源、食品、制药和造纸等一些行 业也得到实施和应用。如今数据校正技术已经发展成为一个跨多学科的交叉性学科领 域，它不仅结合了统计分析、系统建模、最优化理论等方面的学科，而且也涉及了图论、 系统工程、信号处理、人工智能等学科领域。其研究内容主要包括数据协调、显著误差 检测以及测量网冗余性分析研究等三个方面。 1 2 1 数据协调的研究动态 数据协调算法最早出自于化工领域。1 9 6 1 年，k u e h n 和d a v i d s o n 在研究计算机控 制工艺过程时，首次提出要对过程测量数据进行协调，并且还提出协调的准则，即在满 足物料平衡和热量平衡的条件下，要求协调值和它相应的测量值的偏差的平方和最d d 2 。 从数学角度来说，就是求满足一组等式方程的最小二乘解。但是，那时由于没有注意到 测量数据中可能含有显著误差，因而也就没有提出关于显著误差的检测方法。 2 硕士论文数据校正技术研究 自此之后，国外学者开始了对数据协调的研究。这些研究主要集中在线性稳态方面， 而且出现了不少成果。 n o g i t a 3 】在1 9 7 2 年对线性物料平衡方程进行研究时，提出了用正态统计量进行检验 的一致性准则，并建立了侦破和识别显著误差的算法。而后m u r t h y r 4 】针对反应器的物料 平衡算法进行了专门研究。而m a d r o n 5 】等人又在此基础上研究了非线性的物料平衡方 程，并提出了z 2 统计量，通过先进行数据的一致性检验，再识别显著误差的策略来进 行数据校正，该思路与n o g i t a 的正好相反，而且也更为合理。 但在实际工业过程中，系统并不是经常处于稳态条件下工作，而且也不可能真正处 于稳态条件下，多数处于动态条件或者“准稳态”条件下。准稳态的概念最初由s t a n l e y 和m a l l 于1 9 7 7 年提出。他们指出准稳态就是一种除了偶尔的突变和缓慢的漂移外，过 程都处在稳态的情况，并且还提出了一种解决该类问题的方法：k a l m a n 滤波法【6 】。 从上个世纪8 0 年代起，非线性数据协调和动态数据协调问题开始得到学者广泛的 重视，并且对其进行了大量的研究。对于非线性数据协调问题的求解一般采用数值迭代 法，如拟n e w t o n 法，m a d r o n 的线性化法和k n e p p e r 的常方向法等。对非线性数据协调 问题的探讨和研究最在1 9 7 7 年就开始了。在非线性约束中，有一类双线性约束，如能 量平衡方程中的质量流量和热焓的乘积，组分流率平衡方程中的总流率和浓度的乘积 等，这种由两种变量乘积组成的非线性约束在工业工程中非常常见。这也是近几十年来 的一个研究热点。针对该类问题，c r o w e 7 , s j 提出了投影矩阵法，通过构造投影矩阵，将 双线性约束转换成线性约束，然后再进行求解。v e v e r k a 则是利用雅可比矩阵进行约束 方程的转换 9 】。m e y e r 等【1 0 】则是进行了冗余性分析研究，将得到的冗余约束方程作为新 的约束方程，然后再进行简化求解。s i m p s o n 等根据过程流程图划分出独立物流，也提 出了一种解决方、法【j 。r a o 等则研究了c r o w e 和s i m p s o n 的方法，并且认为s i m p s o n 法 更简单、更快、更准确【i2 。2 0 0 4 年金思毅等则在s i m p s o n 法基础上，通过在目标函数 中引入组分独立物流和总独立物流的平衡约束，解决了多组分情况下组分流率与总流率 不平衡的缺陷，并将其扩展到无反应节点的情况【l3 1 。李红军等人在研究双线性约束问题 时，通过引入测度因子，将其转换成线性问题，并由此研究出了一种迭代求解方法【l4 1 。 2 0 0 2 年z h a n g 等研究了双线性约束过程中的冗余度问题，通过引入调度约束方程增加了 冗余度【l5 1 。2 0 0 5 年w o n g r a t 等【l6 】在解决非线性稳态数据校正问题时，引入了遗传算法。 该法不需要进行复杂的计算，但是需要合适的遗传算法参数，而且耗费较长的时间。 动态数据校正技术是针对动态过程而言的，动态过程中变量测量与时间有关。早在 1 9 7 3 年就有人提出了动态数据协调模型，从而揭开了研究该类问题的序幕。解决该类问 题一般采用k a l m a n 滤波、非线性化和神经元网络等方法。k a l m a n 滤波法早在1 9 7 7 年 就已经提出来了，而后d a r o u a c h 等对k a l m a n 滤波进行了改进，提出了扩展的k a l m a n 滤波法，并将其应用于广义线性动态系统中【l7 1 。但是k a l m a n 滤波及扩展的k a l m a n 滤 1 绪论硕士论文 波法都要求模型必须是线性的或者能够线性化的，而且易受状态变量初始值的影响，此 外模型的误差也会影响到数据的协调结果。k a r j a l a 等【l 驯人通过泰勒级数展开将非线性 模型线性化，从而也可用卡尔曼滤波法解决该类非线性问题，这大大延伸了卡尔曼滤波 法的使用范围。 在研究非线性动态数据协调问题中，l i e b m a n 等人提出了非线性规划法( n o n l i n e a r p r o g r a m m i n g ，n l p ) t 1 9 】。而r a m a m u r t h i 等人则在此基础上提出了分段线性化的方法【2 0 】， 将非线性问题转换成线性问题，从而简化了问题的复杂度。在针对含有显著误差的情况， s o d e r s t o r m 等人提出了m i l p 法，将数据协调、参数估计及显著误差检测等三者一起同 时进行计算的解决方案【2 1 1 。然而这些方法仍不能满足在线动态数据校正的要求。2 0 0 8 年童力研究了基于有限元正交配置法的非线性动态数据校正技术，并且分别讨论了配置 点个数、有限元数目以及区间长度的选取对该法校正精度的影响【2 2 挪】。 1 9 9 4 年，k a 巧a l a 等人在研究非线性动态数据协调问题时提出先利用神经元网络获 取系统的状态空间模型，然后再利用卡尔曼滤波法进行解决的方法阱】。m e e r t 则研究了 实时自回归学习神经元网络。2 0 0 3 年周传光等研究了反馈神经网络在动态数据校正中的 应用，并给出了自反馈增益神经网络的模型和训练算法【2 5 1 。由于神经元网络不需要掌握 过程本身的精确模型，也不需要先验知识，因而可以避免因模型不准确而可能带来的校 正误差。但是它需要大量的训练样本，而且操作条件发生变化时需要重新进行训练。 此外，在动态数据协调算法当中有一种比较实用的方法叫积分法。因使用积分法进 行动态数据协调具有简单、快速和适于在线应用等诸多优点，有很多专家学者对此进行 了研究。最早对此进行研究的是b a g a j e w i e z 、j i a n g 等人【2 6 1 ，而后b i n d e r 等人引入多尺 度理论，将积分法中多项式拟合的粗糙近似提升n t 精确近似【27 1 。2 0 0 6 年童力等人也 对积分法进行了研列2 3 , 2 8 。使用该方法不仅不需要状态空间模型，而且还能够充分利用 时间冗余信息。但是由于该法采用多项式拟合，当区间长度选择不同时，拟合函数的拟 合精度也就不一样，因此区间长度会对校正精度产生影响。如果选择不当，将产生严重 后果。因此，采用积分法进行数据校正时首先要确定合适的区间长度。 在传统的数据协调模型当中，当测量数据中含有显著误差时，协调模型会将显著误 差分散到各个测量值中去，造成数据的校正值不精确。针对这一缺陷，李津蓉等【2 9 娜川 提出了一种新的数据协调模型，通过添加约束条件，并引入罚函数，将原有的约束条件 以软约束的形式表示。改进后模型只会对含有显著误差的测量值给予较大的协调量，而 对其他测量值的影响较小。因而该协调模型避免了传统模型的缺陷，具有较高的鲁棒性， 且该方法也适用于实际的工业生产过程。 目前，对数据协调问题的研究已经进行了很多年，也出现了很多研究成果。不管是 研究基本成熟的稳态数据协调，还是研究处于热点的动态数据协调或是非线性数据协 调，各种方法层出不穷，但都还存在各种问题，例如计算复杂，不适合要求时间苛刻的 4 硕士论文 数据校正技术研究 场合，难以适应突变状况等等，很难在实际工程中得到广泛应用。即使在实际工程中得 到应用，也会因缺乏与实际紧密结合而遇到很多意想不到的问题，影响校正效果。 1 2 2 显著误差检测的发展现状 在进行数据协调时，往往假设数据测量值不存在显著误差，但实际上由于测量仪表 或传感器失灵、操作不稳定、设备有泄露等原因，使得测得的数据中含有显著误差。一 般来说，在测量数据中含有显著误差的仅仅只占很小部分，但是它的存在能够严重破 坏数据的统计特性，也失去了对系统的真实了解，特别是在工业生产中，将会带来很大 的经济损失，因此在进行数据校正时必须对显著误差进行检测、剔除或校正。可见显著 误差检测在数据校正技术中占有非常重要的地位。 对显著误差的检测最早可以追溯到1 9 6 3 年。自此之后，研究学者们开始越来越多 的关注显著误差的检测和识别，并提出了许多检测方法，主要有： ( 1 ) 基于测量残差的检测方法，主要包括测量检验法( m e a s u r e m e n tt e s t ，m t ) 、迭代 测量检验法( i t e r a t i o nm e a s u r e m e n tt e s t , i m t ) 、修正的迭代测量检验法( m o d i f i e di t e r a t i o n m e a s u r e = i u a e n tt e s t ，m i m t ) 和动态测量检验法( d y n a m i cm e a s u r e m e n tt e s t ，d m t ) 等； ( 2 ) 基于约束残差的检测方法，主要包括整体检验法( g l o b a lt e s t ，g t ) 、节点检验法 ( n o d a lt e s t ，n t ) 和广义似然比法( g e n e r a l i z e dl i k e l i h o o dr a t i o ，g l r ) 等； ( 3 ) 其他检测方法，如贝叶斯法、主元分析法( p r i n c i p l ec o m p o n e n ta n a l y s i s ，p c a ) 、 混合整数规划法( m i x e di n t e g e rp r o g r a m m i n g ，m i p ) 等。 早在1 9 6 3 年，r e i l l y 等人就指出显著误差的存在会对数据协调的结果产生影响，并 提出了c h i s q u a r e 整体检验法( g t ) 3 2 】。该法利用系统的全部约束残差构造了一个z 2 检 验统计量，然后用该统计量进行检验，如果其超过临界值，则整个系统就存在显著误差， 否则就不存在显著误差。1 9 6 5 年，r i p p s 指出含有显著误差的测量数据会影响数据协调 结果的准确性，并提出可以通过逐次剔除来检测显著误差【3 3 】。此后，a l m a s y 、s z t a n o 以及m a d r o n 等也分别提出了类似的整体检验法【5 3 4 。但是整体检验法只能识别显著误差 的存在，而不能找到哪些测量数据含有显著误差，因而还需要借助其他检测方法。 1 9 7 5 年，a l m a s y 和s z t a n o 提出了测量检验法( m t ) p 4 】，该法利用测量值与其协调值 之间的相对大小来判断是否存在显著误差。该方法可直接检测各个测量变量，因而可直 接定位显著误差，但是由于需要先进行数据协调，这样就会把显著误差分散到其它数据 中去，因而可能出现“虚警错误，将不存在显著误差的测量数据判断成含有显著误差。 1 9 8 2 年，m a l l 和t a m h a n e 等人也对测量检验法进行了研列3 5 】。此后，学者们又对该方 法进行了改进，出现了迭代测量检验法0 m t ) 和修正的迭代测量检验法( m i m t ) 等。i m t 法只剔除偏离临界值最大的测量数据，因而可以避免虚警错误，但会出现漏报错误。而 m i m t 法由于引入了测量值的上下限约束，较好的解决了这现象，而且该方法具有较 5 i 绪论硕士论文 高的功效、较快的运算速度以及较高的误差去除比等优点。但是它仍然不能保证得到的 估计值都能够满足上下限的约束。此外，r o s e n b e r g 等提出了动态测量检验法( d m t ) 等。 1 9 6 3 年，r e i l l y 还提出了一种不同于整体检验法的方法：节点检验法( n t ) p 2 j 。该法 是针对每一个约束方程的残差构建一个检验统计量，并将其与临界值进行比较。如果该 统计量大于临界值，则说明该约束方程中涉及的变量含有显著误差。因此节点检验法可 以检测出哪个节点中的数据存在显著误差，但是由于每个节点中含有多个测量数据，因 而还是无法准确判断出哪个测量数据含有显著误差。1 9 7 6 年m a h 【3 6 】在此基础上运用图 论有关方法实现了对显著误差的定位。但是这种方法是建立在已经定义好的数学模型基 础上，而且对约束方程的准确性要求很高。 m t 法的长处是可以直接定位显著误差，但往往会给出过多的显著误差；而n t 法 则不会将将显著误差扩散到全体测量数据，但是会漏掉显著误差。若将两者结合起来就 可以取长补短，优势互补。最早对此进行研究的是杨友麒和滕荣波【3 7 】。他们于1 9 9 6 年 将节点检验法和测量检验法相结合，提出了m t - n t 联合算法。经过研究发现这种联合 方法可以取长补短，避免了大量的组合搜索计算，工作量也大为减少并且还不需要人的 参与，在实际应用中比较可靠。但是他们提出的算法在迭代过程中容易出现系数矩阵降 秩的问题。为此，王芳，岳金彩等人【3 8 】又对该方法进行了改进，通过在每一次迭代中用 上一次迭代识别出的显著误差的估计值来代替其测量值参与运算，对显著误差逐次校 正，有效地避免了系数矩阵的降秩问题。 1 9 8 7 年m a h 等人提出了广义似然比( g l r ) 法【3 9 1 ，并将该法应用于稳态系统的显著 误差检测。g l r 法不仅能够处理测量仪表或传感器造成的误差，而且还可以识别因设备 泄漏、副反应等原因造成的模型误差，因而可适用于不同类型的显著误差的检测。此后， 专家学者还对该法进行了改进、扩展，并将其推广到双线性系统、非线性系统以及动态 系统等。 上个世纪九十年代，t o n g 在研究显著误差检测时引入了主元分析( p c a ) 法m l 。该方 法是研究多变量统计的一个强有力的分析工具。使用该法进行检测时能够检测到数量级 别较小的显著误差。目前主元分析法包括有主元图法、s p e 统计法、q 统计法等等。 当系统中含有多个显著误差时，除了采用上面介绍的方法外还有同步识别同步补偿 法( s i m u l t a n e o u se s t i m a t i o n o fg r o s se r r o r s ，s e g e ) 4 l 4 2 1 、顺序识别同步补偿法( s e r i a l i d e n t i f i c a t i o nw i t hc o l l e c t i v ec o m p e n s a t i o n s i c c ) t 4 2 4 3 】等。s a n c h e z 等人在b a g a j e w i c z 提 出的等效集概念基础上提出了同步识别并同步补偿法( s e g e ) 4 l 删。该法通过对侯选误差 集合中的变量进行各种组合，选出最满足条件的组合方式，并同时检测出所有显著误差 的位置和大小。当考虑过程外部进料或出料流股中显著误差的大小与同一节点的其他显 著误差的大小相近时，容易产生相抵消现象，此时再用该法就几乎不能正确检测出来。 为此，周凌柯等通过引入环境节点增加约束方程对s e g e 方法进行了改进【4 2 j 。由于s e g e 6 硕士论文数据校正技术研究 法是对含有显著误差的候选误差集合进行组合搜索，最终识别出包含显著误差的变量。 因而可以想象，如果该集合中元素很多，而且包含大量不存在显著误差的变量，那么该 组合搜索的规模将变得非常庞大，严重时会引发组合数爆炸，最终导致检测失败。为了 减少s e g e 法的组合次数，许多人进行了研究。董志军等人则引入了线性组合技术( l i n e a r c o m b i n a t i o nt e c h n i q u e ，l c t ) ，将线性组合技术与s e g e 法结合起来，提出了l c t - s e g e 算法【4 5 1 。该算法可以最大限度地剔除了候选误差子集中的那些不存在显著误差的测量变 量，这就大大降低了组合搜索的规模，从而提高了程序识别显著误差的效率。而j i a n g 4 3 j 等人在s e g e 法基础上提出了顺序识别同步补偿法( s l c c ) 。s i c c 法是利用m t 法逐步 检测出显著误差的位置，并同时求得所有显著误差的幅度。但是使用s i c c 法时，没有 考虑到检测出来的含有显著误差的变量的协调值是否在实际测量范围内，容易造成误 判，而且找到后就删除该变量，并进行一次投影矩阵计算，容易造成有用信息的丢失。 周凌柯等人对此进行了改进，加入了对变量的上下限约束，避免了对显著误差的误判， 并且通过对显著误差进行逐步补偿，避免了投影矩阵的计算【4 6 1 。 2 0 0 0 年王希若等人提出了单节点识别法【4 。7 】和高置信度的综合检测法 4 8 】。前者充分 利用仪表的可靠度、精度等信息，再根据节点的约束残差进行显著误差识别。后者则是 针对对显著误差检测有相当高的准确性的要求而进行的，该方法能够使得“虚警 和“漏 报 的概率都降低到令人满意的要求。 张溥明提出了一种显著误差变量选择删除算法 4 9 , 5 0 。该算法是针对线性稳态数据协 调中如何有效处理显著误差变量以保证原有模型的有效性时提出的。该算法对检测出的 含有显著误差的变量，进行不同阶次的冗余度计算，然后根据其大小进行逐个删除。这 种方法不仅充分利用了测量数据的有效信息，而且确保了数据的协调精度。 在显著误差检测过程中，任意删除变量会影响测量网的结构和数据协调的精度，甚 至可能出现不可协调的现象。为此，吕品晶等人针对不可删除的含有显著误差的变量， 提出了基于时间冗余的不可删显著误差处理方法【5 1 1 。该法采用线性回归的方法，利用历 史数据进行当前时刻的预测，并用此值代替实际测量值进行协调运算。该法充分利用了 数据的有效信息，大大降低了显著误差对协调数据的影响，提高了协调精度。 针对在进行多显著误差检测时，现有的直接侦破法和序列侦破法的侦破率较低的情 况，程勇、徐俊波等人提出了基于神经网络的多显著误差检测的方法【5 2 1 。该方法发挥了 神经网络与测量检验法各自的优点，显著地提高了多显著误差的侦破率，而且还有快速、 简单、计算量小、适于在线应用等诸多优点。 传统的显著误差检测算法基本上都是基于统计学方法的，对检测单个的显著误差比 较有效。当对多个显著误差进行检测侦破时，还需要借助其他的方法才行，而且这些方 法也不能提供对显著误差检测结果的可信度。梅从立等人在综合了多种传统显著误差检 测算法后，根据可传递信度模型理论提出了种新方法【5 3 】。该方法首先利用传统的显著 7 1 绪论硕士论文 误差检测法对测量值的可信度进行证据分配，然后再根据可传递信度模型进行证据合 成，最后得到含有显著误差的测量数据的决策。新方法实现了对多种统计方法所得证据 的融合，避免了使用单个算法给诊断决策带来的片面性。 随着稳态显著误差检测理论和方法的日趋成熟，对于动态显著误差的检测也开始得 到广泛的关注和研究，并取得了一些成果。n a r a s i m h a n 和m a l l 在研究稳态过程中有小 偏离的动态系统时，采用广义似然比法进行了显著误差检n e 3 9 1 。b a g a j e w i e z 和j i a n g 则 将积分法应用到动态显著误差检测中，并将其扩展到含有多个显著误差的情况【2 6 一j 。 1 9 9 9 年，赵捧等人提出了基于过程模型和统计分析的动态过程数据校正方法，该方法直 接依据过程模型和变量的测量值来判断是否存在显著误差，并在判断出显著误差后，用 卡尔曼滤波获取其校正值m 】。 对显著误差检测方法的研究一直以来是数据校正技术研究的重点，尽管已经取得了 不少研究成果，但是这些方法各有所长，而且也没有一种方法能够确保将所有的显著误 差准确而无误的检测出来。尤其是在实际应用中，这些方法还难以完全适用，仍需要通 过人的参与来完成。因此针对工业工程中的实际情况，研究行之有效的显著误差检测和 处理方法仍然是今后数据校正的重点。 1 2 3 测量网冗余性分析研究现状 测量网冗余性分析研究比数据校正技术的其他部分发展的晚些，理论也没有它们发 展的完备。对测量数据进行冗余性分析不仅可以提高数据校正的精度，而且还能够为显 著误差检测提供必要信息。数据的冗余是指为了准确的确定过程的状态，实际测量的数 据比所需测量的数据要多。 数据的冗余性分析主要解决测量网中过程变量的分类问题。工业过程中所需要的测 量数据不一定都是可以能够直接测量，也包含一些因某种原因不能够测量的数据，而且 这些测量数据也并不都是可以进行数据校正的。因此，需要对测量数据进行分类。过程 中的变量一般可分为已测变量和未测变量。已测变量按其冗余度可分为可校正型和不可 校正型，未测变量按其可观察性可分为可估计型和不可估计型。对测量数据进行分类， 目的有两个【3 0 】：一、降低系统的规模，降低解题的复杂度；二、并不是所有的测量数据 都可以进行校正，只有那些可校正型的已测数据可以被校正，也只有那些可估计型的未 测数据可以被估计。因此在数据协调之前必须将这两类数据与其他数据分开，否则在校 正过程中会出现对奇异矩阵求逆的问题，使得计算无法进行下去。 目前，经过国内外学者的多年研究，对数据进行分类的方法主要有两种：一种是面 向流程的方法，另一种是面向方程的方法。前者是从化工的流程结构出发，运用图论工 具进行数据分类；而后者则是从约束方程组出发，运用矩阵论进行数据分类。两种方法 各有不同：前者的理论阐述简单明了，但在具体应用时，尤其对于大规模系统则需要大 硕士论文数据校正技术研究 容量的计算机。后者虽然很直观，但是计算方法比较复杂。 最早进行数据分类的是v a c l a v e k 2 8 】。他于1 9 6 9 年就对线性约束问题中的过程变量 分类问题进行了研究。他采用的是图论有关方面的知识，这是一种面向流程的方法，并 且还提出了进行冗余性分析的两大准则【2 列： ( 1 ) 将所有与未测变量连接的节点合并后，剩下的已测变量均为冗余型变量； ( 2 ) 删除所有已测变量之后剩下的图中组成环路的变量均为不可观测型变量。 v a c l a v e k 提出的准则为日后冗余性分析研究奠定了基础。此后，他又提出了c l a s s 算法，解决了多组分情况下的数据分类问题 5 5 1 。k r e t s o v a l i s 和m a l l 也对该类问题进行了 研究。此外m e y e r 、a l i 、n a r a s i m h a n 、s t a n l e y 等人也采用图论中的有关知识进行了数据 分类问题研究【5 6 , 5 7 , 5 8 , 5 9 】。 在面向方程的过程数据分类，r o m a g n o l i ( 1 9 8 0 ) u j 最早进行了研究。他采用稀疏方程 解法解决了线性和非线性系统中的变量分类问题。 1 9 8 3 年c r o w e 7 用投影矩阵法对测量数据进行分类，取得了不错的效果，但是投影 矩阵的构造计算比较复杂。于是袁永根等【l 】提出了零度矩阵法，且使用该法与使用投影 矩阵法的效果一样，但是构造零度矩阵要比构造投影矩阵简单的多，因而零度矩阵法要 比投影矩阵法更加实用。k e l l y t 6 1 】在对数据分类进行研究时也提出了一种分类算法，该 算法先进行奇异值分解，得到变换矩阵，然后再进行乘法运算，最终实现数据分类。此 外还有s a n c h e z 的q r 分解法；m a d r o n 等的高斯一约当消去法。 近几年随着学者对数据分类问题研究的重视，出现了不少新的研究成果。用投影矩 阵法求解未测变量的估计值时，有时会遇到对奇异矩阵进行求逆的问题，这时就会导致 计算无法继续进行下去。针对这一问题，王健、陈丙珍等提出了两层次变换算法【6 2 。该 算法通过对约束方程进行了深浅不同的两个层次变换，缩小了解题规模，避免了出现奇 异矩阵和对其求逆的情形，提高了计算效率和可靠性。蒲扬飞等也提出了两步矩阵投影 算法【6 3 】，他提出的算法引入了矩阵的绝对线性无关列的概念。此外，梅从立、褚健等也 提出了基于两步矩阵投影的数据分类算法 6 4 】。该算法是针对使用c r o w e 的投影矩阵不唯 一而导致数据分类不彻底的缺点提出的。新算法只需求解两个投影矩阵就可以实现数据 分类。它避免了求解绝对线性无关组，简化了计算，提高了计算效率。刘传政【6 5 j 在研究 线性系统数据分类问题时，直接从定义出发，提出了有序规则法。该算法简单明了，不 需要进行矩阵运算，尤其对那些计算机内存不足来说，是一件非常好的方法，同时该算 法也克服了矩阵投影法中的不足。陈剑等1 6 6 , 6 7 也对数据分类进行了研究，提出了两种方 法：删除法和线性相关法。前者是通过直接判别未测回路来实现对未测数据进行可观性 分类。而后者则是引入广义并行的概念，并利用有关线性相关的性质进行数据分类的。 9 l 绪论硕士论文 1 3 论文内容安排 目前，数据校正技术的发展日趋成熟、完善，并且在实际工程中也得到较好的应用。 然而现有的许多数据校正算法仍然存在着许多不足，特别是对显著误差的检测，这是数 据校正技术研究的重点，也是难点。本文就对其中的不足之处做一些分析和改进。主要 研究内容如下： ( 1 ) 原有的m t - n t 法在检测出显著误差后，就会将其移到未测变量中去，导致系数 矩阵在迭代过程中可能会出现降秩而产生奇异，无法充分利用有用信息。针对这种情形， 本文提出了一种改进的m t - n t 法。采用该法在检测出显著误差后，对其方差进行校正， 用校正后的方差代替原来的方差来参与计算，这样在计算过程中系数矩阵就不会发生变 化，从而就不会出现因矩阵降秩而产生奇异的问题，同时还充分利用了有用信息。此外， 改进的算法还进一步避免了误判。 ( 2 ) 提出了一种广义似然比法与节点残检验法相结合的显著误差检测方法。该方法 在一定程度上可以防止单独使用广义似然比法时出现的误判现象。 ( 3 ) 针对j i a n g 等提出的顺序识别同步补偿法( s i c c ) 法进行了改进。将线性相关技术 ( l c t ) 引入到s i c c 法中，利用l c t 代替m t 法来求得候选显著误差集合l c ，这样可以 大大减少候选显著误差子集中变量的个数，尽可能的将不存在显著误差的变量排除