VIR-化工稳态数据校正.docx

1.1.1基本概念为加深对数据校正技术的了解，首先介绍几个涉及该领域的基本概念。 数据具有冗余度是对测量数据进行校正的基础和前提。数据冗余是指为了准确地确定系统的状态，实际的测量数据比不存在测量误差时所需的测量数据多出一部分。冗余包括时间冗余和空间冗余。时间冗余是指对同一个测量点进行多次测量产生的冗余。时间冗余度定义为测量次数减1。空间冗余则是指由于过程网络内部的连接(表现为平衡方程)导致的冗余。空间冗余度定义为独立的约束平衡方程数减去未测变量的个数。数据的时间冗余度和空间冗余度越大，计算得到的校正值精度也就越高。 过程变量根据是否被测量分为测量变量和未测变量。测量变量中可以根据平衡方程由其它测量变量计算出来的称为冗余型(或可校正型)测量变量，否则称为非冗余型(或不可校正型)测量变量;未测变量中可以根据平衡方程由测量变量唯一确定的称为可观测型(或可估计型)未测变量，否则称为不可观测型(或不可估计型)未测变量。在进行数据校正的过程中，只有可校正型的测量变量和可估计型未测变量能够参与计算，而不可校正型测量变量和不可估计型测量变量则必须剔除。利用冗余消去测量变量中的随机误差，使其满足基本的约束关系的过程称为数据协调(Data Reconciliation);对未测变量中的可观测型变量进行估计的过程称为参数估计(Parameter Estimation)o在数据校正技术中，参数估计一般不作为一个独立的过程出现，人们通常将其纳入到数据协调中一并加以考虑。 如果测量数据包含过失误差，那么在数据协调的过程中，过失误差会分摊到其它原本不含过失误差的测量变量上，从而使得测量变量的协调值和未测变量的估计值比没有进行协调和估计时的情况更加恶化，最终导致变量的协调值和估计值完全不可信。因此，在进行测量变量的协调和未测变量的估计之前，必须及时准确地侦破和识别出系统中存在的过失误差，以保证和提高协调值和估计值的可信度。这个过程称为过失误差的侦破和识别(Gross Error Detection and identification)。更具体地说，侦破是确定一组测量数据中是否含有过失误差;识别是确定在一组含有过失误差的测量数据中具体是哪个(或哪些)测量数据中含有过失误差。将数据协调以及过失误差的侦破和识别统称为数据校正(Data Rectification)o 在过失误差的侦破和识别过程中，测量残差和约束残差的使用较为广泛。所谓测量残差，是指测量变量的测量值与其估计值之差;而约束残差则是指在过程约束方程式的右边为零的情况下将测量变量的测量值带入方程式左边计算得到的数值，它反映了测量数据满足过程约束的程度。 在对化工过程数据进行校正计算以前，必须首先了解采集这组数据时系统所处的状态(稳态/动态)，从而决定采用何种数据校正方法。稳态检验就是根据给定的一系列的测量数据检验其按时间段划分的若干区间内的均值是否发生变化。 在过程数据中存在过失误差时能否准确预测、识别它的存在及来源是评价一种方法是否有效的重要依据，因此定义某种方法的功效(Power)为当过失误差存在时它能将其正确识别出来的概率。2研究进展 Kuehn和Davidson等人(1961)在从事用计算机控制工艺过程的研究中，首先提出对测量的化工过程数据进行校正的必要性。校正的准则为:在满足物料平衡和热量平衡的条件下，要求校正值与它对应的测量值的偏差的加权平方和最小，权重由测量数据的方差确定。从数学的角度上讲，就是求满足一组等式约束方程的最小二乘问题的解。但是，他们没有注意到测量数据中有可能包含过失误差，更没有提出过失误差的鉴别方法。 Nogita(1972) 2提出了对测量数据进行正态统计检验的一致性准则，从而对具有线性约束的过程系统建立了一套侦破和识别过失误差的算法。 Murthy (19733, 19744)专门讨论了反应器的物料平衡算法，他要求进入和离开反应器的物料流率数据能满足化学元素平衡或反应计量关系(都是线性关系)，并以此校正测量数据。但是，他没有考虑到测量数据中可能包含的过失误差对校正结果的影响。 Madron等人(1977) s在反应器的数据校正工作方面又比Murthy更进了一步，他处理了非线性的物料平衡方程，用x统计量检验数据的一致性、识别包含过失误差的测量变量。 Knepper和Gorman等人(19so) 6提出将测量数据的校正和参数估计融汇成一个整体进行处理的方法。 Schraa和Crowe (1998) 提出将具有双线性约束的数据协调问题转化为不带约束的数据协调问题进行求解，但同投影矩阵方法相比，它并没有表现出什么明显的优点。 对化工单元设备问题，由于涉及的物料流股的数目不多，解题规模也比较小，可以直接采用拉格朗日(Lagrange)乘子法求解。对复杂的化工过程问题就不同了，涉及数以百计，甚至千计的物流，数百台设备和数十种组分是常有的事，从而使解题规模变得非常庞大。对它直接求解需要消耗计算机的大量存贮单元和计算时间。因此，在对过程系统进行数据校正以前，有必要事先做些缩小解题规模的工作。这与过程变量的分类分不开，变量的类型与流程结构关系十分密切。对复杂流程结构的变量分类，只能通过计算解决。对过程变量进行分类以后，可以通过合并流程中的某些操作单元消去非校正型的测量变量和不可估计型的未测变量，最终缩小流程规模。在变量分类的算法方面，各国学者基本沿着两条思路展开，一条是以流程的平衡方程为出发点，称为面向方程法;另一条是以流程的网络图为基础，用图论工具进行分类，称为面向流程法。前者的理论阐述简单明了，在具体运用时，尤其对大系统需用大容量计算机。后者虽很直观，但方法繁琐。在面向流程法的变量分类中，首先由Vaclavek (1969, 19769)根据化工流程的拓扑性，提出单组分流股情况下的过程变量分类法，后来他又给出了多组分流股下的过程数据分类法。Stanley和Mah (1981) o-以图论为工具探讨了复杂化工过程变量分类的理论和算法。在面向方程的变量分类中，Romagnuly (1980) 2 3由Stadther (1974) 4的稀疏方程组解法导出变量分类算法，它既适用于线性系统，又适用于非线性系统，具有一般性。Crowe等人(1983S 1986s )采用投影矩阵法对变量进行分类，该方法适用于线性系统和可线性化的双线性系统，理论严谨，但投影矩阵的构造颇为复杂。袁永根(1985) 采用零度矩阵取代投影矩阵，收到了同样的效果，但零度矩阵的构造相对简单。Sanchez和Romagno 1 i (1996) e提出用QR正交因子分解来缩小问题规模，求解线性和双线性数据校正问题。 实际生产过程中的变量大多数都带有一定的限制，如非负性、上下限约束等。忽略这些有用的信息，有时会得到错误、甚至是荒谬的结果。为此，Narasimhan和Harikumar (1993) 9针对过程变量有上下限约束的情况提出了一种数据校正方法。 如果测量变量不含过失误差，并且需要校正的测量数据都取自稳态操作工况，那么，通过数据校正得到的校正值的方差比原始数据的方差有所减少，是测量变量真实值的无偏估计。然而，通常情况下是在数据协调完成以后才进行过失误差的侦破与识别。因此，如果测量变量中包含过失误差，这部分误差就会在求解过程中分摊到其它本来不含过失误差的测量变量中，造成数据协调和估计的结果完全不可信。为此，在进行数据校正之前，必须侦破和识别出系统中存在的过失误差。 目前，人们已提出了多种侦破和识别过失误差的方法。相比之下，以数理统计理论为基础，运用统计检验进行过失误差侦破的方法具有只针对数据本身、便于在线运行的特点，因而得到了广泛的研究与运用。它首先运用某种方法对误差进行描述，然后建立原假设和备择假设，构造出适当的具有已知分布的统计检验量，在一定的显著性水平下，确定临界值的大小，将它与计算出的统计检验量进行比较，据此在原假设和备择假设之间作出选择。通常可以根据误差的不同描述形式，构造出具有不同分布特性的检验统计量，从而产生多种不同的统计检验方法。下面将对这些方法逐一加以介绍。 Mah和Tamhan (1982) Z0提出测量检验法(MT)，该方法假定所有测量变量都服从正态分布，构造的统计检验量是测量残差与其对应的标准差的比值。从性能上讲，该方法具有较高的功效，但它存在的问题也比较突出，主要在于:首先，计算测量变量的一组估计值时采用的最小二乘法假设误差是满足正态分布的随机噪声，因此某测量数据中所含的过失误差会被分摊到其它测量值中，从而有可能对正确的测量数据作出含有过失误差的错误判断(第一类错误);其次，由于除了等式约束外对估计值没有做其它任何限定，因此不能保证所求估计值的合理性。 针对第一种情况，Serth和Heenan21提出了迭代测量检验法(I MT )，即在每一次运算中，并不剔除所有包含过失误差的数据，只将偏离临界值Z最大的统计量所对应的测量数据剔除。 针对第二种情况，Serth和Heenan在IMT方法的基础上通过引入测量变量的上下限定提出了修正的迭代测量检验法，即MIMT方法，试图消除估计值中可能出现的荒谬错误。MIMT方法的主要缺陷在于它不能保证在所有情况下得到的估计值都满足上下限的约束19。尽管如此，M工MT方法由于具有较高的功效、较快的运算速度、较低的错误识别率及较高的误差去除率等优点而得到了广泛的重视与应用。TexasA&I大学还专门编制了MIMT方法的程序并应用于工业精馏塔的数据校正zz70 同样针对第二种情况，Rosenberg等人23提出了两种不同的方法，分别是扩展的测量检验法(EMT )和动态测量检验法(DMT)。它们的思想和步骤大同小异，DMT的运算速度稍快。同样，EMT和DMT也面临着不一定总能获得满足上下限要求的估计值的问题。 Iordache等人(1985) z4对测量检验法的性能进行了研究，定义了几种性能评价指标，总结了过程约束、网络结构、测量位置、过失误差的大小和标准差以及测量次数等因素对性能的影响。 Kim等人(1997) 2s用非线性规划(NLP)技术对MIMT法进行了改进，改进后的方法在过失误差的侦破过程中表现出了较好的鲁棒性(Robust) a 前面提及的测量检验法(MT)、迭带测量检验法(IMT)、修正的迭带测量检验法(M工MT)、扩展的测量检验法(EMT)和动态测量检验法(DMT)都是基于测量残差的过失误差侦破方法，对于侦破到的可能含有过失误差的测量变量都采取了顺序剔除的方法，因而有可能使系统降维的同时带来冗余度的下降。 Reilly和Carpani (1963) ql首先提出整体检验法(GT)，该方法假定所有测量变量都服从正态分布，目标函数在极小值点时服从xz分布。由于它将所有的约束作为一个整体处理，因而只能识别过失误差的存在而不能判断其具体来源。对于含有较多测量变量和约束方程而仅有少数测量变量含有过失误差的情况，由于这些过失误差对统计量的影响不大而使得整体检验法的效果不够理想，即功效不高、产生第二类错误的概率较大。 Mah和Tamhane (1982) 20提出约束方程检验法，该法也称节点检验法(NT )，其基本思想是对每一个节点进行基于约束残差统计量的假设检验，判断节点平衡状态进而判断过失误差的存在与否。由于每一个节点可能有多个流股与之相连，因此节点检验法不能确定误差的具体来源，需要用单独的识别方法来进行误差来源的判断。除此之外，该方法假设在节点合并及系统简化过程中没有过失误差相消的现象发生，而在实际应用中，比较大的、具有相反符号的误差可能会相互抵消，因而在该节点上表现为微弱的不平衡。忽略这样的节点会导致部分包含过失误差的测量数据不能被识别出来(第二类错误)，因而具有较低的功效和误差去除百分率。 后来，又有人提出了组合检验法fzzl。该方法的基本思想也是通过对节点平衡状态进行考察，从中找出不平衡节点，残差的选择以及统计量的构造和节点检验法相同。然而，组合检验法对任何节点都不做合并，当判断出某个节点为不平衡节点时，通过和与该节点相连的流股形成的组合进行匹配的方式来确定过失误差的分布情况。不难发现，这种方法最大的缺陷就在于:即使对于一个中等规模的过程网络而言，也可能会有大量的组合方式，因此它仅适用于规模较小的过程系统。对此，Serth和Heenan2对组合检验法做了一些改进，提出了筛选的组合检验法法(SC)。这种方法将节点检验法和组合检验法联合起来，利用节点检验法确定可能含有过失误差的流股，并对这些流股进行组合匹配，因此减少了组合的规模。虽然它的功效和MIMT方法相当且具有较低的错误识别率，但其组合匹配以及整个过失误差侦破的过程和MIMT方法相比仍然十分缓慢，因此SC方法不适用于对时间要求比较苛刻的场合。 上述几种方法，包括整体检验法(GT)、约束检验法(CT)、组合检验法以及筛选的组合检验法都是基于约束残差的过失误差侦破方法。 无论是基于测量残差的方法还是基于约束残差的方法，针对的都是和测量直接相关的过失误差，然而正确地侦破及区分其他类型的过失误差也是非常重要的。Narasimhan和Mah2s介绍并发展T广义似然比法(GLR)，建立了过程测量模型及过程泄漏模型，用于不同类型过失误差的侦破。此外，他们还对侦破出的过失误差提出了顺序补偿的策略。Rollins和Dav i s 2在此基础上，提出了对测量变量中包含的过失误差进行无偏估计的方法，该方法适用于线性过程系统。后来，Rollins和Roelfs28将这种方法推广到了双线性系统中。Rollins等人zs还提出了通过优化统计假设检验来提高过失误差的识别精度和计算速度的方法。Narasimhan和Harikumanr9对GLR法进行了扩展，提出了无约束的广义似然比法(UGLR)及有约束的广义似然比法(BGLR)oKeller等人30对GLR法进行了改进，提出了一种递推算法用于侦破、识别和估计线性稳态系统中的测量偏差和设备泄漏。需要指出的是，尽管在介绍GLR法时采用的是约束残差的形式，但其所能涵盖的范围却不仅仅限制于此。基于这一认识，有学者证明了基于测量残差的若干方法(如MT )以及基于约束残差的若干方法可以表达为GLR方法在某种情况下的特例。例如，基于获得最大功效(Maximum Power)的MP过失误差侦破法31, 32无论采用测量残差还是约束残差的形式，二者都最终等效于稳态的GLR法。因此从这个意义上来说，GLR法考虑了不同残差的处理方式，区分了不同类型过失误差的模型，它可以作为一个解决过失误差侦破问题的框架，在过程偏离稳态的情况下(如发生泄漏)同样可以适用。 Almasy和Sztano在测量变量的方差己知的前提下，基于所有测量变量服从正态分布的假设，提出了线性问题的最大功效统计检验法。同其它方法相比，该方法在只有一个测量变量包含过失误差时，能够将其正确识别出来的概率最大。而在存在多个过失误差时，就需要知道过失误差的数目和相对大小之类的先验知识，这往往是办不到的。侦破多个过失误差的另一种思路就是运用主成分分析法(PCA) o Tong和Crowe33-35提出了针对主成分本身的检验方法以及针对保留主成分和未保留主成分的整体检验法，它能以较大的概率识别出过程系统中存在的量级较小的过失误差。 前面提及的各种过失误差的侦破方法大多数只适用于具有线性模型的过程系统，对非线性过程系统需要采用线性化的方法进行处理，并且这些方法都假定测量变量呈正态分布，在数据校正的开始阶段并没有考虑到测量数据中可能包含过失误差。为此，许多学者提出将随机误差和过失误差的去除过程统一起来。Tjoa和Biegler3利用极大似然法的思想建立目标函数，同时考虑随机误差和过失误差对该目标函数的作用，将数据协调和过失误差的侦破问题融为一体，从而避免了运算过程中的迭代。Johnston3更为系统地阐述了极大似然法在稳态系统数据校正中的运用。 侦破过失误差的另一种途径是利用人工神经网络技术(ANN) 38-42 o Gupta和Naras imhan 38j在利用人工神经网络解决过失误差的侦破问题上进行了有益的探索，他们针对一个实际例子用Monte Carlo模拟实验对ANN和统计方法的性能进行了比较，结果表明:ANN在侦破过失误差上具有很大的潜能，和传统的基于数理统计原理的侦破方法相比，ANN作为非参数模型估计的方法，只要求用历史数据进行模型训练，不需要掌握过程本身的精确模型，因此避免了由于过程模型不准确带来的估计偏差。此外，ANN突破了对约束条件的假设，并且对测量数据中随机误差的分布不作特殊要求。和各种基于迭代的非线性规划方法相比，ANN计算速度快，适于在线运行。然而，在实现人工神经网络方法前，需要大量的处于相应操作区间的数据来训练网络，因此，训练样本的质量将直接影响ANN的性能。如果操作条件发生改变，必须进行新的网络训练。 以上这些数据校正方法，大都没有考虑实际生产过程中测量数据的时序性，也没有对测量信号进行必要的处理，在实际运用中还存在不少问题。Bakshi等人43-46j提出用小波分析(Wavelet Analysis)对测量信号进行处理，将测量信号中包含的确定性特征和随机性特征分离开来，用少数相对较大的系数去捕获确定性特征，同时近似消去稳态自关联误差的相关性。利用小波变换这种特性，再辅之以其它的方法和手段，可以消去过程数据中包含的随机误差和过失误差。这种方法不需要准确的过程模型，但是它并没有考虑到校正后的数据是否满足基本的约束关系。 所有基于数理统计原理的过失误差侦破和识别策略都需要知道有关测量变量的方差信息，它的正确与否直接关系到数据校正结果的好坏。因此，如何正确估算测量变量的方法就显得非常重要。传统的方法是在化工过程处于稳态时对某一测量点重复采集不同时刻的测量数据，用方差分析法估算其方差大小，该方法利用了测量数据的时间冗余性，方差估计值的精度与时间冗余度成正比。Almasy和Mah 4j提出测量变量的空间冗余性的概念，使用化工过程在某一时刻下不同测量点的一组测量数据，计算约束方程的残差，由此估算各个测量变量的方差，此时，方差估计值的精度与空间冗余度成正比。Keller等人47对Mah的方法进行了改进，改进后的方法在测量变量之间存在相关性的情况下也表现出较好的鲁棒性。Chen等人48也提出了一种基于M估计器的比较鲁棒的方法，Monte Carlo模拟实验结果表明:在某些测量数据包含过失误差的情况下，用该方法得到的方差估计值优于前面提到的几种方法。2数据校正技术的运用与研究 数据校正技术运用的范围很广，主要包括L991.计划与统计管理 工厂的计划管理、统计报表和生产决策都要以生产装置的物料和能耗的正确测量数据为依据。带有误差的测量数据会使管理人员无法掌握工厂的真实情况。因此使用数