过程回归建模综述

过程回归建模综述摘要：在工业生产中，对于一些难以直接测量或测量成本高的变量，往往需要进行软测量建模。目前，软测量建模方法有很多，包括机理建模、数据驱动建模和两者结合建模。基于软测量建模方法之一的回归建模，介绍了几种常见的回归建模方法，简要分析了它们的原理，并简要介绍了它们的一些应用。关键词：软测量、建模、回归介绍在过程控制中，为了使生产装置处于最佳运行状态，实现卡边控制并生产出更多的高价值产品，从而提高装置的经济效益，有必要严格控制产品质量或与产品质量密切相关的重要过程变量1。由于该装置在工业生产中的连续运行以及所生产产品的浓度和质量的动态变化，使用一些在线传感器不仅成本高，而且由于一定的滞后性，很难准确监测生产过程中的一些指标并满足生产要求。此外，许多复杂的化学过程通常不能使用传感器来直接测量某个变量。例如，在化工生产过程中，精馏塔产品的组成、塔板效率、干点、闪点等。在一些反应器中改变产品浓度、转化率和催化剂活性1。这使得软测量技术得以提出并不断发展。回归分析是一种基本的建模方法，广泛用于软测量建模2-9。常用的方法包括偏最小二乘回归(PLSR)、多元线性回归(多元线性回归)、多元逐步回归(MSR)、主成分回归(聚合酶链反应)等。本文将简要介绍上述几种回归建模方法及其应用，并简单分析每种方法的特点和优势。软测量与回归分析的关系所谓软测量技术是通过建立与其相关的其他变量(辅助变量)之间的数学关系模型，间接测量不可测量变量(称为主导变量)并在线估计它们。这种方法响应速度快，实时性好，可靠性高。它可以解决不可测量变量的问题，并为监控生产过程节省大量成本。软测量有广泛的应用。其最原始和主要的应用与过程变量的预测有关，这可以通过低频采样或离线分析来确定。同时，这些变量通常与过程输出的质量有关，这对于过程分析和控制尤其重要。由于这些原因，在高采样频率或低成本下，通过使用合适的软测量建模方法来获得过程变量的信息是非常重要的。目前，已经开发了许多方法用于软测量建模10，每种方法都有其各自的优点和缺点。选择合适的软测量建模方法对工业生产具有重要意义。回归分析是统计数学的一个重要分支，在实验数据处理中也被称为“曲线拟合”。回归分析有多种形式，可分为线性回归和非线性回归)；根据因变量和自变量之间是否存在线性关系来确定。根据自变量的数量，可分为单回归和多元回归。同时，回归分析也是一种建模方法和数据驱动的软测量。2多元回归分析2.1基本原则多元线性回归问题可以描述为m个变量和一个变量之间的线性关系。它的数学表达式是：(2-1)(2-2)(2-3)在上式中，是自变量，是自变量。总和分别是回归系数和残差数。上述公式仅描述了有一个样本的情况。如果有n个样本，那么它可以写成列向量，b不变，向量可以写成矩阵。(2-4)当自变量的数量大于样本的数量时，公式中的B有无穷多个解。当变量的数量等于样本的数量时，这在现实中是非常罕见的。然而，在x是满秩的前提下，b有一个唯一的解。此时，公式可以写成：其中e称为剩余向量，此时它是零向量。当变量的数目小于样本的数目时，就不能得到B的精确解。最常用的方法是用最小二乘法，得到的解是：但可能会遇到逆不存在的情况。2.2 MLR的应用多元线性回归建立的线性回归模型物理意义明确，计算简单。因此，它被广泛用于处理统计分析问题，例如多因变量或多指标的回归分析和方差分析。文献11采用多元线性回归方法建模，模拟了蒸馏装置常压塔中分子筛材料干点的软测量。文献12使用多元线性回归来获得用于状态空间识别的系统的估计马尔可夫参数，并且提出了识别算法SSARX-MLR。多层线性回归的缺点是它只限于解决工作点变化范围小的线性问题或不太严重的非线性问题。3多元逐步回归3.1基本原则在应用回归分析处理实际问题时，一个重要的问题是选择回归自变量。一般来说，根据专业理论和问题本身的相关经验，研究人员通常会列出尽可能多的与因变量相关的自变量，以避免遗漏重要变量。其中一些变量对因变量影响很小或没有影响。如果回归模型包含所有这些变量，不仅需要大量的计算，还会降低估计和预测的精度。在某些情况下，获取一些独立变量的观测数据的成本相对较高。如果这些自变量与因变量关系不大或没有关系，但被错误地选择到模型中，模型应用的成本将不必要地增加。正是由于这些原因，当应用回归分析时，有必要筛选进入模型的自变量。选择自变量的方法有很多，其中多元逐步回归(MSR)是选择最佳回归方程最广泛使用的方法。具体的方法是预先给定一个选择变量的标准。根据自变量对因变量的贡献，从大到小依次选择输入方程：对于选择进入方程的每个变量，重新计算每个变量对因变量的贡献。还研究了方程中已有的变量的函数是否由于新变量的引入而被新变量取代或部分取代，新变量的引入抑制了新变量的函数并使其退化到不显著。如果有，它将被消除。重新计算每个变量对因变量的贡献。如果仍然有低于选择标准的变量，选择标准将继续被考虑，直到方程中的所有变量都满足选择标准，没有独立变量可以被移除，然后选择变量将被考虑。直到方程中没有变量可以消除，方程外也没有变量可以引入。选择变量的过程结束。3.2算法分析MSR方法的基本步骤是依次拟合一系列回归方程。后一种回归方程是在前者的基础上增加或删除一个变量。添加或删除自变量的标准是通过残差平方和的增减来衡量的。通常使用以下偏差测试统计数据。让模型有一个独立变量。请记住，独立变量的集合是A。当不在A中的独立变量被添加到模型中时，部分统计的一般形式是：(3-1)这是在MSR方法中添加或删除自变量时使用的基本统计数据。在等式(3-1)中，SSE是残差的平方和，SSR是回归的平方和，MSE是均方误差，n是样本数。首先，根据一定的显著性水平，给出了偏差检验统计量的两个临界值，其中一个作为选择自变量，记录为：另一个为此时，相应统计量F中的集合A是一个空集合，因此SSE(A)=SST，SSR()=SST-SSE()，MSE()=MSE()，SST是偏差的平方和。对于每k，计算(3-3)它衡量引入模型后残差平方和的相对减少。如果是，则选择包含的回归模型作为当前模型。否则，没有自变量进入模型，选择过程结束。此时，认为所有独立变量对Y都没有显著影响.在第二步中，基于在第一步中选择的模型，剩余的M-1个独立变量被添加到模型中，并且模型被拟合和计算(3-4)如果是，选择过程结束。步骤1中选择的模型(即仅包括线性回归模型)是最佳模型。如果是，它将被添加到步骤1中选择的模型中，即(3-5)进一步调查，当进入模型时，影响是否仍然显著。为此目的进行计算(3-6)如果是，此时包含的回归模型是当前模型。否则(3-5)为当前型号。在步骤3中，在步骤2中选择的模型的基础上，将不在模型中的自变量一个接一个地相加，对每个模型进行拟合，并计算相应的部分F检验统计值，进行比较以确定其他变量是否可以进入模型。如果一个新的自变量进入模型，检查原始模型中的自变量是否由于这个新变量的输入而被删除。重复上述步骤，直到没有自变量可以进入模型，并且模型中没有自变量可以消除。在选择过程的最后，最后一个模型被认为是最优的。3.3 MSR的应用MSR的基本思想是将变量逐一引入回归方程。在建模过程中，回归过程不会结束，直到所有的旧变量不能被消除，新变量不能被添加。MSR可以消除输入信息中不重要的部分。文献14利用MSR建立软测量模型，实现催化裂化装置柴油闪点的在线软测量。文献15将逐步回归应用于动态参数估计，并给出三个化学过程的例子来验证所提出的方法的有效性。4偏最小二乘回归4.1基本原则偏最小二乘回归(PLS)是一种新的多元统计分析方法，由Wold在1983年提出16。它综合了多元线性回归、主成分分析和典型相关分析的基本功能，能较好地解决自变量之间的多元相关问题，样本点的大小不宜过小。在过去的20年里，偏最小二乘回归在理论、方法和应用方面发展迅速。下面描述偏最小二乘回归如何提取组件以达到有效建模的目的。有包括p个独立变量行和n个样本点的数据和包括q个因变量的数据。偏最小二乘回归(PLSR)分别提取和中的分量之和。提取这两个成分时，总和必须满足以下两个条件。(1)并应在其各自的数据表中携带尽可能多的信息；(2)和的相关度可以达到最大。提取第一分量和后，偏最小二乘回归分别实现对回归和对回归。如果回归方程达到令人满意的精度，则算法终止。否则，解释的残差信息和解释的残差信息将用于第二轮分量提取。重复此操作，直到达到令人满意的精度。如果从最终对中提取m个分量，则通过对回归执行偏最小二乘回归，然后将其表示为关于原始变量的回归方程。4.2主要步骤假设归一化数据矩阵为，归一化数据矩阵为。(1)记住第一部分，记住第一部分。需求总和可以很好地分别表示和中的信息，并且应该都具有最大值。另一方面，它也要求具有最大的解释能力，即和的相关度应达到最大值，所以在偏最小二乘回归中，和的协方差应达到最大值。数学表达式是为了解决以下优化问题，即(4-1)可以通过拉格朗日方法得到(4-2)下面的公式可以通过分别求出s的偏导数并使它们等于0而得到(4-3)因此，请记住，它是可以导出的优化问题的目标函数值(4-4)(4-5)显然，它是矩阵的特征向量，对应的特征值是对应于矩阵最大特征值的单位特征向量。类似地，它是对应于矩阵最大特征值的单位特征向量。组件可以从和获得。然后，可以得到和与对的回归方程(4-6)其中，是回归系数向量，分别是两个回归方程的残差矩阵。(2)用残差矩阵和代替和，然后计算第二轴和和第二分量和。是，是对应于矩阵最大特征值的单位特征向量，是对应于矩阵最大特征值的单位特征向量。如果等级是A，那么就有(4-7)(4-8)因为线性组合可以表示为。因此，上述公式可以恢复回归方程的形式，即(4-9)其中是剩余矩阵的第k列。4.3 PLS应用偏最小二乘法是一种一步分解和回归方法，可用于非常复杂的混合情况，并可回归噪声样本。文件17使用偏最小二乘法建模监控间歇蒸馏设备。文献18使用偏最小二乘回归来建立烟煤水分预测模型，这实现了非常小的误差。然而，偏最小二乘法存在计算速度慢和模型抽象的缺点。5主成分回归法5.1基本原则一个真实的系统通常包含多个变量，这使得系统的分析变得复杂。然而，在实际问题中，多个变量之间可能存在某种相关性，即它们之间可能存在重叠信息。聚合酶链反应方法是利用多个变量之间的相关性和重叠性。用较少的自变量代替原来较多的变量，保留系统的主要过程信息，从而用较少的变量分析系统，降低系统分析的复杂性。1901年皮尔逊首次提出聚合酶链反应，霍特林改进了聚合酶链反应方法，使聚合酶链反应成为目前广泛使用的方法。主成分分析是目前研究的众多多元统计分析过程监控方法之一，已广泛应用于工业过程的数据处理和故障诊断。5.2算法分析假设严代表正常工作条件下离线数据中传感器和执行器的M个测量样本，则每个传感器或执行器有N个独立样本。以便形成数据矩阵，其中每行代表一个样本，每列代表一个变量。聚合酶链反应方法从每一列中减去相应的可变平均值，然后除以相应的可变标准偏差。这是矩阵的预处理过程，也称为标准化过程，即