智能检测理论与技术.ppt

第三章 基于回归分析的智能检测,Intelligent Detection Theory and Technology,智能检测理论与技术,第二章内容回顾,一、系统类别与模型 二、检测系统的模型 三、检测系统静态特性 四、检测系统动态特性 五、基于过程的智能检测,第三章 基于回归分析的智能检测,回归分析 回归分析是一种简单、实用而且成熟的确定变量间相关关系的方法。以最小二乘原理为基础的回归技术常用于线性模型的拟合。 线性关系 线性回归 非线性回归 自变量数量 一元回归分析 多元回归分析,第三章 基于回归分析的智能检测,回归分析,第三章 基于回归分析的智能检测,回归分析 线性化 在实践中，几个变量间的关系并不限于线性关系，更广泛地存在着非线性的相关关系。在解决非线性回归的问题中，可以采用下面两种线性化方法： 通过变量变换的方法，把非线性关系化成线性关系。需要确定曲线的函数类型。 如果实际问题的曲线类型不易判断时，可采用多项式进行逼近。因为任意曲线都可以近似地用多项式表示。 非线性回归一般都可以转化为线性回归。,第三章 基于回归分析的智能检测,线性回归 一元线性回归 两个变量x、Y (随机变量)，x确定后，Y 按一定统计规律取值，有随机性。Y的数学期望E(Y )代替Y，研究E(Y )和x的关系，近似表示x和Y的关系。回归函数： 一元线性回归函数： 其中i为待定系数，称为回归系数。 则随机变量Y可以表示为线形部分y和随机部分的叠加，即: 其中为随机变量。,第三章 基于回归分析的智能检测,线性回归 多元线性回归 假设因变量Y(随机变量)的均值E(Y )=y可以表示成自变量xi ：1ip 的线性组合，多元线性回归，即： 其中i为待定系数，称为p元线性回归函数的回归系数。,第三章 基于回归分析的智能检测,回归函数系数的估计 一元回归系数确定，n 次独立观测 设0和1分别为0和1的估计，则Y关于x的线性回归方程表示为 根据偏差最小准则，即最小二乘原理有,第三章 基于回归分析的智能检测,回归函数系数的估计 最小值存在，可以证明0和1分别为0和1的最小方差无偏估计。,第三章 基于回归分析的智能检测,回归函数系数的估计 可以证明0和1分别为0和1的最小方差无偏估计，亦称最优线性无偏估计。 多元线性回归,第三章 基于回归分析的智能检测,回归系数显著性检验 显著性检验 对于一元线性回归， 1反映自变量x对随机变量Y的影响程度， 1大说明影响显著，有显著影响说明回归合理，回归效果好。如无影响，应选择有影响的自变量重新回归。 显著性检验方法 F 检验法：检验自变量和因变量之间是否存在线性关系。 t 检验法：检验每个自变量对因变量的影响是否显著。 相关系数检验法：复相关系数衡量回归方程拟合品质， 偏相关系数评价每个自变量对因变量的作用。,第三章 基于回归分析的智能检测,回归系数显著性检验 F 检验法 假设： 如果H0成立，则不能认为X与y有线性相关关系。 检验统计量：,第三章 基于回归分析的智能检测,回归系数显著性检验 F 检验法 式中：,回归离差平方和，反映回归值与平均值的偏差，揭示y与X的线性关系所引起的数据波动。 残差平方和，反映观测值与回归值的偏差，揭示试验误差和非线性关系对试验结果所引起的数据波动。 总离差平方和，反映观测值与平均值的偏差程度。,第三章 基于回归分析的智能检测,第三章 基于回归分析的智能检测,回归系数显著性检验 F 检验法,对给定的显著性水平 （一般取1%或5%），有： - 当 时，拒绝 H0，即可认为变量y与X 有线性相关关系。 - 当 时，接受 H0 ，即可认为变量y与X没有线性相关关系。 - 一般当 时，则认为可以用X的线性模型来拟合 y，即模型通过了F 检验。,第三章 基于回归分析的智能检测,回归系数显著性检验 t 检验法 假设： 如果H0成立，则不能认为xi与y有线性相关关系。 检验统计量：,第三章 基于回归分析的智能检测,回归系数显著性检验 t 检验法,对给定的显著性水平 （一般取1%或5%），有： - 当 时，拒绝 H0，即可认为xi对y有影响。 - 当 时，接受 H0 ,即可认为xi对y无关重要， 应该从回归方程中剔除。,第三章 基于回归分析的智能检测,回归系数显著性检验 相关系数检验法 衡量回归方程的拟合品质：定义复相关系数R（ ），R 越接近于1，表明方程拟合得越好。,（R2称为复判定系数）,第三章 基于回归分析的智能检测,回归系数显著性检验 相关系数检验法 评价自变量 xj 对因变量 y 的作用：定义偏相关系数Vj ， Vj越大，说明 xj 对 y 的作用越显著。,第三章 基于回归分析的智能检测,回归变量的选择 回归效果不显著的原因： 影响y 的因素除了自变量xi (i =1, 2, , p)之外，还有其他不可忽略的因素; y与自变量xi (i =1, 2, , p)之间的关系不是线性的; y与自变量xi (i =1, 2, , p)之间无关。,相关系数,第三章 基于回归分析的智能检测,回归变量的选择 回归变量选择 选择恰当，获得最优经验回归函数，否则，影响回归函数质量，抵消显著变量的作用。 选择原则 包括所有显著变量； 自变量个数尽可能少 ，减少计算量。,可以证明，相关系数检验，F检验和t检验三种检验方法的检验效果是一样的。,第三章 基于回归分析的智能检测,回归分析 变量分析 系统机理分析 系统先验知识,第三章 基于回归分析的智能检测,回归模型 过程系统回归模型 系统机理模型 系统先验知识,第三章 基于回归分析的智能检测,回归建模方法 过程系统回归建模 系统动力学模型 系统先验知识,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 选定回归变量 回归变量 显著性检验 建立系统回归模型 优化回归模型 智能检测模型估计被测量,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 多元逐步回归 主元分析法 部分最小二乘法 为了避免矩阵求逆运算，可以采用递推最小二乘，为了防止数据饱和还可以采用带遗忘因子的最小二乘法。,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 多元逐步回归 （“最优回归方程”技术） 多元逐步回归是从与y有关的变量中选取对y有显著影响的变量来建立回归方程的一种常用算法。 基本思想：对全部自变量按其对因变量影响程度的大小，从大到小依次逐个地引入回归方程，而且随时对回归方程当前所含的全部自变量进行检验，看其对因变量的作用是否显著。不显著则立即加以剔除。只有在回归方程中所含的所有因子对因变量作用都显著时，才考虑引入新的因子，继而对它进行检验。如此往复输入、剔除，直至无法引入新变量或剔除老变量为止。,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 主元分析法 在研究工业过程时，为了全面了解和分析问题，通常记录了许多与之有关的变量。这些变量虽然不同程度的反映了过程的部分信息，但某些变量之间可能存在相关性，即当X中存在线性相关的变量时， 不存在，不能采用多元线性回归方法。若X的变量接近线性关系，则多元线性回归方法计算不稳定。为了解决线性回归时由于数据共线性而导致病态协方差矩阵不可逆问题，以及在尽可能保持原有信息的基础上减少变量个数，简化建模，可以采用统计学中的主元分析和主元回归方法。,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 主元分析法 主元分析法是一种将多个相关变量转化为少数几个相互独立的变量的有效地分析方法。 基本思想：主元分析的最终目的是在数据表中找到能概括原数据表中的信息或者能将一个高维空间进行降维处理。主元回归解决了由于输入变量间的线性相关而引起的计算问题。同时，由于忽略了那些次要的主元，还起到了抑制测量噪声对模型系统影响的作用。,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 主元分析法算法步骤 （1）数据预处理，对X、Y按列标准化 （2）求相关矩阵R （3）求R的特征值和特征向量P （4）根据特征值从大到小重新排列特征值和特征向量P （5）计算主元贡献率 （6）计算累积主元贡献率，当其大于85%，记录主元个数k （7）计算主元矩阵 （8）计算回归系数,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 部分最小二乘法（第二代回归分析方法） PLS方法将高维数据空间投影到低维特征空间，得到相互正交的特征向量，再建立特征向量之间的一元线性回归关系。正交特征投影使PLS有效地克服了普通最小二乘回归的共线性问题。同时PLS方法将多元回归问题转化为若干个一元回归，适用于样本数较少且变量数较多的过程建模。与主元回归相比，PLS在选取特征向量时强调输入对输出的预测作用，去除了对回归无益的噪声，使模型包含最少的变量数，因此PLS具有更好的鲁棒性和预测稳定性。,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 部分最小二乘法（第二代回归分析方法） 部分最小二乘回归法可以集多元回归分析，典型相关分析和主元分析的基本功能为一体，将建模预测类型的数据分析方法和非模型式的数据认识分析方法有机的结合起来。 基本思想：部分最小二乘回归法与普通多元回归分析方法在思路上的主要区别就是它在回归建模过程中采用了信息综合与筛选技术。还有就是它不直接考虑因变量集合与自变量集合的回归模型，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量。,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 PLS在统计应用中的重要性 PLS是一种多因变量对多自变量的回归建模方法； PLS可以较好地解决许多以往普通多元回归解决不了的问题： - 更好地解决多重相关性在系统建模中的不良影响； - 不用受到样本点数太少的限制。 PLS实现了多种数据分析方法的综合应用。,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 选用减一线粘度的数据，有181组数据，每组数据5个输入，1个粘度数据的输出。采用多元回归方法： 减一线粘度的回归方程可写作： y= -0.083214x1+ 0.013419x2+ 0.029689x3+ 38.005939x4+ 7.886674x5 其中：x1减压塔塔顶温度 ；x2减压塔塔顶真空度；x3减一线温度；x4减一线收率； x5常压塔收率；y减一线粘度,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理,减一线粘度拟合,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 为了衡量回归效果，计算下面几个量： 离差平方和: 40.337322 平均标准偏差: 0.472079 复相关系数: 0.833725,总偏差平方和T,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 选用减一线粘度的数据，有181组数据，每组数据5个输入，1个粘度数据的输出。采用主元分析回归方法： 先将输入矩阵进行标准化处理后，通过非线性迭代部分最小二乘算法（NIPALS）来进行主元分析，在5组输入中提取出4个主元。然后按照主元回归的方法得到系统模型的参数。,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理,主元分析法拟合,第三章 基于回归分析的智能检测,小结 多元线性回归 多元逐步回归: 将自变量逐个引入。 主元回归: 部分最小二乘回归：,第三章 基于回归分析的智能检测,基于回归模型的智能检测原理 经典的回归分析方法是一种智能检测建模的基本方法，应用范围相当广泛。以最小二乘原理为基础的一元和多元线性回归技术目前已经非常成熟，常用于线性模型的拟合。 对于辅助变量比较少的情况，一般采用多元线性回归中的逐步回归技术以获得较好的测量模型。对于辅助变量较多的情况，通常需要借助机理分析，首先获得模型各变量组合的大致框架