多元回归拟合算法课件

电化学甲醛检测仪浓度预测算法：

多元回归拟合算法

汇报人：孙皓

电化学甲醛检测仪浓度预测算法：

多元回归拟合算法

汇目录123多元回归分析简介多元回归分析步骤逐步回归用于甲醛浓度预测目录123多元回归分析简介多元回归分析步骤逐步回归用于甲醛浓多元回归分析

回归分析：是一种通过一组自变量来预测一个或多个因变量的统计方法。

多元线性回归

●多元：有多个自变量；

●线性：通过自变量的线性组合对因变量进行预测或估计；基本概念：多元回归分析基本概念：多元线性回归模型：◆：常数项,又称为截距◆

，…:偏回归系数，简称回归系数。表示相应的自变量对因变量的影响程度。◆

:去除m个自变量对Y的影响后的随机误差，不可观测。且通常假定多元线性回归模型：◆：常数项,又称为截距若进行n次独立观测，得到n组样本数据,

每一组样本数据分别满足多元线性回归模型，即有：写成矩阵形式：若进行n次独立观测，得到n组样本数据多元线性回归基本步骤█步骤一：回归系数β的求解方法：最小二乘法我们寻求回归系数的适宜数值应该使得实际观察值和回归方程估计值之间残差平方和最小，即有：

根据最小二乘法理论，将上式分别对求偏导数，令偏导数为零,可获得P＋1个正规方程，求解正规方程可得待估参数值。多元线性回归基本步骤█步骤一：回归系数β的求解方法：最小二是要求解的的最小二乘估计值。是要求解的█步骤二：对得到的回归方程进行检验n组观测值的均值记为：总离差平方和：

回归平方和：

残差平方和：

则有：█步骤二：对得到的回归方程进行检验n组观测值的均值记为：总xyxy

★常用的检验方法：可决系数F检验T检验多重共线性检验对回归方程的检验：

●拟合度检验（针对全部自变量的选择）●回归方程的显著性检验（针对回归模型）●回归系数的显著性检验（针对回归系数）

●多重共线性检验（针对自变量与自变量之间的线性关系）★常用的检验方法：可决系数F检验T可决系数：（判定系数，决定系数）

回归平方和占总离差平方和的比例。或者说，因变量取值的变差中，能被多元回归方程所解释的比例。由R2的意义看来，其值越接近于1，意味着模型的拟合优度越高。

可决系数：（判定系数，决定系数）回归平方和占总离差平方

从理论上来讲，随着自变量个数的不断增加，会使得R2不断增加。为避免增加自变量而高估R2，引入了调整的R2式中，n为样本量，p为自变量个数调整的R2的引入，目的是惩罚过多的使用不重要的自变量，也可以用于比较多个模型。从理论上来讲，随着自变量个数的不断增加，会使得R2F检验：该类检验主要针对回归方程的显著性检验◎回归方程的显著性检验主要是检验被解释变量与所有的解释变量之间的线性关系是否显著。对于多元线性回归方程来说，F检验的检验统计量：式中，n为样本量，p为自变量个数。其中p,n-p-1又被称为自由度。F检验：该类检验主要针对回归方程的显著性检验对于多元F检验的主要流程：1.提出假设H0：

1

2

k=0线性关系不显著；（不存在线性关系）H1：

1，

2，

k至少有一个不等于0。2.计算检验统计量F3.由F值得到检验P值作出决策

确定显著性水平和P比较，P<拒绝H0.F检验的主要流程：1.提出假设2.计算检验统计量F3.由F值T检验：

前面两种检验，讨论了回归方程中全部自变量的总体回归效果,但总体回归效果显著并不说明每个自变量对因变量都是重要的,即可能有某个自变量对y并不起作用或者能被其它的自变量的作用所代替,因此对这种自变量我们希望从回归方程中剔除,这样可以建立更简单的回归方程。T检验主要针对的是回归系数的显著性检验◎回归系数的显著性检验主要是检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。T检验：前面两种检验，讨论了回归方程中全部自变量的总对于多元线性回归方程来说，T检验的检验统计量为：式中，n为样本量，p为自变量个数，n-p-1为自由度，为回归系数的标准差；为对应的回归系数；对于多元线性回归方程来说，T检验的检验统计量为：式中，n为T检验的主要步骤：1.提出假设H0：bi=0(自变量xi

与

因变量y没有线性关系)H1：bi

0(自变量xi

与

因变量y有线性关系)3.由T值得到检验P值作出决策

确定显著性水平和P比较，<P拒绝H0.2.计算检验的统计量tT检验的主要步骤：1.提出假设3.由T值得到检验P值作出决策多重共线性检验：多重共线性是指解释变量之间存在线性相关关系的现象。多重共线性的后果（1）偏回归系数估计困难甚至难以得到估计值；（2）偏回归系数的估计值得方差增大，使得估计值不合理；（3）偏回归系数估计值不稳定（随着样本含量的增减各偏回归系数发生较大变化或当一个自变量被引入或剔除时其余变量偏回归系数有很大变化）；（4）偏回归系数假设检验的结果不显著，容易产生错误的判定

多重共线性检验：多重共线性是指解释变量之间存在线性相关关系的多重共线性的衡量：（1）容忍度①是第i个解释变量与方程中其他解释变量间的复相关系数的平方，表示解释变量之间的线性相关程度。②容忍度的取值范围在0-1之间，越接近0表示多重共线性越强，越接近1表示多重共线性越弱。（2）方差膨胀因子VIF①方差膨胀因子是容忍度的倒数。②VIF越大多重共线性越强，当VIF大于等于10时，说明存在严重的多重共线性。多重共线性的衡量：（1）容忍度①是第i个（3）多元决定系数诊断假定多元回归模型p个自变量,其多元决定系数为。分别构成不含其中某个自变量(Xi,i=1,2,…,p)的p个回归模型,并应用最小二乘法准则分别拟合回归方程,求出它们各自的决定系数(i=1,2,…,p)。如果其中的某一个与很接近,假设不含的回归模型，其决定系数与很接近，说明将从模型中去掉，对回归模型的决定系数影响不大。

因此，可认为该变量对Y总变异的解释能力可由其他自变量代替。它很有可能是其他自变量的线性组合。该自变量进入模型后就有可能引起多重共线性问题。（3）多元决定系数诊断假定多元回归模型p个自变量,其逐步回归主要思想：

在考虑的全部自变量中按其对因变量的贡献（偏回归平方和）的大小,由大到小地逐个引入回归方程,。另外,己被引入回归方程的变量在引入新变量后也可能失去重要性,而需要从回归方程中剔除出去。引入一个变量或者从回归方程中剔除一个变量都称为逐步回归的一步,每一步都要进行相关的检验。回归步骤：①全部待引入回归方程的变量分别计算其偏回归平方和,并选其中偏回归平方和最大的一个变量，进行F检验，显著则引入，不显著则停止引入。②对已引入回归方程的变量计算其偏回归平方和,然后选一个偏回归平方和最小的变量,进行F检验,如果显著则不踢出转到①。如不显著则需踢出，然后按偏回归平方和由小到大地依次对方程中其它变量进行F检验。逐步回归主要思想：回归步骤：①全部待引入回归方程的变量分别计偏回归平方和：

偏回归平方和：

多元回归拟合在甲醛浓度预测中的应用

在回归模型中，自变量的次数超过三次的模型很不稳定，故实际中尽量采用3次以下的模型来进行拟合。

模型中可能存在的项有：v2t2、v2t、vt2、vt、v2、v、t2、t、ln(v2t2

)、ln(v2t)、ln(vt2)、ln(vt)、ln(v2)、ln(v)、ln(t2)、ln(t)、EXP(v2)、EXP(v)。计算每个变量的偏回归平方和V的贡献最大，将V加入模型运用SPSS进行逐步回归，得到回归方程含有的项为v2t和v。配成：

多元回归拟合在甲醛浓度预测中的应用在回归模型中，自变在MALAB中使用Regress函数可求出系数，进而完成相关的数据处理工作。序号：预测值（ppm）：真实值（ppm）：相对误差：10.09190.1019.01