回归论文关于偏最小二乘回归方法论文范文参考资料

回归论文关于偏最小二乘回归方法论文范文参考资料 （渤海大学数理学院，辽宁 锦州 121219） 【摘 要】偏最小二乘回归主要应用于建立多因变量的统计关系。在回归分析中，当自变量与因变量的个数都很多，并且在自变量以及因变量之间都存在较严重的多重共线性问题时，如果采取一般的多元回归方法，其分析的可靠性极低，而采取偏最小二乘回归分析的建模方法，可以很好的解决这个问题。 【关键词】偏最小二乘回归；自变量；因变量；多重共线 1.偏最小二乘回归分析的基本原理 为了研究因变量Y=y1，y2，yp与自变量X=x1，x2，xm之间的统计关系，偏最小二乘回归分析借用了主成分分析3的工具手段，它首先在自变量系统中，提取一个主成分t1（t1是x1，x2，xm的线性组合），同时在因变量系统Y中提取一个主成分1（1是y1,y2,yp的线性组合）。偏最小二乘回归分析在提取这两个主成分时，有下列两个要求： （1）t1和1应尽可能多的提取它们各自原变量系统中的变异信息 （2）t1与1的相关程度能够达到最大 这两个要求表明，t1和1应尽可能的综合它们的原变量系统，同时，自变量主成分t1对因变量主成分1的解释性又能达到最大。 第一主成分t1和1被提取出来后，偏最小二乘回归分析分别实施X对t1的回归以及Y对t1的回归。如果方程已经达到了满意的精确，则算法终止，否则将利用X被t1解释后的残余信息以及Y被t1解释后的残余信息进行第二轮的主成分提取，如此往复，直到达到一个较为满意的精确度为止。 2.偏最小二乘法的基本性质 注释：其中 为自变量系统的主轴，为t自变量系统的主成分，E0和F0分别为对自变量系统和因变量系统采用标准化处理后的数据，p和r为其后续数据的回归系数。 3.偏最小二乘法的交叉有效性原则 在现有的数据表下，如何确定更好的回归方程。在许多情况下，偏最小二乘回归方程并不需要选用全部的成分t1,t2tA进行回归模型，而是仅需要k个成分就可以得到一个比较好的预测性模型。在偏最小二乘回归模型中，究竟应该选取多少个成分为宜呢下面我们就来介绍一种选取主成分个数k的方法。 在偏最小二乘回归建模中，我们可以通过考察增加一个新的成分后，能否对模型的预测能力有明显的改进来考虑。从样本X，Y中删去第i组样本。即删去（y1,xi1,xi2,xip），删去后的X和Y用X（-i）和Y（-i）表示，把它记为样本I，将Y（-i）作为原始资料，做偏最小二乘（PLS）回归，使用h个成分拟合一个回归方程，然后得到y在样本I点上的拟合值。残差就反映了第h步预测方程的好坏在第I组样本上的体现。于是定义Y的预测误差平方和为PRESSh。有 用交叉有效性测量成分th对预测模型精度的边际贡献有两个尺度： （1）当Qh2（1-0.952）=0.0975时，th成分的边际贡献是显著的。 （2）对于k=1,2，,q至少有一个k，使得Qhk2，这时增加成分th，至少使一个因变量yk的预测模型得到显著的改善，因此，也可以考虑增加成分th是明显有益的。 4.偏最小二乘法的应用 下面我们通过实例来说明偏最小二乘法（PLS）的优越性 例：我们选取北京、上海、天津三大城市1988-1991年的工业生产总值、外贸收入总额和人口作为自变量来研究对因变量国内生产总值的影响。记Y=国内生产总值；x1=工业生产总值；x2=外贸收入总额；x3=人口。我们首先进行简单的相关分析，得到各变量间的相关系数矩阵为，中，要找到这样的一个主成分，使它能更好的反映工业总产值和外贸收入总额以及人口的有关信息又能对国内生产总值具有较好的解释性。利用偏最小二乘回归分得到的第一主成分为t1，t1=0.5625x1+0.4790x2+0.6738x3还可以一次得到主成分t2，t3，但由于t2对因变量已经几乎没有解释性，所以施行Y对t1的一元回归，有Y=0.5387t1，t1对Y的多重决定系数已达75.15，因此我们可最终得到偏最小二乘回归模型为Y=0.3