偏最小二乘回归分析

偏最小二乘回归分析偏最小二乘回归法是一种新型的多元统计数据分析方法，它主要研究的是多因变量对多自变量的回归建模，特别当各变量内部高度线性相关时，用偏最小二乘回归法更有效。另外，偏最小二乘回归较好地解决了样本个数少于变量个数等问题。考虑p个因变量Y,Y，…,Y与m个自变量x,x,…,x的建模问题。偏最小二1 2p 1 2m乘回归的基本作法是首先在自变量集中提出第一成分u（u是x,x,…,x的线性1 1 1 2m组合，且尽可能多地提取原自变量集中的变异信息）；同时在因变量集中也提取第一成分v，并要求u与v相关程度达到大。然后建立因变量Y,Y，…,Y与U的1 1 1 1 2 p1回归，如果回归方程已达到满意的精度，则算法中止。否则继续第二对成分的提取，直到能达到满意的精度为止。若终对自变量集提取r个成分u,u,…,u，偏12r小二乘回归将通过建立y,Y,…,Y与u,u,…,u的回归式，然后再表示为1 2 p 1 2 rY,Y,…,Y与原自变量的回归方程式，即偏小二乘回归方程式。1 2 p为了方便起见，不妨假设p个因变量Y,Y,…,Y与m个自变量x,x,…,x均1 2p 1 2m为标准化变量。自变量组和因变量组的n次标准化观测数据矩阵分别记为A=A11••••••1m• •• •• •,B=_b11•••...b. 1 p• •• •A…Ab…bn1nm一n1np」步骤：（1）分别提取两变量组的第一对成分，假设从两组变量分别提出第一对成分为U并使之相关性达到最大。和V,u是自变量集X=[x,x,…,x]T1 1 1 1 2nT的线性v，u11的线性组合u=ax+…+ax=p（1）tX,v是因变量集Y=1 111 1mm 1组合v=Py+…+卩y=y（1）tY。为了回归分析的需要，要求：1 111 1ppu和v各自尽可能多的提取所在变量组的变异信息；11U和V的相关程度达到最大。11由两组变量集的标准化观测数据矩阵A和B，可以计算第一对成分的得分向量,记为U和V111mma11A1ma11u=Ap（1）=1v=Av=Ay（1）=1An1b11Anmb1pa1m卩］11bn1第一对成分u和v的协方差Cov（u,v）可用第一对成分的得分向量U和V的内积111111来计算。故而以上两个要求可化为数学上的极值条件问题p⑴-B⑴丿=P⑴p⑴-B⑴丿=P⑴TAtB（I）11

P(1)Tp(1)=P(1)Tp(1)=y(1)Ty(1)=||y(1)『=1利用Larange数乘法，问题化为求单位向量p⑴和y⑴，使6=p(1)tAtBy(1)达到最1大。问题的求解只需通过计算mxm矩阵M=AtBBtA的特征值和特征向量，且M的最大特征值为62，相应的单位特征向量就是所求的解p(1)，而y⑴可有p(1)1计算得到，即(2)建立(2)建立y,y,••12假定回归模型为y⑴=孑BtAp(i).1x,x,•••,x对u的回归。其中：c⑴=[c,其中：c⑴=[c,c,•••Q1112JA=uc(1)T+A,B=ut(i)t+B.11T,t ,•••,t11121pT，分别是多对一的回归模型中的参数向量；A和B是残差阵。回归系数向量c(1),T(1)的最小二乘估计为111matuc⑴二-B吃T⑴= 1.ujl2称c(1)，T(1)为模型效应负荷量。用残差阵A和B代替A和B，重复以上步骤。11记A=uc(1)t,B=uT(1)t，则残差阵A=A-A,B=B-B。如果残差阵B中元素的11111绝对值近似为0，则认为用第一个成分建立的回归式精度已满足需求了，可以停止抽取成分。否则用残差阵A和B代替A和B重复以上步骤，即得11T,,P⑵,•••,aJr,y⑵二「B，…,PT,,21 2m 21 2p而u=Ap(2),v=By⑵为第二对成分的得分向量，且2121Atu Btuc⑵=1_,T⑵=1_2Kii2 XII2分别为X,Y的第二对成分的负荷量。这时有IA=uc(1)T+uc(2)T+A,J122IB=uT(1)T+uT⑵T+B.122设nxm数据阵A的秩为r<min(n-1,m)，则存在r个成分u,u,•••,u，使TOC\o"1-5"\h\z1 2r得J 1 r rB=uT(1)TH——HuT(r)T+B.1 r r把u=ax+•••+ax,k=1,2,•••,r，代入Y=ut⑴+•••+ut(门，即得p个因变量kk11 kmm 1的最小二乘回归方程式为

y=cx+•••+cx,j=1,2,…,p.j j11 jmm(5)交叉有效性性检验每次舍去第i个观测数据(i二1,2,…,n)，对余下的n-1个观测数据用偏最小二乘回归方法进行建模，并考虑抽取h(h<r)个成分后拟合的回归式，然后把舍去的自变量组第i个观测数据代入所拟合的回归方程式，得到y(j二1,2,•••,p)在第

i个观测点上的预测值b(h)。对i二1,2,…,n重复以上的验证，即得抽取h个成分(i)j时第j个因变量y(j二1,2,•••,p)的预测误差平方和为PRESSj-PRESSj-i)j(h)]2,(j二…,〃)Y=「y,y,•••,y]T的预测误差平方和为1 2 pPRESS(h)上PRESS")i=1另外，再采用所有的样本点，拟合含h个成分的回归方程。这时，记第i个样本点的预测值为晌)，则可定义y；的误差平方和为SS(h)=工\bj 「可定义Y的误差平方和为i定义Y的误差平方和为SS(h)=£SS(h)则当PRES(h)>0.952.SS(h—1)时，就认为增加新的成分uz，对减少方程的预测误差无明显的改善作用。h与传统多元线性回归模型相比，偏最小二乘回归的特点是：能够