（概率论与数理统计专业论文）pls回归中的一种新的评判准则.pdf

p l s 回归中的一种新的评判准则 摘要 偏最小二乘回归方法是近年来应实际需要而产生和发展起来的 一个有着广泛适用性的多元统计分析方法。在回归建模中，当观察 值数量少或白变量间存在着多重相关性时，p l s 回归具有传统的回 归方法所不具备的许多优点，它意义明确，建模效果好，解释性强。 其应用范围远远超过了工程技术及经济管理等领域。 p l s 方法在回归建模时，利用交叉有效性来决定成分的个数， 以达到最终建立自变量与因变量之间回归模型的目的。但此准则计 算量大，编程复杂，且无法定义第一个成分的交叉有效性。因此， 本文利用不饱和拟和的思想，提出了一种新的评判准则。该评判准 则简单易懂，易于计算，且与原评判准则具有相同的评判效果。 关键词：多重相关硅 。 p l s “，成芬，交叉痢磊 不饱年颢和 an e wcr i t e r i o ni np l s r e g r e s s i o n a b s t r a c t p a r t i a l l e a s t s q u a r e s ( p l s ) r e g r e s s i o n i san o v e lm u l t i v a r i a t ed a t a a n a l y s i sm e t h o dd e p e n d i n go nt h e n e e d si nr e a lw o r l d i nr e g r e s s i o n ， w h e nt h en u m b e ro fo b s e r v a t i o n si sl e s st h a nt h en u m b e ro fv a r i a b l e so r t h e r ei s m u l t i c o l l i n e a r i t y i nt h e e o v a r i a t e s ，p l sr e g r e s s i o n h a sm a n y a d v a n t a g e sw h i c h t h eo r d i n a r yl sr e g r e s s i o nd o e s n th a v e ：i t sm e a n i n gi s e x p l i c i t ，i t sr e s u l ti sg o o da n di t se x p l a n a t i o ni ss t r o n g i naw o r d ，i t s a p p l i c a t i o nh a sg o n eb e y o n dt h ef i e l 幽o fe n g i n e e r i n ga n de c o n o m i c a l m a n a g e m e n t i np l sr e g r e s s i o n ，i tu s e sq c r i t e r i o nt od e t e r m i n et h en u m b e ro f c o m p o n e n t s ，b u ti t sc o m p u t a t i o ni sl a r g ea n d i tc o u l dn o td e f i n eq l f o r t h ef i r s tc o m p o n e n t s o ，t h i sp a p e ru t i l i z et h ei d e a so f u n d e r f i t t i n ga n d i n t r o d u c ean e w c r i t e r i o n ：c pc r i t e r i o n i t sm e a n i n g i sn o tc o m p l i c a t e d ，i t i sv e r y e a s y t ob ec o m p u t e d ，a n di t sr e s u l ti st h es a m ea sq c r i t e r i o n k e y w o r d s ：m u l t i c o l l i n e a r i t y p l s r e g r e s s i o n ，c o m p o n e n t ，q c r i t e r i o n u n d e r f i t t i n g 第一节，p l s 回归 p l s 是一种新型的多元统计数据分析方法，最早由瑞士的伍德( s w o l d ) 和 阿巴诺( ca l b a n o ) 等人首次提出，接着有由伍德等人开发了在w i n d o w s 下运行 的s i m c a - p 软件，用以支持p l s 回归的计算及结果的解释。 由于p l s 回归建模效果好，解释性强，且应用范围十分广阔，因此m i c h i g a n u n i v e r s i t y 的f o m e l l 教授称其为“第二代回归分析方法”。 1 1p l $ 回归的适用条件 在一般的回归建模中，我们可能会遇到以下两个问题； 1 自变量之间存在着多重相关性： 当自变量之间存在着线性相关关系时，此时用一般的l s 回归，不仅会扩大 模型的误差，而且模型的稳健性较差；另外，模型的解释含义会与专业或实际 不符。 例如： 由j o n e n e t e r 等人在应用回归模型一书中给出的“身体脂肪”的数据。 这组数据是对2 0 位2 5 - 3 4 岁的健康女性进行测量而得到的。( 见附录表1 ) 其中： y - - 一身体脂肪 x ，三头肌皮褶厚度 x ：大腿围长 x ，中臂围长 通过计算可知，r ( x ，x ：) = o 9 2 ，它们高度相关。 此时，若选用三个变量，利用普通的l s 回归方法建模，有以下结果； 多2 1 1 7 0 8 + 4 3 3 4 x i 一2 8 5 7 x2 2 1 8 6 x3 r 2 = o 8 0 1 ，f = 2 1 5 1 7 ，通过f 检验 数系归回的结总即 1舍j之田 l ( 00 卵l 一 3 c 一 2 “ = ， 0 o 零但为 著： 显见均可 ( 1 ) ，在模型中，一个人的大腿围长越粗，中臂围长越粗，脂肪就越少， 这显然与实际不符。 ( 2 ) ，在回归建模中，f 检验很好地通过了，这说明y 与自变量之间确实 存在着某种线性形式的因果关系，且r ( y ，x 。) = 0 8 4 3 ，r ( y ，x ：) = 0 8 7 8 ，这也说 明x ，x ，对y 有很强的解释能力，但它们的t 检验却一个也没有通过。事实上， 这正是多重相关性下回归建模的典型表象。 因此，当自变量间存在着多重相关性问题时，我们就需要用p l s 方法来建模。 2 样本点数目太少： 一般统计书上介绍样本点的数目不宜太少，应该为变量个数的两倍以上。但 实际中，由于费用、时间等影响，所得的样本数很少，有时可能会小于变量的 个数。这样，用一般的l s 回归方法是难以解决建模问题的。然而，p l s 方法却 可以解决这类问题，很好地建立自变重与因变量间的回归模型。 由以上两点可见，当自变量间存在着多重相关性或样本点数目太少时，我们 就需要用p l s 方法来建立模型。 1 2 p l s 回归的建模思想及方法 p l s 回归方法与一般的l s 回归方法在思路上的主要区别为：它在回归建模中 采用了信息综合与筛选技术，它不再直接考虑因变量与自变量之间的回归建模， 而是在变量系统中提取对系统具有最佳解释能力的新的综合变量( 成分) ，然后 利用它们进行回归建模。 p l s 回归方法实际上是将主成分分析、典型相关分析、多元线性回归分析的 基本功能为一体，将建模预测类型的数据分析方法与非模型式的数据认识性分 析方法有机地结合了起来。 一、建模思想： 本论文考虑单因变量的p l s 回归建模。 设有p 个自变量x l ，x ：，x ，及因交量y 观测了n 个样本点，从而有数据阵： x = ( x l ，x2 ，x p )y = ( y l ，y2 ，y 。) 7 x 是n p 的数据阵，y 是n 1 的列向量。 分别将x 与y 标准化后得e 。，f 。 单因变量的p l s 回归的建模思想为：在e 。中提取主成分t l ( 即t 。是 2 x ，x ：，x ，的线性组合) ，此时提取出的t l 应尽可能地代表数据阵e 。，且自 变量的成分t 对因变量f 。又有最强的解释能力。即： ( 1 ) t 。应尽可能大地携带e 。中的变异信息； ( 2 ) t ，与f 。的相关程度达到最大； 在第一个成分t 被提取出来了之后，p l s 回归方法分别实施e 。与t 及f 。与t ， 的回归。若回归方程已经达到满意的精度，则算法终止；否则，将利用e 。被t 解释后的残余信息及f 。被t t 解释后的残余信息进行第二轮的成分提取。如此往 复，直到能达到个较满意的精度为止。若最终对e 。共提取了p 个成分 t ，t ：，tp ，p l s 则将通过实施f o 对t t , t 2 ，t ，的回归，然后再表述成y 对原 自变量x 。，x ：，x ，的回归方程，以最终达到建立y 与x ，x ：，x ，之间线 性关系的目的。 二、建模方法； 第一步： 记t ，是e 。的第一个主成分，t 。= e 。t 6 ，t o 是e 。的第一个轴，它是一 个单位向量，即f p ，卜l 。若要t ；很好地代表e o 中的数据变异信息，由主成分分 析原理，应有； v a t ( t 1 ) m a x 另外，又要求t 。对f 。具有最大的解释能力，由典型相关分析的思路有： r ( t l ，f o ) _ 舱x 因此，综合起来有； 厕r ( t ，f o ) = 再丽厕r ( t ，f 。) 2 c o v ( t l ，f o ) m a x 而t t 2 e 。珂，e o 是标准化的矩阵，故t 的重心为0 ；又因为f o 也是标准化的， 重心也为0 ，故有： c 。v ( t o ) - ：，f 0 ) 2 l ” 时，有t h t e ，= t 。( e i 一。一t i p ，) = t e ，一l = t 。仁一：一t t - i p 。) 2 t e ，一2 二、p l s 回归的简化算法： = t h e = 0一 在第一节的1 2 中，我们给出了p l s 回归的计算方法与步骤。但是，根据 以上所讲的性质，我们可以在每一步提取了成分t 。后，不必计算t 与f 。的回 归，以得残差阵f 。，而只需计算t 。与残差阵e 。，的回归即可。也就是说，每 步利用初始的标准化的f 。t 便可计算出所需的成分t 及残差阵e 。了。 首先，先证明以下等式： e h f = eh t f o 证明： 7 e h t f ：e 。t ( f 0 _ f 1 - f 2 ，2 “) = e fo 一 从而在此基础上，我们有以下单因变量的p l s 回归的简化算法： l 求第一个轴口，及t ，有： 旰踽 t 1 2 e o 珂1 e l = e om t i p l 其中2 静 2 求第二个轴叮2 及t 2 ，有： 旷踽2 焉 t 2 2 e l 珂2 e ，= e 。一t ，p ， 3 到第m 步有； 其中2 静 盱端t t l t i = e 。一1 珂。 e 。= e 。一lm t 。p 。 鼎盱静 若根据一定的评判准则，确定共抽取m 个成分t l “，t m 便可得到一满意的预测 模型，则求f 。在t l ”，t 。上的普通l s 回归 f 。= t ，】t + t2r2 + + t r m + f m 既而最终可得y 与x 的回归方程。 1 4p l s 回归的交叉有效性准则及其问题 在许多情况下，p l s 回归并不需要选用全部的成分进行回归建模，而是可以象 在主成分分析时一样，采用前m 个成分( 卅 s s s s h l s s 但p r e s s 。与s s 。问的关系如何呢? 此时认为，若h 个成分的回归方程的含扰动误差能在一定程度上小于h 1 个成 分回归方程的拟合误差，则认为增加一个成分t 。，会给预测带来明显的精度提 高a 因此，定义交叉有效性q 一2 ，兄e 誓压。越小越好。在s i m c a - p 软件 中，指定此临界值为09 52 。 从而在p l s 回归算法中有： 每计算出一个成分th 后，利用fo 与t l , t ：，t j 卜l , t 计算t 的交叉有效性q 一， 若q 。o9 5z ，则选用成分t 。，认为增加成分th 会有益于提高预测的精度。 否则，若q 。 0 9 52 ，则认为增加新的成分t 。，对减少方程的预测误差无明显 的改善作用，从而不选用成分t 。，且停止成分的提取，认为选用h 一1 个成分 便能达到很好的预测效果了。 但是，从以上介绍来看，此评判准则存在着以下问题： 1 无法定义第一个成分t 。的交叉有效性。 在建模过程中，我们至少应选取一个成分。但是，对于第一个成分t ，来说，其 交叉有效性无法定义。因而在编程中，往往指定q ，= l 2 编程复杂，计算量大。 根据以上交叉有效性的定义，我们可以看到，在计算p r e s s 。时，编程是较复 杂的，且在计算过程中，每增加一个成分t ，就要删除样本点i o = 1 , 2 ，行) ， 进行回归建模。这样，每增加个成分t ，就要又另外进行n 次回归。所以， 当样本量很大时，计算量是不小的。 因此，本文从不饱和拟合的角度出发，提出了一种新的评判准则以确定成分的 个数。该准则简单易懂，易于计算，且与原准则具有相同的评判效果。 为此，以下我们先介绍一下不饱和拟合的有关概念及性质。 第二节、不饱和拟合 2 1 不饱和拟合的概念、性质 一不饱和拟合的概念： 假设自变量x 与因变量y 之间真正的线性关系为； y 。x 1 鼠+ x2 卢2 - k g 1 0 其中：e g ) = 0 ，v a r g ) = 仃2 i y 是n 1 的列向量 x 是n p 的矩阵 x 2 是 i x q 的矩阵 屈是p 1 的列向量 是q x l 的列向量 且： r a n k 似) = p ，r a n k ( ：) = q ，x ，的列与x ：的列之间线性独立。 而若根据数据拟合出来的模型为： y - x i 屈4 - 6 则称此拟合为不饱和拟合。( u n d e r f l t t i n g ) 不饱和拟合模型的参数估计为： 扈。= 扛z ) - 1 z ，y ( 1 ) 毹= 百y ( i - p , ) r = 而8 1 t e l ( 2 ) 其中：p = x ，仁，置) - 1 x 。t e 。= o 只妒 二、不饱和拟合的性质： 为了研究不饱和拟合模型的性质，我们先引入以下引理。 引理：令z 为n 1 的随机向量，且e ( z ) = 卢，v 打( z ) = q 。若a 哥( 口。) 为一r l x 胛 的对称阵，则有： e ( z a z ) = t r , c e c a n ) + p t a 弘 证明： z a z = ( z 一y 爿( z 一) + a t a z + z a l a _ 两边取数学期望，便有： e ( z 。爿z ) = e ；| ；喜嘞( z ，一麒) 眈一卢，斗+ 4 + 4 卢r 爿 。 口。盯。 + 爿 【f i j 2 1 j = _ t r a c e o n ) + 彳 _ 从而有不饱和拟合的性质如下： 性质：若y = x 。屈+ x ：+ s ，e g ) = o ，且e k ) = 0 - 2 i ，若对于这些数据， 我们拟和出来的模型为y = x ，屈+ 占，那麽有： 1 ( 1 ) 式中属的最小二乘估计卮。是有偏估计。只有当卢：20 或x 。与x z 正 交或两者都成立时，a 。才是a 的无偏估计。 2 用不饱和模型预测的以也是有偏的。只有当卢：；0 或x ，与x ：正交或 两者都成立时，才是y 的无偏估计。 3 ( 2 ) 式中给出的仃2 的估计毹也是有偏估计。只有当以= 0 时，它才是无 偏估计。 证明： e 够。) = 仁。x ，1x ；e ( y ) = 仁。x ) 1 x 。伍。届+ x ：卢：) = p l + 仁x ) _ 1 x x ：卢： 。p 。是的有偏估计，且只有当卢：= 0 或x 。与x ：正交或两者都成立时， 反。才是p 、的无偏估计，即性质1 成立。 由以上可见，性质2 也显然成立。下面我们来证明性质3 ： 由引理我们有： e p ( ，一届时= t r a c e 矗2 ( ，一鼻讨+ “属+ 也岛yi - 弓) “属+ z 。以) = 仃2o p ) + ：x ：【，一只皿： 从而有：e p ；) = 盯：+ 旦乏垦尘逝 h p 可见：鄙是仃2 的有偏估计，且只有当：= 0 时，它才是盯2 的无偏估计。即性 质3 成立。 1 2 是会暑兰盘集雷墓器酶掌嫠翟，磊篓篙望簇翌毳掣，妻篇竿募造荡叠娑霎粪老 嚣蠢喜i 蓁磊曩耋翼暑釜粟鼍知磊耋霁登蒜蒌翥墨量冀韶；罘萎薹爵# 茗芽所拟合出来的模型是否是不饱和的。并且需要知道当远用多少个父量州匕刀 能够是所需的真正模型。 为此，我们引入下一节： 2 2 不饱和拟合时的模型评判准则 m a l l o w s 在1 9 7 3 年提出了以下评判准则： m a l l o w s j p 准则： 令e ( y ) = ，7 ( 某个未知的参数函数) ，e 是由所拟合出来的不饱和模型 v = x 。f i n + 占得到的预测值。令e r ) = 仉( 下标p 表示此期望依赖于p 个变量) 。 现在有： 叩，= e r ) = e 0 矗) = x 。仁。墨) - 1 x ，叩 从而我们用： j p - 盘二述垒二尘 o r 。 来评判拟合模型的优良性。其中仃2 是残差平方和。 当我们在p l s 回归中提取成分时，可以不用交叉有效性，而采用此准则来确定 成分的个数。从而有下一节： 第三节、p l s 回归中的一种新的评判准则 在2 2 节中，我们介绍了m a l l o w s 的c p 准则，但此准则中的参数r l 与o r 2 是未 知的，我们需要给出它们的样本估计。为此，以下我们先给出准则中的j p 的参 数估计c p ，从而我们便可以用此c p 来评判拟合模型的优良性了。 定理：令 c p = 丁y r l y + ( 2 p - n ) 其中彦2 是盯2 的一个好的估计( 即：子2 兰o r 2 ) 。那麽有 z ( c p l 兰j p 证明： 利用21 节中的引理有： e 口r r = e p ( ，一只) 丹 = t r a c e p 2 ( ，一只) ， + ，7 ( ，一只h = 0 - 2 ( 矗一p ) + ，7 ( ，一只h 又因为有； = 0 - 2 加一p ) + 7 1 ( ? 一p , y q 一只：h = 0 - 2 0 p ) + b e 吁y ( 叩一只，7 ) 盯：0 一p ) + 6 7 7 ，y6 7 7 ，) ( 1 ) e 托一彬一撕：e k1 川一彬 - 7 p + t p - 7 ) ；e 包一叩，y 一仉) + b ，一谚( 叩，一曲 = t r a c e 陆包劳+ 6 7 ，一谚6 7 ，一7 ) = t r a c e 岫僻y + 6 7 ，一7 7 ( 7 ，一7 ) ( 2 ) 式减去( 1 ) 式有； e & ，一叩y = t r a c e a 2 对+ 6 7 ，一谚6 7 ，一叩) = p 0 2 + 6 7 ，二彬6 7 ，一谚 ( 2 ) 一，7 旁一e ，墨时：( 2 p - 咖： ( 3 ) ( 3 ) 式两边同除以盯2 有： 即 墨! 二翌) ! 鱼二翌显：垒延垒! 。 盯2 护e 半锄一舛 ( 2 p 一胛) 若子2 是盯2 的一个好的估计，即若子2 兰盯2 ，则有 1 4 ，一兰e | l y 子r r ：t y + ( 2 p n ) z ( c p ) 兰j p 即此时c p 近似为j p 的无偏估计。一 从以上证明中可见，若盯：的无偏估计为子2 ，且占2 的分布与y r i y 的分布独立， 则e ( c p ) = j p ，即c p 是j p 的无偏估计。 当所拟合出来的模型为真模型时( 即，7 ，= 町) ： 子：是盯：的无偏估计，所以，c p 也是j p 的无偏估计。另外，由( 1 ) 可知e ( c p ) = p 。 即综述有： e 恸) = j p = p 既然，当所拟合出来的模型为真模型时，c p 为j p = p 的无偏估计，那麽利用此 结论，我们可以评判所拟合出来的模型是否为真模型。此时，对每一次拟合出 来的模型，计算其对应的c p 及l c p - p i ，从而认为1 c p - t , 最4 、者所对应的模 型为真模型。 这一点我们是可以理解的，因为即使在某些情况下当i c p p i 最小时，c p 不是j p 的无偏估计，但此时若认为子2 为盯2 的一个好的估计，那麽c p 近似为j p 的无 偏估计。从而在整体都为无偏估计的大环境下，取方差最小者为入选模型，这 是合理的。 在p l s 回归中可以用此评判准则来确定入选成分的个数，有： 1 计算出所有的成分t 。( h = t ，2 ，a ) 2 利用成分t ，t ：，t 。( h = 1 ，2 ，a ) 与f 。计算每个c 值及i c 一叫值： c 。= 学+ ( 2 h - n ) ，i l = l ，z ，a 其中：r ，= ，一rc r 7 1 ) _ 1 r 2 ，丁= ( t 。，t ：，t ) 。 占：s s e 噬 n - h 撑 丘为利用h 个成分对fo 做回归所得到的f 。的估计值 n 为样本个数 3 取1 g 一嘲最小者对应桶h + 为所应入选成分静个数 跌褥利用这h 个成分与fo 在l s 回归下可建立线性模型，进而最终可还原为所 霰韵x 与y 之闯的线性模型。 乎4 警喾p 的l 是s 。回归中的成分燕正交互补静，所良在确定入选成分翡个数瓣，萄i 由于回归中的成分燕正交互补静，所良在确定入选成分翡，| 、簸 l 霉，磁 黻鬻不镪翻羧合辩豹模型滓判准则帮戴c p 准煲4 来确寇e 2 + 壹如麴定义及c p 的计冀w 见，此评判准则简单易懂，易于计算，且计算量 比用交叉有效性准则时要小。因为在用交叉有效髓准则确定成分个数时，每 入选1 个成分，都满再做n 次回归，因此若最终入选h 个成分，则总共需 做函+ l 协次圈j | j 。可觅，巍样本数n 很大时，魏计算薰楚不夸豹。 勇外，在利用交叉有效性准则时，每入选一个成分都需稍除第i ( i = l ，2 ，n ) 个 样本傲一次回努，其中计髯量氇是不夺静。 3 。由予此准则是与交叉鸯效性准则等埝的。褥在利用交叉有效性准则确定成分 个数时，是结合p l s 回归中的精度分析综合考虑的，故利用此c p 准则确定 成分时。也需结合精度分桁综合考虑。诧时后者酶计算重篾然也燕要院前者 夸豹。( 注：耪魔分耩冕参考书丞 ) 为了说明这些，我们餐下节的例子： 第四节、例子 见驸录中的表2 ，这是一体缝溯练驰数据。其巾： y 斟如茼 x ，体重 x ：簇醒 x ，脉搏 菇观测了2 。级数摄其中，巍变囊阗豹攘关慕数楚黪为r = ( 1 疆；7 ：号；刁 可冤；宙变量x 体鬟) - qx 2 ( 腰围) 乏阀稽关度徽高为o 9 7 ，赦需采庸p l s 1 6 回归来建立y 与x 之间的线性模型。 当利用交叉有效性准则时，第_ _ f 个成分的交叉有效性q ：= - o 1 7 6 8 7 5 o 9 5 2 故只取一个成分进行回归建模。 而利用c p 准则进行判定时，有： ( h 2 4 6 h h 1 2 3 因为当h 2l 时，i ( ? 。一h i 最小，故也决定取一个成分进行回归建模。 可见：计算量小、简单易懂的c p 准则，具有与交叉有效性准则相同的评判效 果，因此利用它来决定成分的个数是可行的。 7 附录：表1 身体脂肪有关数据 样本三头肌皮褶厚度大腿围长中臂围长身体脂肪 n x x 2 x 3 y l1 9 54 3 12 9 11 1 9 22 4 74 9 82 8 22 2 8 33 0 75 1 93 7 01 87 42 985 4 33 1 12 01 51 9 14 2 23 0 91 2 9 6 2 5 65 3 92 3 72 1 7 73 1 45 8 52 7 62 7 1 82 7 95 2 13 0 62 5 4 92 2 14 9 92 3 22 1 3 1 02 5 55 3 52 4 81 9 3 1 13 1 15 6 6 3 0 o2 5 4 1 23 0 45 672 8 32 7 2 1 31 8 74 6 52 3o1 l7 1 41 9 7 4 4 22 8 61 7 8 1 51 464 27 2 1 31 28 1 62 9 5 5 4 43 0 12