多元回归与相关

多元回归与相关试验统计方法》第1页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归若依变数Y同时受到m个自变数，X1，X2、…、Xm的影响，且这m个自变数皆与Y成线性关系，则这m+1个变数的关系就形成m元线性回归。因此，一个m元线性回归的样本观察值组成为：一、多元回归方程同理，一个m元线性回归方程可给定为：其中，b0是x1、x2、…、xm都为0值y的点估计值；b1是的简写，它是在x1、x2、…、xm皆保持一定时，x1每增加一个单位对y的效应，称为x2、…、xm不变（取常量）时x1对y的偏回归系数；多元回归的线性模型和多元回归方程式第2页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归多元回归统计数的计算

同直线回归一样，必须使散点图中的所有点整体上离回归直线最近,即误差达到最小:最小由最小二乘法可求得b

：

b=(X`X)-1X`Y第3页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归这里有：第4页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归多元回归方程的估计标准误由解得的b代入后得到多元回归方程，满足最小。这里的Q叫做多元离回归平方和或多元回归剩余平方和，它反映了回归估计值和实测值y之间的差异。为与两个变数的离回归平方和Q有所区别，这里记作。由于在计算多元回归方程时用了b1、b2、…、bm和b0等m+1个统计数，故的v=n-(m+1)。因此，定义多元回归方程的估计标准误为：第5页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归在多元回归分析中，Y变数的总平方和（SSy）仍然可分解为回归平方和（记作）和离回归平方和（）两部分，相应的计算公式为：第6页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归二、多元回归的假设测验多元回归关系的假设测验

多元回归关系的假设测验，就是测验m个自变数的综合起来对Y的效应是否显著。若令回归方程中b1、b2、…、bm的总体回归系数为β1、β2、…、βm,则这一测验所对应的假设为H0：β1=β2=…=βm=0对HA：βi不全为0。第7页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归由于多元回归中SSy可分解为两部分，的不同所引起，具有v=m；的不同无关，具有v=n-(m+1),由之构成的F值：即可测验多元回归关系的显著性。第8页，共22页，2023年，2月20日，星期四试验统计方法》偏回归关系的假设测验

第一节多元回归上述多元回归关系的假设测验只是一个综合性的测验，它的显著表明自变数的集合和y有回归关系，但这并不排除个别乃至部分自变数和y没有回归关系的可能性。因此，要准确地评定各个自变数对y是否有真实回归关系，还必须对偏回归系数的显著性作出假设测验。偏回归系数的假设测验，就是测验各个偏回归系数bi(i=1,2,…,m)来自βi=0总体的无效假设，H0：βi=0对HA：βi≠0，测验方法有两种:第9页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归1、t测验

二元时，服从v=n-(m+1)的t分布，因而可测验bi的显著性。第10页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归2、F测验

在包含m个自变数的多元回归中，由于最小平方法的作用，m愈大，回归平方和Uy/12…m亦必然愈大。如果取消一个自变数Xi，则回归平方和将减少Upi,而显然，这个Upi就是y依xi的回归平方和，也就是在y的变异中由xi的变异所决定的那一部分平方和，它具有v=1。因此，由可测验bi来自βi=0的总体的概率第11页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归三、最优多元线性回归方程的统计选择一个实际的多变数资料，往往既含有对Y有显著效应的自变数，又含有没有显著效应的自变数。因此，在偏回归关系的假设测验中，通常是一些bi显著，另一些bi并不显著；象例10.4那样所有自变数都对Y有显著作用的情况并不多见，在多元线性回归分析时，必须剔除没有显著效应的自变数，以使所得的多元回归方程比较简化而又能较准确地分析和预测Y的反应。剔除不显著自变数的过程称为自变数的统计选择，所得的仅包含显著自变数的多元回归方程，叫做最优的（在被研究的自变数范围内）多元线性回归方程。第12页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归由于自变数间可能存在相关，当m元线性回归中不显著的自变数有几个时，并不能肯定这些自变数对Y的线性效应都不显著，而只能肯定偏回归平方和最小的那一个自变数不显著。当剔除了这个不显著且偏回归平方和最小的自变数后，其余原来不显著的自变数可能变为显著，而原来显著的自变数也可能变为不显著。因此，为了获得最优方程，回归计算就要一步一步做下去，直至所有不显著的自变数皆被剔除为止。这一统计选择自变数的过程也称为逐步回归。自变数统计选择的具体步骤为：第13页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归第一步：m个自变数的回归分析，一直进行到偏回归的假设测验。若各自变数的偏回归皆显著，则分析结束，所得方程就是最优多元回归方程；若有一个或一个以上自变数的偏回归不显著，则剔除那个偏回归平方最小的自变数（设为Xp）,进入第二步分析。第二步：m-1个自变数的回归分析，也是一直进行到偏回归的假设测验。这一步的计算程序是将矩阵X中Xp所占有的那一列（第p+1列）剔除，再由新X计算XX、（XX）-1和b等，从而获得新的Q和Upi.如果这一步仍有一个以上自变数的偏回归不显著，则再将偏回归平方和最小的那个变数（设为Xq）剔除，进入第三步分析。若第一步中有二个或更多个自变数的偏回归不显著，这一步可轮流试剔，直到找到最需剔除的一个，再进入第三步。第三步：m-2个自变数的回归分析，又一直进行到偏回归的假设测验。这一步的计算是在X中剔除Xq所占的一行，其余过程同第二步。第14页，共22页，2023年，2月20日，星期四试验统计方法》第一节多元回归四、自变数的相对重要性

最优多元线性回归方程中包含的自变数Xi都对依变数Y有显著作用，偏回归系数bi表示了xi对Y的具体效应。但实践中还需评定这些显著自变数的相对重要性，以利于抓住关键因素，达到调整和控制依变数反应量的目的。偏回归系数bi本身并不能反映自变数的相对重要性，其原因有二：①bi是带有具体单位的，单位不同则无从比较；②即使单位相同，若Xi的变异度不同，也不能比较。但如果我们对bi进行标准化，即分子和分母分别除以Y和Xi的标准差，就可消除单位和变异度不同的影响，获得一个表示Xi对Y相对重要性的统计数——通径系数（记作pi）：通径系数pi又称标准偏回归系数，其统计意义是：若Xi增加一个标准差单位，Y将增加或减少pi个标准差单位。第15页，共22页，2023年，2月20日，星期四试验统计方法》第二节多元相关和偏相关

在M=m+1个变数中，m个变数的综合一个变数的相关，叫做多元相关或复相关；而在其余M-2个变数皆固定时，指定的两个变数间的相关，则叫做偏相关。从相关关系的性质看，多元相关和偏相关的M个变数都是随机变数，并无自变数和依变数之分。但在实践上，多元相关和偏相关的统计数也常用于有自变数和依变数之分的资料，并作为回归显著性的一个指标。第16页，共22页，2023年，2月20日，星期四试验统计方法》第二节多元相关和偏相关一、多元相关多元相关分析的重点是计算多元相关系数并测验其显著性

多元相关系数在m个变数和1个变数的多元相关中，多元相关系数记作，读作变数y和m个变数的多元相关系数。由于m个自变数对y的回归平方和为，占y的总平方和SSy的比率愈大，则表明y和m个自变数的多元相关愈密切，因此可定义为：即多元相关系数为多元回归平方和与总变异平方和之比的平方根。第17页，共22页，2023年，2月20日，星期四试验统计方法》第二节多元相关和偏相关由于是SSy的一部分，故的存在区间为[0，1]。在一定的自由度下，的值愈接近于1，多元相关愈密切；愈接近于0，多元相关愈不密切。因为多元回归的平方和一定大于任一个自变数对y的回归平方和，故多元相关系数一定比任一自变数和y的简单相关系数算得的相关系数的绝对值都大。

多元相关系数的假设测验

总体的多元相关系数为ρ，则对多元相关系数的假设测验为H0：ρ=0，对HA：ρ≠0，可由F测验给出：式中的v1=m，v2=n-(m+1)，R2为的简写。第18页，共22页，2023年，2月20日，星期四试验统计方法》第二节多元相关和偏相关由于在v1、v2一定时，给定显著水平a下的F值一定，因此可获得达到显著水平a时的临界R值。因此，得到R后，只要查一下附表10，就能确定其显著性。二、偏相关偏相关分析的重点是计算偏相关系数并测验其显著性偏相关系数

偏相关系数和偏回归系数的意义相似。偏回归系数是在其他m-1个自变数都保持一定时，指定的某一自变数对于依变数y的效应；偏相关系数则表示在其它M-2个变数都保持一定时，指定的两个变数间相关的密切程度。第19页，共22页，2023年，2月20日，星期四试验统计方法》第二节多元相关和偏相关偏相关系数的一般解法是，由简单相关系数rij(i,j=1,2,…,M)组成的相关矩阵:

求得其逆矩阵：令xi和xj的偏相关系数为rij·，解得cij′后即有：该矩阵以主对角线为轴而对称，即rij=rji。逆阵R-1中的元素也是以主对角线为轴对称的，即第20页，共22页，2023年，2月20日，星期四试验统计方法》第二节多元相关和偏相关偏相关系数的假设测验

与相关系数的假设测验一样，偏相关系数rij的测验也需要通过转换进行。若令总体偏相关系数为ρij·，则由可测验H0:ρij·=0对HA：ρij·≠0。该测验的t具有v=n-M。

将v=n-M代入公式，可得到对于给定自由度v和给定显著水平a时临界rij·值，即结果都列于附表10。所以，算得rij·后，只要和附表10中变数个数为2那一栏的有关临界rij·值对照一下，即可确定其显著性。第21页，共22页，2023年，2月20日，星期四试验统计方法》第二节多元相关和偏相关三、偏相关和简单相关的关系当应用偏相关和偏回归的方