多元回归和多元相关分析

1、关于多元回归与多元相关分析1第1页，共30页，2022年，5月20日，19点36分，星期三2第一节：多元回归分析一、多元线性回归模型多元线性回归：是指具有两个或两个以上自变量，且各自变量均为一次项的回归。多元回归跟一元回归在很多方面是相同的，只是多元回归方法更复杂些，计算量相当大，一般通过计算机程序来完成计算。第2页，共30页，2022年，5月20日，19点36分，星期三3设因变量Y与自变量x1,x2,xm有关系式：Y=a+b1x1+b2x2+bmxm+其中是随机项。现有n组数据： （y1；x11 ，x21 ， xm1） （y2 ；x12 ，x22 ， xm2） . （yn ；x1n ，x2n

2、 ， xmn）其中，xij是自变量xi的第j个值，yj是Y的第j个观测值。第3页，共30页，2022年，5月20日，19点36分，星期三4假定：其中a,b1,bm是待估参数；而1，2,，n相互独立且服从相同的分布N（0，2 ）第4页，共30页，2022年，5月20日，19点36分，星期三5样本多元回归方程为：第5页，共30页，2022年，5月20日，19点36分，星期三6二多元线性回归方程的建立同直线回归一样，用最小二乘法要使Q达到最小，就必须使Q的偏微分方程皆等于0，即有：第6页，共30页，2022年，5月20日，19点36分，星期三7 . 整理得：第7页，共30页，2022年，5月20日，

3、19点36分，星期三8其中：该方程组用矩阵表示为：第8页，共30页，2022年，5月20日，19点36分，星期三9若系数矩阵用A表示，未知项矩阵用b表示，常数矩阵用K表示，则可写为：Ab=K (13.8)为了求解b，一般应先求出A的逆矩阵A-1，令：A-1是一个m阶的对称矩阵，即有cij=cji第9页，共30页，2022年，5月20日，19点36分，星期三10A-1A=I式12.8两边同乘以A-1，可得b= A-1K即：例13.1 第10页，共30页，2022年，5月20日，19点36分，星期三11三、多元回归的假设检验和置信区间（一） 多元线性回归方程的估计标准误其中：Sy/12m多元回归方

4、程的估计标准误；Qy/12m多元回归方程的离回归平方和（剩余平方和）；df=n-(m+1)=n-m-1，因为在计算多元回归方程时，已用去a,b1,b2,bm共m+1 个统计数。第11页，共30页，2022年，5月20日，19点36分，星期三12与直线回归分析类似，多元回归中因变量y的总平方和 也可分解为离回归平方和（剩余平方和）与回归平方和（Uy/12m）即：例13.2第12页，共30页，2022年，5月20日，19点36分，星期三13（二）多元线性回归方程的假设检验多元线性回归关系假设检验的原理和方法与直线回归关系的假设检验是一样的。其假设为 ; HA : 不全为0。可通过F检验来实现：式中

5、：分子自由度df1=m，分母自由度df2=n-(m+1)第13页，共30页，2022年，5月20日，19点36分，星期三14这里应注意两个问题： 1）多元线性回归关系显著不排斥有更合理的多元非线性回归方程的存在； 2）多元线性回归关系显著也不排斥其中存在着与因变量y无线性关系的自变量，因此有必要对各偏回归系数逐个进行假设检验，以便发现和剔除=0的自变量。一般说来，只有当多元回归方程的自变量的偏回归系数均达到显著时，多元回归检验的F值才有确定意义。例13.3第14页，共30页，2022年，5月20日，19点36分，星期三15（三）偏回归系数的假设检验偏回归系数的假设检验是逐个分别计算各偏回归系数

6、bi来自i=0的总体的概率。所作的假设为：偏回归系数的假设检验有t检验和F检验两种。t检验和F检验结果是完全一样的（F=t2）,实际应用时可任选一种。第15页，共30页，2022年，5月20日，19点36分，星期三16（1）t检验偏回归系数bi的标准误为： 符合df=n-(m+1)的t分布，故在H0:i=0的假设下，由 可知bi抽自i的总体的概率。第16页，共30页，2022年，5月20日，19点36分，星期三17（2）F检验Upiy在xi上的偏回归平方和可确定bi来自i=0的总体的概率。例13.4第17页，共30页，2022年，5月20日，19点36分，星期三18（四）多元线性回归的区间估计

7、多元线性回归中因变量y的估计一般有两种。 1）对各变量的一组取值所对应的y总体平均数y/12m的估计； 2）对各变量的一组取值所对应的单个y的估计（观测值y）y/12m的置信区间为：第18页，共30页，2022年，5月20日，19点36分，星期三19单个y的置信区间可用下式估计：例13.5 第19页，共30页，2022年，5月20日，19点36分，星期三20第二节 多元相关分析一多元相关分析多元相关或复相关: 是指m个自变量和因变量的总相关。用多元相关系数Ry/12m来表示m个自变量与因变量y总的密切程度。 （13.32） 第20页，共30页，2022年，5月20日，19点36分，星期三21R

8、y/12m的取值区间为0，1，接近1，相关程度高，多元相关系数的假设检验用F检验，而不能用t检验。假设H0：=0；对HA：0，其F值为： （13.33） 式中，df1=m, df2=n-m-1, R2=R2y/12m多元相关系数的显著性与多元回归方程的显著性一致，即Ry/12m显著，多元回归方程必显著。 第21页，共30页，2022年，5月20日，19点36分，星期三22对同一资料，多元相关与多元回归的假设检验只需要进行一种。由于在df1=m,df2=n=m-1一定时，给定显著水平的F值也一定，所以将式12.47移项整理，可得显著水平为时临界R值： （13.34）R与 比较，R 相关按自由度d

9、f=n-m-1和变量个数M=m+1查附表14，而不必直接计算 。第22页，共30页，2022年，5月20日，19点36分，星期三23 称决定系数它是多元回归平方和占y的总变异平方和的比率。即有x%可由自变量的变异决定。例13.6 P247第23页，共30页，2022年，5月20日，19点36分，星期三24二、偏相关偏相关系数: 在其他变量都保持一定时，表示指定的两个变量之间相关密切程度的量值称为偏相关系数。偏相关系数用r加下标表示。如三个变量x1,x2,x3则r12,3表示x3保持一定时，x1与x2的偏相关系数。偏相关系数的取值范围和简单相关系数一样，也是-1，1。第24页，共30页，2022

10、年，5月20日，19点36分，星期三25（一）偏相关系数的一般解法第一步：计算由简单相关系数构成的相关矩阵R(xi,xj,y)：第二步：求其逆矩阵R-1第25页，共30页，2022年，5月20日，19点36分，星期三26第三步：计算偏相关系数rij. :例13.7第26页，共30页，2022年，5月20日，19点36分，星期三27（二）偏相关系数的间接解法当只有三个变量时，可用简单相关系数间接计算偏相关系数。设三个变量为xi,xj,xk,则当xk保持一定时，xi和xj间的偏相关系数为： （13.36）例13.8 P250四个变量略。第27页，共30页，2022年，5月20日，19点36分，星期三28（三）偏相关系数的假设检验偏相关系数假设检验可采用t检验，同简单相关系数的假设检验相类似，检验的假设为H0:ij=0,HA:ij0其t值为： （13.39）它服从自由度为n-M的t分布。若|t|t为显著，在实践中，不需计算此t值，而是将rij.与一定显著水平下的临界rij. 值相比较。 第28页，共30页，2022年，5月2