章多重线回归与相关PPT学习教案

1、会计学1 章多重线回归与相关章多重线回归与相关 第1页/共43页 第2页/共43页 第一节第一节 多重线性回归的概念多重线性回归的概念 与统计推断与统计推断 第3页/共43页 上式表示数据中应变量 Y 可以近似地表示为自变量 12 , k XXX的线性函数。 0 为常数项， 12 , k 为偏回归系数，表示在其它自变 量保持不变时， j X增加或减少一个单位时 Y 的平均变化 量，e 是去除 k 个自变量对 Y 影响后的随机误差（残差） 。 一、数据与多元线性回归模型一、数据与多元线性回归模型 ikikiii xxxY. 22110 第4页/共43页 例号 X1 X2 Xk Y 1 X11 X

2、12 X1k Y1 2 X21 X22 X2k Y2 n Xn1 Xn2 Xnk Yn 多元回归分析数据格式 （1）Y与 12 , k XXX之间具有线性关系。 （2）各例观测值)21(n ,iYi相互独立。 （3） 残差 eN （0， 2 ） 且各自变量与应变量 Y 具有相同方差， 并服从正态分布。 条件条件 第5页/共43页 车流 (X1) 气温 (X2) 气湿 (X3) 风速 (X4) 一氧化 氮 (Y) 车流 (X1) 气温 (X2) 气湿 (X3) 风速 (X4) 一氧化 氮 (Y) 130020.0800.450.06694822.5692.000.005 144423.0570.

3、500.076144021.5792.400.011 78626.5641.500.001108428.5593.000.003 165223.0840.400.170184426.0731.000.140 175629.5720.900.156111635.0922.800.039 175430.0760.800.120165620.0831.450.059 120022.5691.800.040153623.0571.500.087 150021.8770.600.12096024.8671.500.039 120027.0581.700.100178423.3830.900.222 14

4、7627.0650.650.129149627.0650.650.145 182022.0830.400.135106026.0581.830.029 143628.0682.000.099143628.0682.000.099 第6页/共43页 一般步骤一般步骤 (1)求偏回归系数 012 , k b b bb 01122 kk Ybb Xb Xb X 建立回归方程(样本) (2)检验并评价回归方程检验并评价回归方程 及各自变量的作用大小及各自变量的作用大小 第7页/共43页 二、多元线性回归方程的建立 样本估计而得的多重线性回归方 程 bj为自变量Xj 的偏回归系数（partial reg

5、ression coefficient），是j的估计值，表示当方程中其他自变量 保持常量时，自变量Xj变化一个计量单位,反应变量Y的平 均值变化的单位数。 kk xbxbxbby. 22110 第8页/共43页 22 01122 ()() kk QYYYbb Xb Xb X 11 112211 21 122222 1 122 kkY kkY kkkkkkY l bl bl bl l bl bl bl l bl bl bl 01122 () kk bYb Xb Xb X 求偏导数（一阶） ()() , , j=1,2,k ()(), 1,2, ij ijiijjij j jYjjj XX lXX

6、XXX Xi n XY lXXYYX Yjk n 1234 0 141660 000116190 004490 000006550 03468Y.X.X.X.X 原 理 最小二乘法 统计软件包统计软件包 第9页/共43页 012 :0 k H， 1 : j H各 （j=1,2, ,k)不全为 0， 0.05 1. 方差分析法：方差分析法： 残回总 SSSSSS / /1) SSkMS F SSnkMS 回回 残残 （ （一）对回归方程 ( ,1)F F k nk 第10页/共43页 变异来源 自由度 SS MS F P 总变异 n-1 SS总 回 归 k SS回 SS回 /k MS回/MS残

7、残 差 n-k-1 SS残 SS残 /(n-k-1) 多元线性回归方差分析表 (0.05) 第11页/共43页 变异来源自由度SSMSFP 回归模型4 40.063960.063960.015990.0159917.5917.59.0001.0001 残差19190.017270.017270.000909030.00090903 总变异23230.081230.08123 表13-2显示，P 0.0001,拒绝H0。说明从整体 上而言，用这四个自变量构成的回归方程解释 空气中NO浓度的变化是有统计学意义的。 第12页/共43页 bi i bi S b t 第13页/共43页 变量自由度回归系

8、数标准误t值P值 标准化偏回归 系数 截距1-0.141660.06916-2.050.05460 X110.000116190.000027484.230.00050.59249 X210.004490.001902.360.02890.27274 X31-0.000006550.00069083-0.010.9925 -0.00110 X41-0.034680.01081-3.210.0046-0.44770 第14页/共43页 10 2 R，说明自变量 12 , k XXX能够解释Y变 化的百分比，其值愈接近于 1，说明模型对数据的拟合程度 愈好。 2 1 SSSS R SSSS 回残

9、总总 第三节第三节 复相关系数与偏相关系数复相关系数与偏相关系数 确定系数、复相关系数与调整确定系数 复相关系数的平方称为确定系数（coefficient of determination）, 或决定系数，记为R2，用以反映线性回 归模型能在多大程度上解释反应变量Y的变异性。其定义 为 第15页/共43页 复相关系数：复相关系数：确定系数的算术平方根确定系数的算术平方根 对例13-1，由方差分析表可得：SSR=0.06396 SSE=0.01727 SST=0.08123 7874. 0 08123. 0 01727. 0 1 08123. 0 06396. 0 2 R SST SSR R 表

10、示变量Y与k个自变量（X1,X2,Xk）的线性相关的密 切程度。 说明，用包含气车流量、气温、气湿与风速这四个自变量的回归方程可解释交通点空气NO浓度变异性的78.74%。 第16页/共43页 8703. 07574. 0R 表示交通点空气NO浓度与气车流量、气温 、气湿与风速等四个变量的复相关系数为 0.8703 第17页/共43页 1 )1 ( 2 22 kn Rk RRa 7426. 004475789. 07874. 0 1424 )7874. 01 (4 7874. 0 2 a R 第18页/共43页 冷饮销售量（元） X1 游泳人数（人） X2 气温 （oC） X3 2672677

11、227222929 3973978148143030 4514519249243131 528528106610663232 618618125312533333 655655136913693434 690690159315933535 740740176117613636 780780193119313737 889889223122313838 996996274927493939 第19页/共43页 第20页/共43页 表13-5 空气中NO浓度与各自变量的相关系数和偏相关系 数 自变量相关系数 偏相关系数 偏相关系数P值 车流X10.808000.808000.696200.6962

12、00.00050.0005 气温X20.017240.017240.476700.476700.02890.0289 气湿X30.278540.27854-0.00218-0.002180.99250.9925 风速X4-0.67957-0.67957-0.59275-0.592750.00460.0046 第21页/共43页 汽车流量（X1） 4002000-200-400-600 一氧化氮浓度（Y） .2 .1 0.0 -.1 气温（ 一 氧 化 氮 浓 度 （ ） 气 湿 （） 一 氧 化 氮 浓 度 （ ） 风速（X4） 1.51.0.50.0-.5-1.0 一氧化氮浓度（Y） .10

13、 .08 .06 .04 .02 0.00 -.02 -.04 -.06 -.08 第22页/共43页 （二）对各自变量 指明方程中的每一个自变量对Y的影响 （即方差分析和决定系数检验整体）。 含义 回归方程中某一自变量 j X的偏回归 平方和表示模型中含有其它 k-1 个自变量的 条件下该自变量对 Y 的回归贡献， 相当于从 回归方程中剔除 j X后所引起的回归平方和 的减少量，或在 k-1 个自变量的基础上新增 加 j X引起的回归平方和的增加量。 1. 偏回归平方和 第23页/共43页 )( j XSS回表示偏回归平方和，其值愈大说 明相应的自变量愈重要。 ()/1 /(1) j j S

14、SX F SSnk 回 残 一般情况下， k-1 个自变量对 Y 的回归平方和 由重新建立的新方程得到，而不是简单地把 jjX b 从有 k 个自变量的方程中剔出后算得。 12 1, 1nk 第24页/共43页 平方和（变异） 回归方程中 包含的自变量 SS 回 SS残 4321 X,X,X,X 133.7107 88.8412 432 X,X,X 133.0978 89.4540 431 XX,X 121.7480 100.8038 421 XX,X 113.6472 108.9047 321 XX,X 105.9168 116.6351 各自变量的偏回归平方和可以通过拟合包含不各自变量的偏

15、回归平方和可以通过拟合包含不 同自变量的回归方程计算得到同自变量的回归方程计算得到 第25页/共43页 11234234 ()(,)(,) 133.7107-133.0978=0.6129 SSXSSXXXXSSX XX 回回回 21234134 ()(,)(,) 133.7107-121.748011.9627 SSXSSXXXXSSX XX 回回回 31234124 ()(,)(,) 133.7107-113.647220.0635 SSXSSXXXXSSX XX 回回回 41234123 ()(,)(,) 133.7107-105.916827.7939 SSXSSXXXXSSX XX

16、回回回 152. 0 ) 1427( /8412.88 1 /6129. 0 1 F， 962. 2 ) 1427/(8412.88 1 /9627.11 2 F 968. 4 ) 1427/(8412.88 1 /0635.20 3 F ， 883. 6 ) 1427/(8412.88 1 /7939.27 4 F 结结 果果 第26页/共43页 2. t 检验法 是一种与偏回归平方和检验完全等 价的一种方法。计算公式为 j b j j S b t 检验假设： H0：0 j ， j t服从自由度为1nk的 t 分布。 如果 /2,1 | jn k tt ，则在（0.05）水平上拒绝 H0，

17、接受 H1，说明 j X与Y有线性回归关系。 j b为偏回归系数的估计值， j b S是 j b的标准误。 第27页/共43页 结结 论论 P 值均小于 0.05，说明 3 b和 4 b有统 计学意义， 而 1 b和 2 b则没有统计学意义。 第28页/共43页 () jj j j XX X S 计算得到的回归方程称作标准化回归方程 ，相应的回归系数即为标准化回归系数。 Y j j YY jj jj S S b l l bb 标准化回归系数没有单位，可以用来比较各个自变 量 j X对Y的影响强度，通常在有统计学意义的前提下， 标准化回归系数的绝对值愈大说明相应自变量对 Y 的作 用愈大。 第2

18、9页/共43页 j X j b j X Y j b j X Y 第30页/共43页 目的目的：使得预报和（或）解释效果好 第31页/共43页 SST SSE R1 2 1 pn SSE MSE nq SSE C q p 2 2 第32页/共43页 全局择优法 目的：预报效果好 意义：对自变量各种不同的组合所建立 的回归方程进行比较 择优。 选择方法： 1 校正决定系数 2 c R选择法 2 p C选择法 第33页/共43页 1调整决定系数 2 a R选择法，其计算公式为 22 1 1 (1)1 1 a MSn RR npMS 残 总 n 为样本含量， 2 R为包含)(mpp个自 变量的回归方程

19、的决定系数。 2 a R的变化规 律是：当 2 R相同时，自变量个数越多 2 a R越 小。所谓“最优”回归方程是指 2 a R最大者。 第34页/共43页 2. p C选择法 )1(2 )( )( pn MS SS C m p p 残 残 p SS)( 残 是由)(mpp个自变量作回归 的误差平方和， m MS)( 残 是从全部 m 个自 变量的回归模型中得到的残差均方。 当由 p 个自变量拟合的方程理论上为最优时， p C的期望值是 p+1，因此应选择 p C最接近 p+1 的回 归方程为最优方程。 如果全部自变量中没有包含对 Y 有主要作用的变量，则不宜用 p C方法选择自变量。 第35页/共43页 逐步选择法 1. 1.前进法，回归方程中的自变量从无到有、从少到多 逐个引入回归方程。这种选择自变量的方法基于残差均方 缩小的准则，不一定能保证“最优” . 此法已基本淘汰。 2. 后退法，先将全部自变量选入方程，然后逐步剔除无统计学意义 的自变量。 剔除自变量的方法是在方程中选一个偏回归平方和