第三章一元线性回归

1、LOGO第三章第三章 一元线性回归一元线性回归 3.1 一元线性回归模型一元线性回归模型 3.2 回归参数回归参数 的估计的估计 3.3 最小二乘估计的性质最小二乘估计的性质 3.4 回归方程的显著性检验回归方程的显著性检验 3.5 预测和控制预测和控制10，LOGO3.1 一元线性回归模型一元线性回归模型一一、回归模型的一般形式、回归模型的一般形式 1、变量间的关系 经济变量之间的关系，大体可分为两类： （1）确定性关系或函数关系确定性关系或函数关系：变量之间有唯一确定性的函数关系。其一般表现形式为： （2）统计关系与相关关系统计关系与相关关系：变量间为非确定性依赖关系。其一般表现形式为：1

2、2( ,)kyf x xx（3.1.1)12( ,)kyf x xxu(3.1.2)LOGO 函数关系：函数关系：圆面积S=2r统计依赖关系统计依赖关系/统计相关关系：统计相关关系：农作物产量农作物产量=（气温，降雨量，阳光，施肥量）（气温，降雨量，阳光，施肥量）fLOGO2、回归分析与相关分析、回归分析与相关分析 若x和y之间确有因果关系，则称(3.1.2)为总体回归模型，x(一个或几个）为自变量（或解释变量或外生变量），y为因变量（或被解释变量或内生变量），u为随机项，是没有包含在模型中的自变量和其他一些随机因素对y的总影响。 一般说来，随机项来自以下几个方面：一般说来，随机项来自以下几个

3、方面： 1、变量的省略。、变量的省略。由于人们认识的局限不能穷尽所有的影响因素或由于受时间、费用、数据质量等制约而没有 引入模型之中的对被解释变量有一定影响的自变量。 2、统计误差。、统计误差。数据搜集中由于计量、计算、记录等导致的登记误差；或由样本信息推断总体信息时产生的代表性误差。LOGO 3、模型的设定误差。、模型的设定误差。如在模型构造时，非线性关系用线性模型描述了；复杂关系用简单模型描述了；此非线性关系用彼非线性模型描述了等等。 4、随机误差。、随机误差。被解释变量还受一些不可控制的众多的、细小的偶然因素的影响。 若相互依赖的变量间没有因果关系，则称其有相关关系。其有相关关系。注意：

4、注意： 1、有相关关系并不意味着一定有因果关系； 2、回归分析/相关分析研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因果关系。 3、相关分析对称地对待任何（两个）变量，两个变量都被看作是随机的。回归分析对变量的处理方法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者不是。LOGO 对变量间统计依赖关系的分析主要是通过相关分析相关分析(correlation analysis)或或回归分析回归分析(regression analysis)来完成的。 他们各有特点、职责和分析范围。相关分析和回归分析本身虽然可以独立的进行某些方面的数量分析，

5、但在大多数情况下，则是和回归分析结合在一起，进行综合分析，作为回归分析方法的补充。LOGO二、一元线性回归模型二、一元线性回归模型 回归分析回归分析(regression analysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。 其用意其用意：在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值。 这里：前一个变量被称为被解释变量被解释变量（Explained Variable）或）或因因变量变量（Dependent Variable），），后一个（些）变量被称为解释变量解释变量（Explanatory Variable）或）或自变量自变量（Indepe

6、ndent VariableVariable）。）。对于总体回归模型， 特别地,当只有一个自变量且 时，则有： 12( ,)kyf x xxu01( )f xxLOGO01yxu(3.1.4)其中 和 为两个待定参数， 为直线的截距， 为直线的斜率。我们称（3.1.4）为一元线性总体回归模型。若给定的n次观察值， （i,j=1,2,3,n）代入模型（3.1.4)，得0101( ,)ijx y01iiiyxu(i=1,2,3,n) （3.1.5）线性回归模型中的线性回归模型中的“线性线性”一词在这里有两重含义：一词在这里有两重含义： 一是被解释变量y与解释变量x之间为线性关系，即解释变量x仅以一

7、次方的形式出现在模型之中。用数学语言表示为：1yx220yxLOGO 二是被解释变量x与参数 之间为线性关系，即参数 仅以一次方的形式出现在模型之中。用数学语言表示为：01y2200y1yx2210y在经济计量学中，我们更关心被解释变量y与参数 之间的线性关系。因为只要被解释变量y与参数 之间为线性关系，即使被解释变量y与解释变量x之间不为线性关系，我们也可以通过变量替换方便地将其化为线性。例如， 模型就属于被解释变量y与解释变量x之间不为线性关系的情形，如果我们令 ，此时非线性模型 就变成线性模型 了 。011iiiyux1xx011iiiyux01iiiyxuLOGO三、一元线性回归模型中

8、随机项的假定三、一元线性回归模型中随机项的假定在给定样本观测值（样本值） ，i,j=1,2,3,n后，为了估计（3.1.5）式的参数 和 ，必须对随机项做出某些合理的假定。这些假定通常称为古典假设。( ,)iix y01假设假设1、解释变量X是确定性变量，不是随机变量； 假设假设2、随机误差项具有零均值、同方差和不序列相关性： E( i)=0 i=1,2, ,n Var ( i)= 2 i=1,2, ,n Cov( i, j)=0 ij i,j= 1,2, ,n假设假设3、随机误差项与解释变量X之间不相关： Cov(Xi, i)=0 i=1,2, ,n假设假设4、服从零均值、同方差、零协方差的

9、正态分布 iN(0, 2 ) i=1,2, ,nLOGO注意：注意：1、如果假设如果假设1、2满足，则假设满足，则假设3也满足也满足;2、如果假设、如果假设4满足，则假设满足，则假设2也满足也满足以上假设也称为线性回归模型的经典假设经典假设或高斯（高斯（Gauss）假设）假设，满足该假设的线性回归模型，也称为经典线性回归模型（经典线性回归模型（Classical Linear Regression Model, CLRM）。【例【例3.1.1】：】：一个假想的社区有100户家庭组成，要研究该社区每月家庭消费支出Y与每月家庭可支配收入X的关系。 即如果知道了家庭的月收入，能否预测该社区家庭的平均

10、月消费支出水平。 为达到此目的，将该100户家庭划分为组内收入差不多的10组，以分析每一收入组的家庭消费支出。LOGO表表 2.1.1 某某社社区区家家庭庭每每月月收收入入与与消消费费支支出出统统计计表表 每月家庭可支配收入X（元） 800 1100 1400 1700 2000 2300 2600 2900 3200 3500 561 638 869 1023 1254 1408 1650 1969 2090 2299 594 748 913 1100 1309 1452 1738 1991 2134 2321 627 814 924 1144 1364 1551 1749 2046 217

11、8 2530 638 847 979 1155 1397 1595 1804 2068 2266 2629 935 1012 1210 1408 1650 1848 2101 2354 2860 968 1045 1243 1474 1672 1881 2189 2486 2871 1078 1254 1496 1683 1925 2233 2552 1122 1298 1496 1716 1969 2244 2585 1155 1331 1562 1749 2013 2299 2640 1188 1364 1573 1771 2035 2310 1210 1408 1606 1804 210

12、1 1430 1650 1870 2112 1485 1716 1947 2200 每 月 家 庭 消 费 支 出 Y （元） 2002 共计 2420 4950 11495 16445 19305 23870 25025 21450 21285 15510 LOGO分析：分析： （1）由于不确定因素的影响，对同一收入水平X，不同家庭的消费支出不完全相同； （2）但由于调查的完备性，给定收入水平X的消费支出Y的分布是确定的，即以X的给定值为条件的Y的条件分布（Conditional distribution）是已知的，如:P(Y=561|X=800）=1/4。因此，给定收入X的值Xi，可得消费

13、支出Y的条条件均件均值值（conditional mean）或条条件期望（件期望（conditional expectation）： E(Y|X=Xi)该例中：E(Y | X=800)=561LOGO3.2 回归参数回归参数 的估计的估计一、样本回归方程一、样本回归方程 对于一元线性回归模型 ，在满足古典假设条件下，两边取条件均值，得一元线性回归方程：01iiiyxu01()iiiE y xx简称总体回归线总体回归线。其中总体回归系数 和 是未知的，实际上总体回归线是无法求得的，它只是理论上的存在，所以称为理论回归方程。01如果变量 x 和y之间存在线性相关关系，对于任意抽取的若干个观测（样本

14、）点（ ）， 有 （3.2.1）,iix y01iiiybb xe10，LOGO我们称（3.2.1）为样本回归模型。它由两部分组成： 称为系统分量，是可以被x解释的部分，也称为可解释分量； 是不能被解释的部分，称为残差（Residual）,它是随机项 的代表值，也称为不可解释分量。将系统分量表示为01ibb xieiuiy01bbix(3.2.2)式（3.2.2）称为一元线性样本回归方程，简称样本回归方程。又因（3.2.2）式的建立依赖于样本观测值( )，所以我们又称其为经验回归方程。 为样本回归系数。其中， 是估计的回归直线在y轴的截距，是总体回归系数的样本估计值； 是直线的斜率，是总体回归

15、系数 的样本估计值。 的实际意义为x每变动一个单位时，y的平均变动值，即x的变动对y变动的边际贡献率。 是实际观测值 的拟合值或估计值。,iix y01,b b0b1b1iy1biyLOGO二、参数的普通最小二乘估计二、参数的普通最小二乘估计 对每一个样本观测值 ，最小二乘法考虑观测值 与其回归值 的离差越小越好，综合考虑n个离差值，定义离差平方和为：）（iiyx ,iyiixy1021012110)()(iniiniiixyyyQ），（所谓最小二乘法，就是寻找参数 的估计值 ，使式（3.2.3）定义的离差平方和最小，即寻找 满足：1, 0，10，（3.2.3）10，2101,210110)(

16、min)(10iniiiniixyxyQ），（3.2.4）求出的 就称为回归参数回归参数 的最小二乘估计的最小二乘估计。10，1, 0，LOGOiixy10为 的回归拟合值，简称回归值回归值或拟合值拟合值。称为 的残差残差。 从几何关系上看，用一元线性回归方程拟合n个样本观测点 ，就是要求回归直线 位于这n个样本点中间，或者说这n个样本点能最靠近这条回归线。),.,2 , 1(niyiiiiyye),.,2 , 1(niyi）（iiyx ,),.,2 , 1(ni iixy10从式（3.2.4）中求出 是一个求极值的问题。根据微积分中求极值的原理， 应满足下列方程组：10，10，0)(2101

17、000iniixyQ0)(2101111iiniixxyQ（3.2.5）LOGO求解以上正规方程组得 的最小二乘估计（OLSE)为:1, 0，xy10niiniiixxyyxx1211)()(（3.2.6）式中式中 ， niixnx11niiyny11记记21212)()(xnxxxLniiniixxyxnyxyyxxLniiiniiixy11)(LOGO则式（3.2.6）可简写为：xy10 xxxyLL/1由 可知：xy10 xy10可见回归直线 是通过点 的。从物理学的角度看， 是n个样本值 的重心。 xy10),(yx),(yx),(iiyxLOGO由最小二乘法确定的一元线性回归方程由最

18、小二乘法确定的一元线性回归方程 有以下性质：有以下性质： iy01bbix1、它是由所选取的样本唯一决定的。即对于一个给定的样本，只能估计出一个 ，但对于不同的样本，估计出的 可能不相等，即它们是服从某种分布的随机变量。 01bb和01bb和2、残差的均值为零，即10niieen3、残差 的大小无关，进而与 的大小无关，即 iiex与iy( ,)( ,)0iiiiCOV e xCOV e y4、由 知， 。说明回归直线 通过样本的平均点（ ）。01byb x01ybb xiy01bbix, x yLOGO【例例3.2.1】：在上述家庭可支配收入消费支出例中，对于所抽出的一组样本数，参数估计的计

19、算可通过下面的表2.2.1进行。 表表 2.2.1 参参数数估估计计的的计计算算表表 iX iY ix iy iiyx 2ix 2iy 2iX 2iY 1 800 594 -1350 -973 1314090 1822500 947508 640000 352836 2 1100 638 -1050 -929 975870 1102500 863784 1210000 407044 3 1400 1122 -750 -445 334050 562500 198381 1960000 1258884 4 1700 1155 -450 -412 185580 202500 170074 28900

20、00 1334025 5 2000 1408 -150 -159 23910 22500 25408 4000000 1982464 6 2300 1595 150 28 4140 22500 762 5290000 2544025 7 2600 1969 450 402 180720 202500 161283 6760000 3876961 8 2900 2078 750 511 382950 562500 260712 8410000 4318084 9 3200 2585 1050 1018 1068480 1102500 1035510 10240000 6682225 10 350

21、0 2530 1350 963 1299510 1822500 926599 12250000 6400900 求和 21500 15674 5769300 7425000 4590020 53650000 29157448 平均 2150 1567 LOGO777. 07425000576930021iiixyx172.1032150777. 0156700XY因此，由该样本估计的回归方程为：iiXY777. 0172.103LOGO3.3 最小二乘估计的性质最小二乘估计的性质 当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。 一个用

22、于考察总体的估计量，可从如下几个方面考察其优劣性：一个用于考察总体的估计量，可从如下几个方面考察其优劣性：（1 1）线性性，线性性，即它是否是另一变量的线性函数；（2 2）无偏性无偏性，即它的均值或期望值是否等于总体的真实值；（3 3）有效性有效性，即它是否在所有线性无偏估计量中具有最小方差。 这三个准则也称作这三个准则也称作估计量的小样本性质估计量的小样本性质。 拥有这类性质的估计量称为拥有这类性质的估计量称为最佳线性无偏估计量最佳线性无偏估计量（best liner unbiased estimator, BLUE）。 LOGO一、线性一、线性所谓线性就是估计量所谓线性就是估计量 为随机变

23、量为随机变量 的线性函数。的线性函数。10,iY22221)(iiiiiiiiiiixxYxYxxYYxxyx令令 ，因，因 ，故有，故有 2iiixxk0)(XXxiiiiiiiYkYxx21iiiiiiiYwYkXnXYkYnXY)1(110所以 和 是 的线性组合。01iYLOGO二、无偏性二、无偏性即估计量即估计量 的均值（期望）等于总体回归参数真值的均值（期望）等于总体回归参数真值10,10,iiiiiiiiiikXkkXkYk10101)(易知02iiixxk1iiXk故iik111111)()()(iiiiEkkEE同样地，容易得出0000)()()()(iiiiEwEwEELO

24、GO三、有效性（最小方差性）三、有效性（最小方差性） 即在所有线性无偏估计量中，最小二乘估计量即在所有线性无偏估计量中，最小二乘估计量 具有最具有最小方差。小方差。 10,(1)先求0与1的方差 )var()var()var()var(21021iiiiiiikXkYk22222iiixxx221020)/1 ()var()var()var(iiiiiikXnXwYw2222222221121iiiiixxXkXnnkXkXnn22222222221iiiiixnXxnXnxxXnLOGO（2）证明最小方差性）证明最小方差性iiYc*1其中，其中，ci=ki+di，di为不全为零的常数，则容易

25、证明为不全为零的常数，则容易证明假设假设 是其他估计方法得到的关于是其他估计方法得到的关于 的线性无偏估计量：的线性无偏估计量：*11)var()var(1*1同理，可证明同理，可证明 的最小二乘估计量的最小二乘估计量 具有最小的方差。具有最小的方差。0*0普通最小二乘估普通最小二乘估计计量量（ordinary least Squares Estimators）称为称为最佳最佳线线性无偏估性无偏估计计量量（best linear unbiased estimator, BLUE） LOGO3.4 回归方程的显著性检验回归方程的显著性检验 1 1、显著性检验、显著性检验tt检验检验 对于一元线性

26、回归方程中的 ，已经知道它服从正态分布1),(2211ixN 由于真实的 未知，在用它的无偏估计量 替代时，可构造如下统计量：2)2/(22nei)2(1112211ntSxtiLOGO 检验步骤：检验步骤： （1）对总体参数提出假设 H H0 0： 1 1=0=0， H H1 1： 1 1 0 0（2）以原假设H0构造t统计量，并由样本计算其值T=11(2)( )bt nS b（3）给定显著性水平，查t分布表，得临界值t/2(n-2)（4） 比较，判断 若 |t| t /2(n-2)，则拒绝H0 ，接受H1 ； 若 |t| t /2(n-2)，则拒绝H1 ，接受H0 ；LOGO 对于一元线性

27、回归方程中的0，可构造如下t统计量进行显著性检验： )2(0022200ntSxnXtii在上述收入收入- -消费支出消费支出例中，首先计算2的估计值 134022107425000777. 04590020222221222nxyneiii于是 和 的标准差的估计值分别是：0425. 00018. 07425000/13402221ixS41.98742500010/53650000134022220iixnXS10LOGOt统计量的计算结果分别为： 29.180425. 0777. 0111St048. 141.9817.103000St给定显著性水平=0.05，查t分布表得临界值 t 0

28、.05/2(8)=2.306 |t1|2.306，说说明家庭可支配收入在明家庭可支配收入在95%的置信度下的置信度下显显著，即是消著，即是消费费支出的主要解支出的主要解释变释变量；量； |t2|2.306,表明在表明在95%的置信度下，无法拒的置信度下，无法拒绝绝截距截距项为项为零的假零的假设设。 LOGO 2 2、显著性检验、显著性检验FF检验检验 F检验属检验属于回于回归归方程的方程的显显著性著性检验检验，它它是是对对所有所有参数参数感感兴兴趣的趣的一一种显种显著性著性检验检验。其。其检验检验步步骤为骤为： 第一步第一步：提出假设。原假设H0： （ 同时为零）备择假设H1： 不同时为零。第

29、二步第二步：构造F统计量。可以证明：01，=001，01022(1)uESS22(2)uRSSn所以 1(1,2)(2)ESSFFnRSSnLOGO即F统计量服从第一自由度为，第二自由度为n-2的t分布。F统计量的计算一般通过下列方差分析表进行。表2.4.2 方差分析表 变差来源 平方和 自由度 均方 F统计量 回归 残差 ESS RSS 1 2n ESS 22eRSS nS 1(2)ESSFRSSn 总变差 TSS 1n 21yTSS nS 第三步第三步：给定显著水平 ，查F分布临界值得到第四步第四步：做出统计决策。(1,2)FnLOGO例例3.4.1仍以仍以例例2.2.1资资料料为为例，例

30、，F检验过检验过程如下：程如下： 第一步：提出假设。原假设H0： （ 同时为零）备择假设H1： 不同时为零。第二步：构造F统计量。 因为ESS1602708.6 (计算过程见表2.4.3) 或直接取自输出结果2.2.1中的方差分析部分“回归分析（行） SS（列）”(1602708.6)。01001，01，21()niiRSSyy 40158.071 (计算过程见计算表2.4.3) 或直接取自输出结果2.2.1中的方差分析部分“残差（行） SS（列）”(40158.071)。(见方差分析表2.3.4)1602708.6/11399.0999940158.071 /10(2)ESSFRSSnLOG

31、O或直接取自输出结果2.2.1中的方差分析部分“回归分析（行） F（列）”(399.09999)。(见表2.4.4) 表2.4.3 计算表 汽车销售量（辆） y 广告费（万元） x iy 2()iiyy 2()iyy 1000 1100 1250 1280 1360 1480 1500 1720 1800 1890 2100 2200 357 385 420 406 490 525 602 651 735 721 840 924 1087.996761 1144.805205 1215.81576 1187.411538 1357.83687 1428.847425 1585.070646 1

32、684.485423 1854.910755 1826.506533 2067.94242 2238.367752 7743.429946 2007.506395 1168.562264 8572.623296 4.679131397 2616.585929 7237.014811 1261.285179 3015.191015 4031.420352 1027.688435 1472.084394 219651.4805 169629.8636 116179.3406 136349.35 39533.28804 16337.75854 806.786042 16337.63447 88949

33、.53623 72813.55346 261402.8959 464716.3697 LOGO表2.4.4 方差分析表 方差分析 变差来源 df SS MS F Significance F 回归 1 1602708.6 1602708.6 399.09999 2.16982E-09 残差 10 40158.071 4015.8071 总计 11 1642866.7 第三步：给定显著性水平 ，查 F 分布临界值得到第四步：做出统计决策。因为 ，所以我们拒绝原假设H0，接受备择假设 ，认为x,y关系显著 即回归方程显著，F检验通过。%596. 4)10, 1 (05. 0F96. 4)10, 1

34、 (09999.39905. 0FFLOGO 3 3、相关系数的显著性检验、相关系数的显著性检验 由于一元线性回归方程研究的是变量x与变量y之间的线性相关关系，所以我们可以用反映变量x与变量y之间的相关关系密切程度的相关系数来检验回归方程的显著性。 由于总体相关系数定义为ov( , )( )( )Cx yVar xVar y设 是 的 n 组样本观测值，则我们称niyxii,.,2 , 1),(),(yx12211()()()()ninniiiixxyyLxyrLxxLyyxxyyLOGO11122221111nnniiiiiiinnnniiiiiiiinx yxynxxnyy 1LxxbLy

35、y其中 xyL 1()()nix xy y xxL21()niixxyyL21()niiyyLOGO为x与y的简单线性相关系数，简称相关系数相关系数。它表示x和y的线性相 关关系的密切程度。其取值范围为 ，即 。1r11r当r=-1时，表示x与y之间完全负相关；当r=1时，表示x与y之间完全正相关；当r=0时，表示x与y之间无线性相关关系，即说明x与y可能无相关关系或x与y之间存在非线性相关关系。LOGO3.5 预测与控制预测与控制一、预测一、预测（一）点预测（一）点预测对于一元线性回归模型iiXY10 给定样本以外的解释变量的观测值X0，可以得到被解释变量的预测值0 ，可以此作为其条条件均件

36、均值值E(Y|X=X0)或个别值个别值Y0的一个近似估计注意：注意：严格地说，这只是被解释变量的预测值的估计值，而不是预测值。 原因:（1）参数估计量不确定； （2）随机项的影响LOGO即 是 的无偏估计量，但不是 的无偏估计量。但 ，说明预测误差 在多次观察中，平均值趋于零。因此，也可以用 作为 的点估计值。0 y)(0yE0y0)(00 yyE)(00yyE0 y0y 于是，我们把点预测分为两种：一是平均值的点预测，二是个别值的点预测。利用回归方程，对于x的一个固定值，推算出y的平均值的一个估计值，就是平均值的点预测；如果对于x的一个特定值，推算出y的一个个别值的估计值，则属于个别值的点预

37、测。【例【例3.5.1】仍以例2.2.1资料为例，若要估计广告费用为1000万元时，所有12个汽车销售分公司的汽车 就是平均值的点预测；若要估计广告费用为602万元的那个汽车销售分公司的汽车销售量为： 就属于个别值的点预测。 23931000028873. 26891.363)(0yE（辆）1585602028873. 26891.3630y（辆）LOGO（二）区间预测值（二）区间预测值 1、总总体均体均值预测值值预测值的置信的置信区间区间 由于0100XY),(2211ixN),(22200iixnXN0101000)()()(XEXEYE于是)(),(2)()(12010000VarXCo

38、vXVarYVar可以证明 2210/),(ixXCovLOGO因此222022022202)(iiiixXxXXxnXYVar200222222XXXXnXnXxii)(20222XXnxxii故)(1(,(22020100ixXXnXNY将未知的 代以它的无偏估计量 ，可构造t统计量22)2()(00100ntSXYtY)(1(22020iYxXXnS其中LOGO于是，在1-的置信度下，总体均值总体均值E(Y|X0)的置信区间为的置信区间为 0202000)|(YYStYXYEStY2、总总体体个个值预测值值预测值的置信的置信区间区间 由 Y0=0+1X0+ 知:),(20100XNY于是 )(11 (, 0(220200ixXXnNYY)2(0000ntSYYtYY式中 :)(11 (220200iYYxXXnS将未知的 代以它的无偏估计量 ，可构造t统计量22LOGO从而在1-的置信度下， Y0的置信区间的置信区间为002020000YYYYStYYStY在上述收入收入-消费支出消费支出例中，得到的样本回归函