第三章-多元线性回归模型(计量经济学-浙江大学-韩菁).ppt

1、第三章 多元线性回归模型,3-1 多元线性回归模型及其基本假定,一、多元回归模型及其表示,二、多元回归模型的基本假定,3-3 多元线性回归模型的统计检验,3-2 多元线性回归模型的参数估计,二、OLS估计量的统计性质及其分布,三、随机误差项方差2的估计,一、拟合优度检验,二、回归参数的显著性检验（t检验）,三、回归方程的显著性检验（F检验）,3-4 多元线性回归模型的置信区间,一、参数的最小二乘估计,一、参数估计量的置信区间,二、应变量预测值的置信区间,3-1 多元线性回归模型及其基本假定,一、多元回归模型及其表示,第三章 多元线性回归模型,含有两个及以上解释变量的回归模型称为多元回归模型。多

2、元线性回归模型的一般式为：,k为解释变量的个数，如果将常数项看成取值始终为1的虚变量，则解释变量的数目为(k+1)。,模型中的回归系数j(j=1,2,k)表示：当其它解释变量保持不变时，第j个解释变量变动一个单位对应变量的影响。多元线性回归模型中的回归系数称为偏回归系数。,3-1 多元线性回归模型及其基本假定,一、多元回归模型及其表示,第三章 多元线性回归模型,含有两个及以上解释变量的回归模型称为多元回归模型。多元线性回归模型的一般式为：,多元线性样本回归模型,多元线性样本回归方程,多元线性总体回归方程,多元线性总体回归模型,3-1 多元线性回归模型及其基本假定,一、多元回归模型及其表示,第三

3、章 多元线性回归模型,多元线性回归模型的矩阵表示形式：,将n组观测样本值代入模型一般式，得：,多元线性总体回归模型的矩阵表示,多元线性样本回归模型的矩阵表示,3-1 多元线性回归模型及其基本假定,二、多元回归模型的基本假定,第三章 多元线性回归模型,E(i)=0,1、随机误差项具有零均值,表明：平均地看，随机误差项有互相抵消的趋势。,2、随机误差项具有同方差,Var(i)=2,表明：对每个Xi，随机误差项i的方差等于一个常数2。即解释变量取不同值时， i相对各自均值（零均值）的分散程度是相同的。应变量Yi具有与i相同的方差。应变量Yi可能取值的分散程度也是相同的。,3-1 多元线性回归模型及其

4、基本假定,二、多元回归模型的基本假定,第三章 多元线性回归模型,Cov(i, j)=0,ij,3、随机误差项在不同样本点之间是独立的，不存在序列相关,无自相关假定表明：产生误差（干扰）的因素是完全随机的，此次干扰与彼次干扰互不相关，互相独立。由此应变量Yi的序列值之间也互不相关。,因为i与j相互独立，有：,3-1 多元线性回归模型及其基本假定,二、多元回归模型的基本假定,第三章 多元线性回归模型,Cov(Xji, i)=0,4、随机误差项与解释变量之间不相关,Xji与i相互独立，互不相关，即随机误差项i和解释变量Xji是各自独立对应变量Yi产生影响。事实上，在回归分析中， Xji在重复抽样（观

5、测）中固定取值，是确定性变量，该假定自动满足。,5、随机误差项服从正态分布(结合假定1、2),iN(0, 2),随机误差项i正态分布的假定对模型的统计检验是很重要的。,3-1 多元线性回归模型及其基本假定,二、多元回归模型的基本假定,第三章 多元线性回归模型,6、各解释变量之间互不相关，即不存在线性关系,在此条件下，解释变量观测值矩阵X满秩，Rank(X)=k+1， 方阵XX也满秩，Rank(XX)=k+1， 行列式|XX|0，方阵XX可逆，(XX)-1存在。,3-2 多元线性回归模型的参数估计,一、参数的最小二乘估计,第三章 多元线性回归模型,3-2 多元线性回归模型的参数估计,一、参数的最

6、小二乘估计,第三章 多元线性回归模型,多元线性样本回归模型的矩阵表示,（极值条件）,3-2 多元线性回归模型的参数估计,一、参数的最小二乘估计,第三章 多元线性回归模型,二、OLS估计量的统计性质及其分布,1、线性：,指参数估计量 是观测值Yi的线性函数。,2、无偏性：,指参数估计量的期望等于模型参数值。,3、有效性（最小方差性）：,指在所有线性、无偏估计量中，OLS参数估计量的方差最小。,4、 服从正态分布，即：,其中， ， 2是随机误差项的方差， Cjj是矩阵(XX)-1中第j行第j列位置上的元素。,3-2 多元线性回归模型的参数估计,一、参数的最小二乘估计,第三章 多元线性回归模型,二、

7、OLS估计量的统计性质及其分布,三、随机误差项方差2的估计,参数估计的另一项任务是：求随机误差项i的分布参数,iN(0, 2),随机误差项i的方差的估计量为：,可以证明：,称作回归标准差（standard error of regression），常作为对所估计回归线的拟合优度的简单度量。,说明 是2的无偏估计量。,3-2 多元线性回归模型的参数估计,第三章 多元线性回归模型,四、样本容量问题,1、最小样本容量,从OLS原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,欲使 存在，必须使得(XX)-1存在。 欲使(XX)-1存在，必须满足|XX|0，即(XX)为（k+1）阶

8、满秩矩阵。 矩阵乘积的秩不超过各个因子矩阵的秩。即：R(XX)min(R(X),R(X)。只有当R(X)k+1时， 矩阵(XX)才为（k+1）阶满秩矩阵。 X为n(k+1)阶矩阵，其秩最大为（k+1），此时必须有nk+1，即样本容量必须不少于模型中解释变量的数目（包括常数项）。,3-2 多元线性回归模型的参数估计,第三章 多元线性回归模型,四、样本容量问题,1、最小样本容量,从OLS原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,2、满足基本要求的样本容量,nk+1,虽然当nk+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。

9、例如，参数的统计检验要求样本容量必须足够大，Z检验在n0，则 即：随着模型中解释变量个数的增加，调整的可决系数越来越小于可决系数，这似乎是对增加解释变量的“惩罚”。 总为正，但 可能为负。,3-3 多元线性回归模型的统计检验,第三章 多元线性回归模型,二、回归参数的显著性检验（t检验）,检验步骤：,（1）对总体参数提出假设：H0：j=0，H1：j0 (j=0,1,k),（2）以原假设H0构造t统计量，并由观测值计算其值；,若|t|t/2(n-2)，则拒绝H0，接受H1，即j与0有显著差异；说明在其它解释变量不变的情况下，j对应的解释变量对应变量的影响是显著的；(此时犯“弃真”错误的概率不超过)

10、,若|t|t/2(n-2)，则接受H0，即j与0的差异不显著；说明在其它解释变量不变的情况下，j对应的解释变量对应变量没有显著影响。,（3）给定显著性水平 (一般取0.01，0.05，0.1) ，查自由度为（n-2）的t分布表,得临界值t/2(n-2)；,3-3 多元线性回归模型的统计检验,第三章 多元线性回归模型,二、回归参数的显著性检验（t检验）,检验步骤：,（1）对总体参数提出假设：H0：j=0，H1：j0 (j=0,1,k),（2）以原假设H0构造t统计量，并由观测值计算其值；,（3）给定显著性水平 (一般取0.01，0.05，0.1) ，查自由度为（n-2）的t分布表,得临界值t/2

11、(n-2)；,若|t|t/2(n-2)，则拒绝H0，接受H1，即j与0有显著差异；说明在其它解释变量不变的情况下，j对应的解释变量对应变量的影响是显著的；(此时犯“弃真”错误的概率不超过),若|t|t/2(n-2)，则接受H0，即j与0的差异不显著；说明在其它解释变量不变的情况下，j对应的解释变量对应变量没有显著影响。,3-3 多元线性回归模型的统计检验,第三章 多元线性回归模型,三、回归方程的显著性检验（F检验）,F检验是以方差分析为基础，旨在检验模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立。,拟合优度检验（R2检验）中，拟合优度高，则解释变量对被解释变量的解释程度越高，可以

12、推测模型总体线性关系成立，反之就不成立。但这只是一个模糊的推测，不能给出一个统计上严格的结论，这就需要进行方程的显著性检验。,3-3 多元线性回归模型的统计检验,第三章 多元线性回归模型,三、回归方程的显著性检验（F检验）,（1）提出假设：H0：1=2=k=0 (等价于H0：R2=0),H1：j不全为零(j=1,2,k),（2）在H0成立条件下，构造F统计量，并由观测值计算其值；,检验步骤,（F随着解释变量对应变量变动的解释比例的增大而逐渐增大）,设随机变量X2(n)，Y2(m)，且X与Y相互独立，则随机变量F=(X/n)/(Y/m)的分布称为自由度为（n,m）的F分布。,3-3 多元线性回归

13、模型的统计检验,第三章 多元线性回归模型,三、回归方程的显著性检验（F检验）,（1）提出假设：H0：1=2=k=0 (等价于H0：R2=0),H1：j不全为零(j=1,2,k),（2）在H0成立条件下，构造F统计量，并由观测值计算其值；,（3）给定显著性水平 ，查F分布表,得临界值F(k,n-k-1)；,若FF(k,n-k-1)，则拒绝原假设H0，接受H1；说明模型的线性关系显著成立，模型通过方程显著性检验；也即回归方程显著。,若FF(k,n-k-1)，则接受原假设H0，说明模型的线性关系显著不成立，模型未通过方程显著性检验；也即回归方程不显著。,检验步骤,（F随着解释变量对应变量变动的解释比

14、例的增大而逐渐增大）,一元模型t检验和F检验等价,3-3 多元线性回归模型的统计检验,第三章 多元线性回归模型,三、回归方程的显著性检验（F检验）,拟合优度检验（R2检验）和回归方程显著性检验（F检验）的关系:,是两类检验：R2检验是检验模型对样本观测值的拟合程度；F检验是检验模型总体线性关系的显著性，并有精确的分布。 两者的关联：模型对样本观测值的拟合程度高，模型总体线性关系的显著性就强，即R2越大，F值越大。,判定系数R2与F值：,调整的判定系数 与F值：,Dependent Variable: Y Method: Least Squares Date: 01/13/05 Time: 20

15、:23 Sample: 1 18 Included observations: 18 Variable Coefficient Std. Error t-Statistic Prob. C -50.01638 49.46026 -1.011244 0.3279 X 0.086450 0.029363 2.944186 0.0101 T 52.37031 5.202167 10.06702 0.0000 R-squared 0.951235 Mean dependent var 755.1222 Adjusted R-squared 0.944732 S.D. dependent var 258

16、.7206 S.E. of regression 60.82273 Akaike info criterion 11.20482 Sum squared resid 55491.07 Schwarz criterion 11.35321 Log likelihood -97.84334 F-statistic 146.2974 Durbin-Watson stat 2.605783 Prob(F-statistic) 0.000000,例：建立家庭书刊消费水平(Y)关于家庭收入(X)和户主受教育年限(T)的线性回归模型。,Dependent Variable: Y Method: Least

17、Squares Date: 01/14/05 Time: 17:31 Sample(adjusted): 1981 1996 Included observations: 16 after adjusting endpoints Variable Coefficient Std. Error t-Statistic Prob. C 540.5286 84.30153 6.411848 0.0000 X 0.480948 0.021861 22.00035 0.0000 Y(-1) 0.198545 0.047409 4.187969 0.0011 R-squared 0.999773 Mean

18、 dependent var 13618.94 Adjusted R-squared 0.999739 S.D. dependent var 11360.47 S.E. of regression 183.6831 Akaike info criterion 13.43166 Sum squared resid 438613.2 Schwarz criterion 13.57652 Log likelihood -104.4533 F-statistic 28682.51 Durbin-Watson stat 1.450101 Prob(F-statistic) 0.000000,例：建立中国

19、消费模型。Y代表消费总额，X代表国内生产总值。Y(-1)代表前一年消费总额。,Dependent Variable: Y Method: Least Squares Date: 01/13/05 Time: 20:32 Sample: 1985 1996 Included observations: 12 Variable Coefficient Std. Error t-Statistic Prob. C 6.452935 29.85811 0.216120 0.8337 X 0.828679 0.114859 7.214739 0.0001 S 0.176841 0.209918 0.84

20、2429 0.4214 R-squared 0.998417 Mean dependent var 773.8333 Adjusted R-squared 0.998065 S.D. dependent var 447.6266 S.E. of regression 19.68865 Akaike info criterion 9.010280 Sum squared resid 3488.787 Schwarz criterion 9.131507 Log likelihood -51.06168 F-statistic 2838.406 Durbin-Watson stat 1.60814

21、9 Prob(F-statistic) 0.000000,例：根据我国农村居民人均年消费额Y(元)，人均年纯收入X(元)、年底人均储蓄额S(元)数据，建立线性回归模型。,3-4 多元线性回归模型的置信区间,线性回归模型的置信区间问题包括两个方面：参数估计量的置信区间和应变量预测值的置信区间。,点估计是用一个样本的具体指标去估计总体的未知参数，优点是能给出一个明确的值，缺点是没有指出这种判断的把握有多大。,区间估计则是估计未知参数所在的可能区间，并能以一定的置信度(概率)来保证估计的正确性，因此区间估计也称为置信区间。,第三章 多元线性回归模型,3-4 多元线性回归模型的置信区间,第三章 多元线

22、性回归模型,一、参数估计量的置信区间,即该随机区间以(1-)的概率包含参数真值。,在(1-)的置信水平下j的置信区间为：,（Cjj是矩阵(XX)-1中第j行第j列位置上的元素）,3-4 多元线性回归模型的置信区间,第三章 多元线性回归模型,二、应变量预测值的置信区间,在模型和解释变量预测值XF=(1,X1F,X2F,XkF)确定的情况下，对应变量Y的预测分为：,3-4 多元线性回归模型的置信区间,第三章 多元线性回归模型,二、应变量预测值的置信区间,3.6 受约束回归,在建立回归模型时，有时根据经济理论需对模型中变量的参数施加一定的约束条件。,如： 0阶齐次性 条件的消费需求函数 1阶齐次性

23、条件的C-D生产函数,模型施加约束条件后进行回归，称为受约束回归（restricted regression）; 不加任何约束的回归称为无约束回归（unrestricted regression）。,受约束回归,一、模型参数的线性约束 二、对回归模型增加或减少解释变量,一、模型参数的线性约束,对模型,施加约束,得,或,(*),(*),如果对（*）式回归得出,则由约束条件可得：,然而，对所考查的具体问题能否施加约束？,需进一步进行相应的检验。常用的检验有： F检验、x2检验与t检验，,主要介绍F检验,在同一样本下，记无约束样本回归模型为,受约束样本回归模型为,于是,受约束样本回归模型的残差平方和

24、RSSR为：,于是,ee为无约束样本回归模型的残差平方和RSSU,(*),受约束与无约束模型都有相同的TSS,由（*）式 RSSR RSSU 从而 ESSR ESSU,这意味着，通常情况下，对模型施加约束条件会降低模型的解释能力。,但是，如果约束条件为真，则受约束回归模型与无约束回归模型具有相同的解释能力，RSSR 与 RSSU的差异变小。,可用RSSR - RSSU的大小来检验约束的真实性,根据数理统计学的知识：,于是：,如果约束条件无效， RSSR 与 RSSU的差异较大，计算的F值也较大。,于是，可用计算的F统计量的值与所给定的显著性水平下的临界值作比较，对约束条件的真实性进行检验。若F

25、F，表明约束条件为假；若FF ，表明约束条件为真。,kU - kR恰为约束条件的个数。,例3.5.1 建立中国城镇居民食品消费需求函数模型。,根据需求理论，居民对食品的消费需求函数大致为,Q:居民对食品的需求量，X：消费者的消费支出总额 P1：食品价格指数，P0：居民消费价格总指数。,零阶齐次性，当所有商品和消费者货币支出总额按同一比例变动时，需求量保持不变,(*),(*),为了进行比较，将同时估计（*）式与（*）式。,根据恩格尔定律，居民对食品的消费支出与居民的总支出间呈幂函数的变化关系:,首先,确定具体的函数形式,对数变换:,考虑到零阶齐次性时,(*),(*),(*)式也可看成是对（*）式施加如下约束而得,因此，对（*）式进行回归，就意味着原需求函数满足零阶齐次性条件。,X：人均消费 X1：人均食品消费