计量经济学-3章：多元线性回归模型教学提纲

计量经济学-3章：多元线性回归模型通过本章的学习，要求学生：1、根据经济理论，对具体的经济问题建立适当的多元线性回归模型；2、对模型进行分析与评价；3、应用模型，对现实经济问题进行具体分析。教学目的1/13/20232/60重庆工商大学经济贸易学院——张文爱教学内容一、模型的建立及其假定条件二、多元线性回归模型的参数估计：OLS三、最小二乘估计量的统计性质四、拟合优度检验五、显著性检验与置信区间六、预测七、案例分析1/13/20233/60重庆工商大学经济贸易学院——张文爱总体回归模型样本回归模型总体回归函数样本回归函数回顾:一元线性回归模型1/13/20234/60重庆工商大学经济贸易学院——张文爱根据经济理论，在市场上某种商品的需求量(Y)，主要取决于该商品的价格(P)和消费者的平均收入(X)。假设某地区有关的统计资料左下表所示，试建立该商品的需求量与商品价格和消费者平均收入之间的线性回归模型。nYPX1589562488533637604686705737786986847984918786829108310010885120从"一元"到"多元"

:一个实例1/13/20235/60重庆工商大学经济贸易学院——张文爱

1、基本概念在许多实际问题中，我们所研究的因变量的变动可能不仅与一个解释变量有关，而可能与多个解释变量有关。因此，有必要考虑线性模型的更一般形式，即多元线性回归模型。

多元线性回归模型:在线性回归模型中，解释变量有多个。

3.1模型的建立及其假定条件1/13/20236/60重庆工商大学经济贸易学院——张文爱假设被解释变量Y是解释变量X1,X2,X3,…Xk和随机误差项u的线性函数，它们可以表述为如下形式：（i=1,2,…,n）该模型称为多元总体线性回归模型，简称总体回归模型(PRM,PopulationRegressionModel).在这个模型中，Y由X1,X2,X3,…Xk所解释，k为解释变量的数目，未知参数β0、β1、β2、…βk称为回归系数,为随机扰动项(随机误差项,简称扰动项,误差项).(1)多元总体线性回归模型1/13/20237/60重庆工商大学经济贸易学院——张文爱（i=1,2,…,n）=+1/13/20238/60重庆工商大学经济贸易学院——张文爱总体回归模型的矩阵表示其中：1/13/20239/60重庆工商大学经济贸易学院——张文爱描述被解释变量Y的（条件）期望值与解释变量X1，X2，…，XK线性关系的方程为：这个式子称为多元总体线性回归函数（方程）,简称总体回归函数（方程）(PRF,PopulationRegressionFunction).（i=1,2,…,n）

j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化量。(2)多元总体线性回归函数（方程）1/13/202310/60重庆工商大学经济贸易学院——张文爱总体回归函数的矩阵表示其中：1/13/202311/60重庆工商大学经济贸易学院——张文爱由于总体回归模型的参数(j=0,1,…,k)都是未知的,我们可以利用样本观测值对它们进行估计。用来估计总体回归函数的样本回归函数（方程）为：上式为多元样本线性回归函数（方程）,简称样本回归函数（方程）(SRF,SampleRegressionFunction).(j=0,1,…,k)为根据样本数据所估计得到的参数估计量。（i=1,2,…,n）(3)多元样本线性回归函数（方程）1/13/202312/60重庆工商大学经济贸易学院——张文爱对应于其样本回归函数（方程）的样本回归模型:

上式称为多元样本线性回归模型,简称样本回归模型(SRM,SampleRegressionModel).ei称为残差

(residual)，可看成是总体回归模型中随机扰动项i的样本估计。（i=1,2,…,n）(4)多元样本线性回归模型1/13/202313/60重庆工商大学经济贸易学院——张文爱其中：样本回归函数：样本回归模型：样本回归函数/模型的矩阵表示1/13/202314/60重庆工商大学经济贸易学院——张文爱多元线性回归模型/函数:整理（i=1,2,…,n）PRMPRFSRMSRF（i=1,2,…,n）（i=1,2,…,n）（i=1,2,…,n）1/13/202315/60重庆工商大学经济贸易学院——张文爱总体回归模型(PRM)样本回归函数(SRF)样本回归模型(SRM)总体回归函数(PRF)多元线性回归模型/函数矩阵表示:整理1/13/202316/60重庆工商大学经济贸易学院——张文爱零均值假设。随机误差项的条件期望为零，即E(ui)=0(i=1,2,…,n)其矩阵表达形式为:E(U)=0(2)同方差假设。随机误差项有相同的方差，即2模型的假定(3)无自相关假设。随机误差项彼此之间不相关，即

（i=1,2,…,n）（i≠j；i，j=1,2,…,n）1/13/202317/60重庆工商大学经济贸易学院——张文爱基本假设(1)-(3)的图示注:红杆位置表示Y的条件期望1/13/202318/60重庆工商大学经济贸易学院——张文爱将假设条件(2)和(3)结合起来,得到其相应的矩阵表达形式——“方差-协方差矩阵”1/13/202319/60重庆工商大学经济贸易学院——张文爱(5)无多重共线性假设。解释变量X1,X2,…,Xk之间不存在精确的(完全的)线性关系,即解释变量的样本观测值矩阵X是满秩矩阵.满足rank(X)=k+1<n

(6)随机误差项服从正态分布,即i=1,2,…,n(4)解释变量X1,X2,…,Xk是确定性变量,不是随机变量,与随机误差项彼此之间不相关,即j=1,2…k,i=1,2,….,n

1/13/202320/60重庆工商大学经济贸易学院——张文爱§3.2多元线性回归模型的参数估计

——OLS

1/13/202321/60重庆工商大学经济贸易学院——张文爱

1、参数估计思路对于总体回归模型：我们收集得到关于Y和X的容量为n的一个随机样本数据，据此对参数进行估计，得到其估计量。即：1/13/202322/60重庆工商大学经济贸易学院——张文爱要使残差平方和最小，2、方法：OLSOLS准则：残差平方和最小，即：记：根据：1/13/202323/60重庆工商大学经济贸易学院——张文爱要使残差平方和

为最小，则应有：我们得到如下k+1个方程（即正规方程）：

1/13/202324/60重庆工商大学经济贸易学院——张文爱我们得到如下k+1个方程1/13/202325/60重庆工商大学经济贸易学院——张文爱整理,得正规方程组1/13/202326/60重庆工商大学经济贸易学院——张文爱写成矩阵形式1/13/202327/60重庆工商大学经济贸易学院——张文爱1/13/202328/60重庆工商大学经济贸易学院——张文爱其中解得1/13/202329/60重庆工商大学经济贸易学院——张文爱3、随机误差项的方差2的无偏估计随机误差项的方差(2)的无偏估计量为：

1/13/202330/60重庆工商大学经济贸易学院——张文爱在满足基本假设的情况下，其结构参数的普通最小二乘估计量

具有：

线性性、无偏性、最小方差性（有效性）§3.3最小二乘估计量的性质1/13/202331/60重庆工商大学经济贸易学院——张文爱

1、线性性

其中,C=(X’X)-1X’为一仅与固定的X有关的行向量

2、无偏性

这里利用了假设:E(X’)=01/13/202332/60重庆工商大学经济贸易学院——张文爱

3、最小方差性（有效性）

1/13/202333/60重庆工商大学经济贸易学院——张文爱其中利用了

和高斯-马尔科夫(Gauss-Markov)定理:P61对于，在满足基本假设的条件下，普通最小二乘估计量是最佳线性无偏估计量（BLUE,BestLinearUnbiasedEstimator）1/13/202334/60重庆工商大学经济贸易学院——张文爱§3.4多元线性回归模型的拟合优度检验

类似于一元线性回归模型的拟合优度检验，对于多元线性回归模型，也同样需要进行拟合优度检验，其检验思路与一元线性回归模型的检验相同。

1/13/202335/60重庆工商大学经济贸易学院——张文爱1、总离差平方和的分解则TSS=RSS+ESS1/13/202336/60重庆工商大学经济贸易学院——张文爱

2、可决系数（coefficientofdetermination）该统计量越接近于1，模型的拟合优度越高。

1/13/202337/60重庆工商大学经济贸易学院——张文爱

残差平方和的一个特点是，每当模型增加一个解释变量，并用改变后的模型重新进行估计，残差平方和的值会减小；而在不改变样本容量的情况下，TSS不变。由此可以推论，可决系数是一个与解释变量的个数有关的量：解释变量个数增加减小增大也就是说，是解释变量个数的增函数，如果在模型中增加一个解释变量，会增大。3、调整的可决系数（adjustedcoefficientofdetermination）1/13/202338/60重庆工商大学经济贸易学院——张文爱这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可，即人们总是可以通过增加模型中解释变量的方法来增大R2的值。

——

但是，真实情况往往是，由增加解释变量个数引起的R2的增大与拟合优度的好坏无关，故对于多元线性回归模型而言，用R2来作为拟合优度的测度，不是十分令人满意的。因此，R2需要调整，以得到调整的可决系数

。1/13/202339/60重庆工商大学经济贸易学院——张文爱是经过自由度调整的可决系数，称为调整（修正）的可决系数。我们有：（1）（2）仅且仅当k=0时，等号成立，即（3）当k增大时，二者的差异也随之增大。（4）可能出现负值。其中：n-k-1为残差平方和的自由度，n-1为总体平方和的自由度。调整的思路：用“平方和的自由度”进行修正。1/13/202340/60重庆工商大学经济贸易学院——张文爱解：由公式:下面改变n的值，看一看的值如何变化。我们有:

当

n=20,

则

=0.64若n=10，则=0.55若n=5，则=-0.20由本例可看出，有可能为负值。这与不同（）。例1.设=0.70,k=3.求(1)当n=20,(2)n=10,(3)n=5时，分别等于多少1/13/202341/60重庆工商大学经济贸易学院——张文爱1、回归方程的显著性检验(F检验)

方程的显著性检验，旨在一定的显著性水平下，从总体上对模型中被解释变量与解释变量之间的线性关系是否显著成立进行的一种统计检验。§3.5显著性检验与置信区间

i=1,2,,n检验模型中的参数j(j=1,2,…,k)是否全部显著为0。即对于总体回归模型:1/13/202342/60重庆工商大学经济贸易学院——张文爱F检验的步骤1/13/202343/60重庆工商大学经济贸易学院——张文爱F(k,n-k-1)1/13/202344/60重庆工商大学经济贸易学院——张文爱方差分析表1/13/202345/60重庆工商大学经济贸易学院——张文爱F检验与R2检验具有一致性：上式也是F统计量与R2的关系式.1/13/202346/60重庆工商大学经济贸易学院——张文爱2、变量的显著性检验（t检验）

方程的总体线性关系显著每个解释变量对被解释变量的影响都是显著的。因此，必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。这一检验是由对变量的t检验完成的。1/13/202347/60重庆工商大学经济贸易学院——张文爱

1)t统计量

由于以cjj表示矩阵(X’X)-1

主对角线上的第j个元素，于是参数估计量的方差为：

其中2为随机误差项的方差，在实际计算时，用它的估计量代替，1ˆ22--=åkneis从而得到估计量的方差，进而得到其标准差。

1/13/202348/60重庆工商大学经济贸易学院——张文爱因此，可构造如下t统计量

1/13/202349/60重庆工商大学经济贸易学院——张文爱2)变量显著性检验步骤（t检验步骤）：

（1）对总体参数提出假设H0：j=0，H1：j0（j=1，2，…，k）（2）在原假设H0成立条件下构造t统计量，（3）给定显著性水平，查t分布表得临界值t/2(n-k-1)(4)比较，判断若|t|>t/2(n-k-1)，则拒绝H0，接受H1,即变量是显著的；若|t|t/2(n-k-1)，则拒绝H1，接受H0,即变量是不显著的.并由样本求出统计量t的数值。1/13/202350/60重庆工商大学经济贸易学院——张文爱-t/2(n-k-1)t/2(n-k-1)1/13/202351/60重庆工商大学经济贸易学院——张文爱3、回归系数的置信区间给定显著性水平，由第j个变量对应的t统计量的表达式，可以得到第j个回归系数的置信度为的置信区间为：回归系数（即参数）的置信区间用来考察：在一次抽样中所“估计的参数值”离“参数的真实值”有多“近”。1/13/202352/60重庆工商大学经济贸易学院——张文爱§3.6多元线性回归模型的预测

一、点预测二、区间预测1、Y0的预测区间2、E(Y0)的预测