第三章-多元线性回归模型ppt课件

.,第三章,多元线性回归模型,.,本章介绍多元线性回归模型的概念、矩阵表示形式、参数估计方法、模型检验、预测及应用实例。多元线性回归模型在经济实践中有着广泛的应用，比如著名的C-D生产函数，其取对数后即为多元线性回归模型的形式。再比如GDP关于消费与投资的线性回归模型等。,.,第三章,第一节,计量经济学,.,3.1多元线性回归模型,一、多元线性回归模型的引入一元：一个因素X；多元：多个因素-X1,X2,Xk被解释变量还是一个：Y,.,比如：被解释变量：某商品的需求量Y；解释变量：该商品的价格P、消费者收入DPI、替代商品价格P2；未考虑的量：消费偏好等；,.,二、多元总体线性回归模型总体模型：1、分量式：2、总量式,.,称之为变量Y关于变量X1,X2,Xk的k元总体线性回归模型，Y称为被解释变量，X1,X2,Xk称为解释变量，k称为解释变量个数，U称为随机扰动项，或随机项，或扰动项。,.,三、多元样本线性回归模型由于经济变量的总体分布大多数是未知的，与一元模型类似，我们只能根据样本观察值进行统计推断，以此来估计多元总体回归方程和总体回归参数。这时导出的模型式为：,.,称为样本回归参数，n称为样本容量。称ei为残差项，它是扰动项ui的估计量。总体模型是理论意义上的，是在做定性研究时所使用的，在做定量分析时具体使用的模型也即可操作的是样本模型。,.,第三章,第二节,计量经济学,.,3.2多元线性回归模型的经典假设,10解释变量X1,X2,Xk是非随机的；20E(ui)=030Var(ui)=2i=1,2,nCov(ui,uj)=0ij,i,j=1,2,n40解释变量X1,X2,Xk线性无关；50uiN(0,2),.,对上述假设条件的理解基本上与一元线性回归模型类似，因此不再赘述。假设30中实际上包含了两条假设，这样写的原因是为了以后的多元线性回归模型经典假设的矩阵表示。以上假设1050合称为多元线性回归模型的经典假设，也称为基本假设。满足经典假设的模型称为经典多元线性回归模型。,.,第三章,第三节,计量经济学,.,3.3多元线性回归模型的矩阵表示一、多元总体线性回归模型的矩阵表示,.,二、多元样本线性回归模型的矩阵表示,.,三、多元模型经典假设的矩阵表示20E(U)=030E(UU)=2In即扰动项的方差与协方差矩阵等于2与单位矩阵之积。40秩(X)=k，且kn。,.,引入几个符号设=(ij)nm，其中ij为随机变量，即为nm阶随机矩阵（其元素为随机变量），定义随机矩阵的数学期望为：E()=(E(ij)nm即随机矩阵的数学期望等于对应元素的期望组成的矩阵。可以证明随机矩阵的期望有如下性质,.,(1)设、为随机矩阵，则E(+)=E()+E()即随机矩阵和的期望等于期望的和；(2)设为随机矩阵，A、B为非随机矩阵，则E(AB)=A(E()B即随机矩阵左乘及右乘非随机矩阵之后取期望等于先取期望之后再左右乘非随机矩阵，但左右次序不能变（因为矩阵乘法没有交换率）。,.,称E(UU)为扰动项U的方差与协方差矩阵，一般地，设i为随机变量，(i=1,2,.,n)即为随机列向量，定义的方差与方差矩阵为：,.,即对角线上元为各个分量的方差，其它元素为协方差，显然该矩阵为对称矩阵，可以证明：,.,VarCov()=E-E()-E()即随机列向量的方差与协方差矩阵等于随机列向量减去其期望然后与该项的转置相乘之后取期望。,.,由上可知：,.,VarCov(U)=EU-E(U)U-E(U)=E(UU)=2In即扰动项的方差与协方差矩阵等于2与单位矩阵之积。,.,第三章,第四节,计量经济学,.,3.4普通最小二乘估计,对于多元线性回归模型，最常用的参数估计方法也是普通最小二乘方法（OLS）。其原理与一元线性回归模型的普通最小二乘估计的原理类似，也是使拟合误差平方和为最小。一、矩阵式的普通最小二乘估计量,.,设由极值原理可知：最后可得：,.,称上式为多元线性回归模型矩阵式的普通最小二乘估计量（OLS）。由经典假设可知，X的秩等于k，而为正定矩阵，于是可逆，即满足解释变量线性无关的多元线性回归模型的普通最小二乘估计量有解。,.,二、正规方程组上面导出的是矩阵式的普通最小二乘解(OLS)，然而有时我们需要用到其分量方程组形式,即正规方程组,下面我们导出正规方程组。由极值原理可导出多元线性回归模型的正规方程组：,.,.,当k=2时，OLS解为：,.,解方程时的系数行列式：解时的分子行列式：,.,第三章,第五节,计量经济学,.,3.5最小二乘估计量的特征,上一章中谈到，经典一元线性回归模型的OLS估计量满足线性、无偏及方差最小性，即高斯马尔可夫定理，对于经典多元线性回归模型的普通最小二乘估计量，这一性质仍然存在，换言之，对于满足经典假设的多元线性回归模型，采用OLS方法所得估计量也满足线性、无偏及方差最小性。,.,一、线性性由OLS估计可知令由解释变量的非随机性可知M为非随机矩阵。则为M中的第j+1行与Y的对应元素乘积之和，即故为Yi的线性组合，即线性性成立。,.,二、无偏性由零均值及解释变量为非随机可知：即无偏性得证。,.,三、方差最小性（也称有效性）首先导出的方差与协方差矩阵：由于于是OLS估计量的方差与协方差矩阵为：,.,即的方差与协方差矩阵为与之积，因此估计量的方差为与的第j个对角线元素之积(j=1,2,k)。令则,.,由于总体分布未知，于是也未知，令可以证明为总体方差的无偏估计量。最小方差的证明省略。,.,第三章,第六节,计量经济学,.,3.6估计量的显著性检验及置信区间,对于多元线性回归模型的参数估计量，其在统计上是否显著，也需要作显著性检验，即t-显著性检验，其检验方法与一元线性模型的参数显著性检验基本相同，所不同的是现在要对所有解释变量前的参数进行显著性检验。,.,与一元线性回归模型的原理完全一样可导出：以95%的可能性落在区间：(j=1,2,k)上，称该区间为的置信区间，或称区间估计，置信度为95%.,.,很显然，置信区间越小则可信度越高，而置信区间的半径中临界值变化不大，因此估计量的可信度主要取决于其标准差的估计量，标准差越小，则可信度越高，标准差越大，则可信度越低。这与t-检验的显著性是等价的，从T统计量的计算可知，标准差越小，则t-统计量的绝对值越大，即t-值通过临界值的可能性也大，从而t-检验显著的可能性也大。,.,另一方面，从标准差的计算公式可知，标准差的大小主要取决于总体方差估计量的大小及对角线上的元素，而与解释变量的线性相关的程度有关，当总体方差估计量较大以及解释变量的线性相关程度较高时，参数估计量的标准差的估计量也就较大，这时会影响参数的显著性。,.,第三章,第七节,计量经济学,.,3.7回归方程的显著性检验,对于一元线性回归模型，回归参数的显著性与回归方程的显著性是等价的，而对于多元线性回归模型，单个回归参数是显著的并不等于整个回归方程是显著的，因此还要作回归方程的显著性检验。回归方程的显著性检验也称为F检验，也是一种假设检验。,.,F检验是检验所有解释变量合起来对被解释变量线性影响的显著性，单个解释变量对被解释变量的线性影响是显著的，合起来之后即线性组合对被解释变量的影响未必是显著的，这相当于我们通常所说的整体效率。因此对于多元模型，回归方程的显著性检验与回归参数显著性检验是不能相互替代的，,.,即使对回归方程中每个参数分别进行的t-检验都不显著，F检验也可能是显著的。比如当解释变量之间高度相关时就可能出现这种情况，其结果可能是参数的标准差大而t值小，但整个模型仍然能对数据拟合得很好。,.,F-统计量的计算公式为：在一般计量软件的参数估计输出结果中均有F-统计量的值，不必用手工计算。当F-值大于临界值时，回归方程是显著的，否则，为不显著的。,“自由度”是指当以样本的统计量来估计总体的参数时，样本中独立或能自由变化的数据的个数。,.,第三章,第八节,计量经济学,.,3.8拟合优度检验及修正的R2值,在一元线性回归模型中，我们用样本决定系数来衡量回归方程对样本观察值的拟合程度，即拟合优度检验，这一方法对多元线性回归模型仍然适用。与一元线性模型类似，可以证明：TSS=ESS+RSS即样本总离差可以分解为回归总离差与残差平方和之和。,.,令称R2为多元线性回归模型的样本决定系数，也称为样本可决系数。R2表示被多元回归方程“解释”的离差占总离差的比重。显然,.,由R2的定义可以看出，当R2越接近于1时，说明ESS越接近于TSS，即残差平方和越小，也就是说回归方程对样本观察值拟合的越好，因此，我们以R2接近于1的程度来衡量样本回归方程对样本观察值的拟合的优度，即拟合优度检验，用来说明被解释变量与被解释变量之间的线性回归关系是否有效。,.,然而，在使用R2时也存在一些问题，比如，R2与模型中解释变量的个数有关。在回归方程中加入更多的解释变量会使R2值增大（增加新的解释变量不会改变TSS，但是可以增加ESS），因此，给人一种误解，为提高拟合优度，解释变量越多越好，但事实上并非如此。,.,用R2度量拟合优度的问题在于R2只涉及Y的总离差中被解释的部分和未被解释的部分，没有考虑自由度的个数。为了消除拟合优度对模型中解释变量个数的依赖性，我们定义修正的R2值，记作：,.,由R2及的定义可知：可以推得：1；2可能为负值；3.当模型的自由度（n-k）较大时，R2与比较接近。,.,比R2更适合于衡量拟合优度。当回归模型中加入新的解释变量时，R2肯定会增加，而可能增加也可能减少。比如，一个样本容量为25的模型，其R2为0.8，但这个结果只是在模型中包含了17个解释变量时才得到。而该模型的仅为0.4，这一例子充分说明了R2作为衡量拟合优度指标的局限性。,.,在实际应用中，由于大多数情况下，与R2之间的差异不太大，故使用R2作为衡量拟合优度的情况也常见。,.,拟合优度检验与F检验是有联系的。可以证明：从(3.36)可知R2越接近于1，则F值越大，反之，若R2越接近于0，则F值越小。因此，一般来说，拟合优度较高，则F检验可以通过，拟合优度较差，,.,则F检验通不过。但是，拟合优度检验与F检验还是有区别的，有例子表明，即使拟合优度只有0.65，F检验也是显著的。因此，虽然二者有联系，但是也不能相互替代。F检验的优越性在于它有临界值，可以断定显著与否，而拟合优度的好处在于它能说明拟合的程度，它的不足之处在于没有拟合好与坏的明确标准，一般来说，拟合的好坏视具体问题而定，,.,但是，一个好的模型首先拟合优度要求比较高，从经验上讲，R20.9。不过拟合优度高并不能断定模型一定可取，较高的拟合优度是一个好模型的必要条件，但不是充分条件。,.,3.9多元线性回归模型的预测,以上内容，我们研究了多元线性回归模型的参数估计方法及其统计检验。本节介绍如何利用所得回归方程进行经济预测。与一元模型的预测问题相类似，多元模型的预测也分为条件预测与无条件预测两类，下面介绍的是条件预测，条件预测又分为点预测与区间预测。,.,一、点预测设多元线性回归模型的样本回归方程为：给定解释变量样本以外的观察值X2f,X3f,Xkf，令利用上述回归方程求得被解释变量的预测值：,.,就是Yf的点预测值，同时也是Yf的均值E(Yf|Xf)的预测值。二、区间预测由于回归方程代表的是被解释变量的一个主要部分，不是全部，另一部分用扰动项来代表，因此，点预测值与其真实值Yf之间有误差存在。,.,令称ef为预测误差，ef为随机变量。由于扰动项为零均值，可以证明,及,.,与参数估计量的置信区间的推导过程相类似，可以得出置信度为1-=95%的Y0的置信区间为：,.,预测区间越小，预测精度就越高，因此预测区间越小越好。怎样才能缩小预测区间呢？可以从以下三方面考虑：(1)增大样本容量n。在同样的置信水平下，n越大，则从t分布表中查得的自由度为nk的临界值T/2就越小；同时，增大样本容量，在一般情况下可使,.,减小，因为式中分母的增大是肯定的，但分子不一定增大。(2)提高模型的拟合优度，以减小残差平方和。这一条是提高预测精度的主要方法。,.,(3)减少解释变量之间的线性相关程度。由于解释变量之间的线性相关程度越高，的取值就越小，（当解释变量完全线性相关时，该行列式取值为0）于是中元素取值增大，从而增大了预测误差。,.,多元线性回归模型应用实例,例3.2我国居民消费函数的实证分析。众所周知，从城乡结构上比较，我国居民人均收入的基础水平及其发展速度都存在着很大的差异。按现价计算，1978年城镇居民的可支配收入为343.4元，而同期农村居民的家庭人均纯收入为133.6元，同期我国居民的人均消费,.,水平为184元，1999年此三项指标分别为9421.6元、2936.4元和4552元，显然无论是改革开放的初期还是二十一世纪的今天，农村居民的收入水平与城镇一直存在着很大的差异。由绝对收入的消费理论假设可知，影响居民消费水平的主要因素为收入水平，下面分析农村与城镇居民收入水平对居民消费水平的影响程度。,.,选取我国居民年人均消费水平为被解释变量（Y），选取农村居民家庭年人均纯收入（X1）及城镇居民家庭人均可支配收入（X2）为解释变量。依据绝对收入消费理论以及对样本数据的研究，选取线性回归模型：,.,采用OLS方法，利用Eviews估计回归，所用命令为：CREATEA19852005DATAY