计量经济学第5章.ppt

1,计量经济学 第 5 章,多元线性回归模型,2,多元线性回归模型:表现在线性回归模型中的解释变量有多个。 一般表现形式：,i=1,2,n,其中:k为解释变量的数目，j称为回归参数（regression coefficient）。 习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（k+1）,5.1 多元回归模型的形式与基本假定,3,也被称为总体回归函数的随机表达形式。它 的非随机表达式为:,方程表示：各变量X值固定时Y的平均响应。 j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化; 或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。,4,总体回归模型n个随机方程的矩阵表达式为,其中,5,样本回归函数：用来估计总体回归函数,其随机表示式:,ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项i的近似替代。 样本回归函数的矩阵表达:,或,其中：,6,二、多元线性回归模型的基本假定,假设1，解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。 假设2，随机误差项具有零均值、同方差及不序列相关性,假设3，解释变量与随机项不相关,假设4，随机项满足正态分布,7,上述假设的矩阵符号表示 式：,假设1，n(k+1)矩阵X是非随机的，且X的秩为k+1，即X满秩。 假设2，,8,假设4，向量 服从多维正态分布，即,假设3，E(X)=0，即,以上假定在纯数学的意义是保证估计参数有唯一的解，同时保证了良好的统计特征。,在样本容量足够大时，中心极限定理，假设4是近似成立的。因此，假设4可以是不必要的。,9,注意：假设1的含义,X的秩为K+1，即X列满秩，X的各列是线性无关的。,10,回忆：由线性代数可知 如果一个矩阵没有逆矩阵，则被称为奇异矩阵，如果有则为非奇异矩阵（non-singular） 对于n阶方阵A，A是非奇异矩阵的充要条件是A的行列式不等于0 当且仅当矩阵满秩时，其行列式不等于零,证明：,思考：如果X列线性相关，则矩阵 就不存在。,知识点：样本容量问题,（1）必须保证最小样本容量。样本最小容量必须不少于模型中解释变量的数目（包括常数项），即n k+1，因为，无多重共线性要求：秩(X)=k+1。 （2）满足基本要求的样本容量。虽然当nk+1时可以得到参数估计量，但除了参数估计量质量不好外，一些建立模型必须的后续工作也无法进行。所以，一般经验认为，当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。,11,12,与一元回归类似，我们只能得到样本，而不能得到总体，因此，建立的样本回归方程为,5.3 普通最小二乘估计（OSL）,13,回顾：普通最小二乘估计是使得回归的残差平方和最小。,5.3 普通最小二乘估计（OSL）,14,5.3 普通最小二乘估计（OSL）,上式中，利用了 1n、n（K+1）、（K+1）1=（11）是一个标量，它的转置矩阵不变，即,15,求偏导，得到 则,是使方程最小化的解。,XX是非奇异矩阵，故逆矩阵存在,又因为其二阶条件,16,知识点：正定矩阵,对于任意的非零向量c，令,则,除非v中的每一个元素为0， 否则a为正的。但是，若v为0，则,这与X中的向量线性无关的假设是矛盾的，故X满秩，则必有 为正定矩阵。,17,设苹果销量不仅与的价格(元/千克)有关，而且与相应的广告支出有关。,18,设需求量Y关于价格X1和广告支出X2的线性回归模型。,19,故样本回归模型为,20,5.4 最小二乘估计量的统计特征,（2）无偏性,（1）线性性,估计量是关于Y的线性组合。,21,（3）最小方差性。先求估计量的协方差矩阵,在所有线性无偏估计量中，由最小二乘估计得到的 具有最小的方差。,22,5.4 最小二乘估计量的统计特征,基于以上的证明，我们知道，最小二乘估计具有 线性性 无偏性 有效性：在所有线性无偏估计量中具有最小方差性 所以，最小二乘估计量为最佳线性无偏估计量（BLUE）。,23,随机误差项方差 的无偏估计量 为 其中，n为样本容量，K+1为待估计参数的个数。（残差有n-k-1个自由度）,由上文的推导可知,随机误差项 一般是不知道的，因此需要用残差e来估计，在多元回归中可以证明:,5.5 统计推断（为t检验准备）,24,5.6 变量的显著性检验（t检验）,证明：OLS估计量的分布 由于假定u服从正态分布，即 ，因此,25,5.6 变量的显著性检验（t检验）,又因为贝塔估计值是关于Y的线性函数（线性性），所以贝塔估计值服从正态分布，其均值和方差分别为,26,所以，,27,其中，n为样本容量，K+1为待估计参数的个数。（残差有n-k-1个自由度）,以cii表示矩阵(XX)-1 主对角线上的第i个元素，于是参数估计量的方差为：,其中，2为随机误差项的总体方差，由于总体未知，故方差也不可知。因此，在实际计算时，用它的估计量代替:,注意：这里将截距项也作为一个参数。,28,若2 已知，可构造如下统计量,但实际上2 未知，只能构造如下统计量,参数估计值的样本标准差,29,1、提出原假设： 备择假设： 2、计算： 3、给出显著水平 ，查自由度为n-k-1 的 t分布表，得临界值,t检验的步骤,30,4、作出判断。 如果 ，接受原假设 。 如果 ,拒绝原假设，接受备选假设。 p值:原假设不被拒绝的最大显著程度（接受原假设的概率），显然p值越小，越能够拒绝原假设，越能够接受备择假设。,31,参数的置信区间,参数的置信区间用来考察：在一次抽样中所估计的参数值离参数的真实值有多“近”。 在变量的显著性检验中已经知道：,32,容易推出：在(1-)的置信水平下i的置信区间是,其中，t/2为显著性水平为 、自由度为n-k-1的临界值。,33,5.7 方程的拟合优度检验（R2）,总平方和： 回归平方和： 残差平方和：,34,35,5.7 方程的拟合优度检验（R2）,1）可决系数 ： 越接近1，估计的回归函数的拟合优度越好。,问题：在应用过程中发现，如果在模型中增加一个解释变量， R2往往增大（Why?)这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。但是，现实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关，所以，R2需调整。,可决系数为何需要调整,未调整可决系数 的一个重要特征是：随着样本解释变量个数的增加， 的值越来越大。也就是说，在样本容量不变的情况下，在模型中增加新的解释变量不会改变总离差平方和 ，但可能增加回归平方和 ，减少残差平方和 ，从而可能改变模型的解释功能。因此在多元线性回归模型之间比较拟合优度时， 不是一个合适的指标，需要加以调整。而修正的可决系数的值不会随着解释变量个数的增加而增加，因此在用于估计多元回归模型方面要优于未调整的可决系数。,36,37,在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以调整的思路是:将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响，定义调整的可决系数为,38,没有绝对的标准，模型的拟合优度并不是判断模型的唯一标准，有时为了追求模型的经济意义，可以牺牲一点拟合优度。,39,*3）、赤池信息准则和施瓦茨准则,为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有: 赤池信息准则（Akaike information criterion, AIC）,施瓦茨准则（Schwarz criterion，SC）,这两准则均要求仅当所增加的解释变量能够减少AIC值或SC值时才在原模型中增加该解释变量。,40,方程的显著性检验：被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。 思想：检验是否所有的参数中至少有一个参数显著异于0。 t检验只是检验某个参数的显著性，F检验是检验整个方程中的显著性。,5.8 方程总体线性的显著性检验（F检验）,41,步骤1:提出如下原假设与备择假设,H0： 0=1=2= =k=0 H1： j不全为0,F检验的思想来自于总离差平方和的分解式： TSS=ESS+RSS,42,如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此,可通过该比值的大小对总体线性关系进行推断。,步骤2：构造统计量F ，根据数理统计学中的知识，在原假设H0成立的条件下，统计量,43,服从分子自由度为k,分母自由度为 n-k-1的F分布。,MSE和MSR分别为回归均方与误差均方 显然F值越大，越能拒绝原假设，且方程的解释能力越好！,步骤3 ：设定检验水平 ，检验规则为 若 ，接受 若 ，拒绝,44,2、关于拟合优度检验与方程显著性检验关系的讨论,由,可推出：,与,或,45,46,讨论：F检验与t检验,F检验与t检验的区别与联系 F检验和t检验的对象不同 当对全部参数