计量经济学基础_多元线性回归.ppt

第2章多元线性回归模型,主要内容,第一节多元线性回归模型的特点第二节多元线性回归模型的参数估计第三节多元线性回归模型的假设检验第四节实例,第一节多元线性回归模型的特点,多元线性回归模型的一般形式：,k为解释变量的数目,习惯上把常数项看成一个虚拟变量的系数，在参数估计中该变量的样本观测值始终取。这样模型中解释变量的个数为k1。,多元线性回归模型的矩阵形式为：,多元线性回归模型的假设：,(1)随机项的每一个元素的数学期望为零，即,(2)随机项的每一个元素的方差都相同，即,(3)不同随机项之间是不相关的，即,(4)解释变量x1,x2,xn与随机项之间也是不相关的，事实上我们假设解释变量是非随机变量，因此,(5)随机项服从正态分布，即,(6)解释变量彼此线性无关，也就是无多重共线性，即,第二节多元线性回归模型的参数估计,1、最小二乘估计,随机抽取n组样本：,如果模型的估计量已经得到，即设：分别是的估计量，则,称为k元线性回归方程,使成立的叫做多元线性回归模型的最小二乘估计,定义：,由一阶条件得：,称方程组(2)为正则方程组，,由此方程组可以求出参数的估计值：,用矩阵形式表示上述方法,根据求最小值的一阶条件,得出,残差向量,因此是的无偏估计,2、最大似然估计,对于多元回归模型：,于是样本观察值的联合概率密度函数为：,两边同时取对数得,对L*求最大值就相当于对求最小值,由一阶条件,得的极大似然估计,它与最小二乘估计是完全相同的。,3、最小二乘估计的性质,（1）线性性：都是的线性函数,（2）无偏性：是的无偏估计,证明：,（3）有效性,在所有的无偏估计中是方差最小的，因此是最有效的估计。,证明：,设是的无偏估计,Gauss-Markov定理,的协方差矩阵,是BLUE（BestLinearUnbiasednessEstimator）,第三节多元线性回归模型的假设检验,1、拟合优度检验,拟合优度检验，顾名思义显检验模型对样本观测值的拟合程度。思想：构造一个可以表征拟合程度的指标统计量。,（1）平方和分解,残差为,总离差平方和,回归平方和,残差平方和,称ESS为回归平方和，它描述的是被解释变量的样本回归值与样本均值的离差平方和，它是被解释变量的总变动中被样本回归方程所解释的部分。,称为残差平方和，它描述的是不能由所解释的部分。,TSS=ESS+RSS,（2）判定系数,显然：在被解释变量的总变动中，被样本回归方程解释的部分越多，则模型的解释变量对被解释变量的解释能力就越强。因此：可用回归变差ESS占总变差TSS的比重做作为衡量模型解释变量对被解释变量的解释能力大小的指标。,系数R2的值越接进于，回归变差在总变差中所占的比重就越大。此时回归方程对被解释变量的解释能力越强。,【注】,【注】,【注】,判定系数不清的值越接近于0回归变差在总变差中所占的比重就越小。回归方程的解释能力越差。它说明：模型解释变量以外的随机干扰因素对被解释变量的影响就越大。,它说明R2也是被解释变量的实际值yi回归值之间线性关系程度的一种度量。从而也是对样本回归方程的拟合优度的一种度量。,由于判定系数R2的值会随着模型中解释变量的个数增加而增加，这会导致一个错觉：要使模型拟合得好！就增加解释变量，因此为了在利用R2分析比较不同模型的拟合优度时不受解释变量个数的影响，将R2进行调整：,其中n-k-1为残差平方和的自由度,n-1为总平方和的自由度。,2、方程的显著性检验（F检验）,目的：对模型中被解释变量与解释变量之间的线性关系在总体上是否显著进行推断。,检验方程,原假设H0：,备择假设H1:至少有一个,如果H0成立，则表明我们引入模型的解释变量对被解释变量均无影响，此时说明所设定的模型是不恰当。,中参数是否显著不为0。,由于yi服从正态分布,yi的一组样本的平方和服从分布,则统计量,给定显著性水平，,则拒绝H0，认为模型的线性关系在总体上显著成立。,若,3、变量显著性检验（t检验）,对于多元线性回归方程的总体线性关系是显著的，并不能说明每个解释变量对被解释变量的影响都是显著的。必须对每个解释变量进行显著性检验以确定它们是否保留在模型中。如果某个变量对被解释变量的影响并不显著，应将它剔除。然后建立新的模型或得到更简单的模型。,在参数估计的有效性证明中已知：，用cii表示主对角线上的第i个元素,于是的第i个分量的方差为,又由于是随机误差项的方差，在实际计算时常用它的无偏估计替代,即：,上述统计量用于变量的显著性检验。,如果变量是显著的，那么参数应该显著的不为0于是提出原假设为,给出显著性水平,当：,则拒绝H0，即认为变量xi显著的。,在实际问题中，如果自由度大于等于20且显著性水平定在0.05，当t值在绝对值上超过2时，就可以拒绝原假设。,【注】：在某些实际问题中，各个变量的T值相差较大，有些很高的显著性水平下显著。有的则在不太高的显著性水平下显著。那么是否都认为通过显著性检验呢？没有绝对的显著性水平，关键在于考虑变量的经济关系上是否对解释变量有影响。显著性检验起到验证作用。同时还要看显著性水平不太高的变量在模型中以及模型应用中的作用，不要简单地剔除变量。,“2倍t”法则（“2-t”Ruleofthumb）,4、置信区间,(1)参数估计的置信区间,已知估计参数,给定显著性水平,的置信区间为：,在实际应用中：希望置信水平越高越好，置信区间越小越好！如何缩小置信区间呢？,【注】,1.增大样本容量（可使变小，同时使减小）,2.提高模型的拟合优度,3.提高样本观察值的分散度（样本越分散cii越小）。,(2)预测值的置区间,计量经济模型的一个重要应用是经济预测。,设模型：,如果给定样本以外的解