计量经济学 第三章 多元线性回归.ppt

高等学校经济学类核心课程,计量经济学,Econometrics,云南财经大学数量经济系,第三章多元线性回归模型,3.1多元线性回归模型3.2多元线性回归模型的参数估计3.3多元线性回归模型的统计检验3.4多元线性回归模型的预测3.5可线性化的多元非线性回归模型3.6受约束回归,3.1多元线性回归模型,一、模型形式二、基本假定,一、模型形式,注意：（1）解释变量X的个数：k回归系数j的个数：k1（2）j：偏回归系数，表示了Xj对Y的净影响（3）X的第一个下标j区分变量（j1，2，k）第二个下标i区分观测（i1，2，n）,总体回归函数（PRF）,样本回归函数（SRF）,样本回归模型（SRM）,其中：ei称为残差(residuals)，可看成是随机误差项i的近似替代。,2、于是，总体回归模型可以表示为：,总体回归模型的矩阵表示,1、总体回归模型表示了n个随机方程，引入如下矩阵记号：,2、于是，样本回归模型和函数可以表示为：,样本回归模型和函数的矩阵表示,1、同理，采用如下矩阵记号：,二、多元线性回归模型的基本假设,假设1：解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。假设2：随机误差项具有零均值、同方差和无序列相关性：E(i)=0Var(i)=2i=1,2,NCov(i,j)=0iji,j=1,2,N假设3：随机误差项与解释变量X之间不相关：Cov(Xji,i)=0i=1,2,N假设4：服从零均值、同方差、零协方差的正态分布iN(0,2)i=1,2,N,基本假设的矩阵表示,假设1:n(k+1)矩阵X是非随机的，且X的秩=k+1，即X列满秩。假设2:,假设4:向量有一多维正态分布，即,暗含假设,假设5：样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n时，,假设6：回归模型是正确设定的,或,其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差为元素组成的nk阶矩阵,3.2多元线性回归模型的参数估计,一、普通最小二乘估计二、参数估计量的性质三、样本容量问题,参数估计的任务和方法,1、估计目标：回归系数j、随机误差项方差22、估计方法：OLS、ML或者MM,*OLS：普通最小二乘估计*ML：最大似然估计*MM：矩估计,一、普通最小二乘估计,基本思想：残差平方和最小基于取得最小值的条件获得系数估计）,残差平方和：,取得最小值的条件：,正规方程组：,解此（k1）个方程组成的正规方程组，即可求得（k+1)个未知参数j的估计。,最小二乘估计的矩阵表示,1、正规方程组的矩阵形式,2、由于XX满秩(其逆矩阵存在），故有,OLSE的矩阵估计过程,矩阵有关定理,残差平方和的矩阵表示为：,#参数估计的实例,例3.2.1：在例2.1.1的家庭收入-消费支出例中，,误差方差2的估计,1、基于OLS下，随机误差项的方差的无偏估计量为,注意：分母的形式：n-k-1=n-(k+1)。k：解释变量X的个数；k+1：回归系数的个数,2、称为估计标准误或者回归标准误（S.Eofregression）,*最大似然估计*（MaximumLikelihoodEstimate）,1、基本原理：样本观测值出现的概率最大。2、似然函数：,3、最大似然估计MLE：,参数的MLE与参数的OLSE相同,*矩估计*（MomentMethod，MM）,1、OLS估计是通过得到一个关于参数估计值的正规方程组,并对它进行求解而完成的。,2、该正规方程组可以从另外一种思路来导出:,两侧求期望:,矩条件,*矩条件和矩估计量*,3、由此得到正规方程组：,解此正规方程组即得参数的MM估计量。,MM估计量与OLS、ML估计量等价。,*关于矩估计*,矩方法是工具变量方法(InstrumentalVariables,IV)和广义矩估计方法(GeneralizedMomentMethod,GMM)的基础,在矩方法中关键是利用了：E(X)=0如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然可以构成一组矩条件。这就是IV。如果存在k+1个变量与随机项不相关，可以构成一组包含k+1方程的矩条件。这就是GMM。OLS只是GMM的一个特例,二、最小二乘估计量的性质,高斯马尔可夫定理(Gauss-Markovtheorem):在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量，即最佳线性无偏估计量（BLUE）。,1、线性：,其中,C=(XX)-1X为一仅与固定的X有关的行向量,2、无偏性:,这里利用了假设:E(X)=0,3、有效性:,其中利用了:,参数估计量的概率分布,1、由参数估计量的上述性质和基本假设，易知：,线性性基本假设正态分布无偏性期望为有效性的证明方差表达式,2、记C=(XX)-1的第j个主对角元素为Cjj（j=0,1,k)，则：,三、样本容量问题,最小样本容量满足基本要求的样本容量,1、最小样本容量,所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即：nk+1因为，无多重共线性要求：秩(X)=k+1,2、基本样本容量,从统计检验的角度：n30时，Z检验才能应用；n-k8时,t分布较为稳定,一般经验认为:当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。,模型的良好性质只有在大样本下才能得到理论上的证明,3.3多元线性回归模型的统计检验,一、拟合优度检验二、方程显著性检验三、变量显著性检验,一、拟合优度检验,目的：测定样本回归函数对样本观测值的拟合紧密程度指标：R2、Adj(R2),可决系数R2(coefficientofdetermination),0R21，该统计量越接近于1，模型的拟合优度越高。,1、定义：,2、问题：在模型中增加一个解释变量，R2往往增大但是：增加解释变量个数往往得不偿失，不重要的变量不应引入。增加解释变量使得估计参数增加，从而自由度减小。如果引入的变量对减少残差平方和的作用很小，这将导致误差方差2的增大，引起模型精度的降低。因此：R2需调整。,调整的可决系数Adj(R2)（adjustedcoefficientofdetermination）,1、调整思路:将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响。,2、自由度：统计量可自由变化的样本观测值的个数，记为df,TSS：dfn1ESS：dfkRSS：dfnk1,注意：df（TSS)=df(ESS)+df(RSS),3、定义：,#Adj(R2)的作用,1、消除拟合优度评价中解释变量的多少对拟合优度的影响2、对于因变量Y相同，而自变量X个数不同的模型，不能用R2直接比较拟合优度，而应使用Adj（R2）。3、可以通过Adj（R2）的增加变化，决定是否引入一个新的解释变量。,Adj（R2）均值,回归分析的预测实例：,中国居民人均收入-消费支出二元模型例中：2001年人均GDP：4033.1元,于是人均居民消费的预测值为2001=120.7+0.22134033.1+0.45151690.8=1776.8（元）,实测值（90年价）=1782.2元，相对误差：-0.31%,预测的置信区间：,E(2001）的95%的置信区间为:,（1741.8，1811.7）,2001的95%的置信区间为:,（1711.1,1842.4）,3.5可线性化的多元非线性回归模型,线性模型的本质含义解释变量的非线性变量代换法回归参数的非线性函数变换法,实际中的非线性模型,1、恩格尔曲线(Englecurves)：消费者的收入与某类商品需求量之间的函数关系。幂函数,2、菲利普斯曲线（Pillipscuves）：通货膨胀率（货币工资率）与失业率之间的关系。双曲线函数,线性模型的本质含义,1、被解释变量Y与解释变量X之间为线性关系,2、被解释变量Y与参数之间为线性关系,3、更重要的在于后者,例如：拉弗曲线：描述税收与税率关系S=a+bR+cR2c0（抛物线）,令：X1=r，X2=r2，则原方程变换为：S=a+bX1+cX2c0,1、解释变量的非线性问题变量代换,适用于倒数模型、多项式模型等,例如：Cobb-Dauglas生产函数：Q=AKL（幂函数）,方程两边取对数：lnQ=lnA+lnK+ln