第1讲线性回归模型

计量经济专题(Econometrics),郑循刚博士教授博导(zxg9),教材及参考书1.李子奈.计量经济学M.高等教育出版社，2010.07.2.庞皓.计量经济学M.科学出版社，2010.08.3.张晓峒.计量经济学基础M.南开大学出版社，2009.4.张卫东.中级计量经济学M.西南财经大学出版社，2010.5.高铁梅.计量经济分析方法与建模M.清华大学出版社，2009.6.朱建平等.高级计量经济学导论M.北京大学出版社，2009.7.DamodarN.Gujarrati(古扎拉蒂).BasicEconometricsM.2008.8.JeffreyM.Wooldridge(伍德里奇).IntroductoryEconometrics:AModernApproachM(ThirdEdition).TheMITPress,2008.9.重要期刊（A、B类期刊）相关文章.,一、概念1、确定性关系（函数关系）若一个变量能够被一个或若干个其它变量的数值按某一规律唯一地确定。2、非确定性关系（相关关系或回归关系）若一个变量不能根据其它有关变量的数值精确地求出其数值，但可以通过大量的统计资料得出它们之间的数量变化规律。3、相关分析主要研究变量之间的相互关联程度，用相关系数表示。包括简单相关和多重相关（复相关）。,第1讲线性回归模型,.一元线性回归模型,4、回归分析（RegressionAnalysis）研究一个变量（因变量）对于一个或多个其他变量（解释变量）的数量依存关系的计算方法和理论。其目的在于根据已知的解释变量的数值来估计和（或）预测因变量的（总体）平均值。这里：前一个变量被称为被解释变量（ExplainedVariable）或应变量（DependentVariable），后一个（些）变量被称为解释变量（ExplanatoryVariable）或自变量（IndependentVariable）。回归分析是计量经济学的方法论基础，主要包括：（1）根据样本观察值对经济计量模型参数进行估计，求得回归方程；（2）对回归方程、参数估计值进行显著性检验；（3）利用回归方程进行分析、评价及预测。,二、回归模型,样本回归模型(直线)：,总体回归模型(直线)：,1.总体回归函数PRF(PopularRegressionFunction)将个别的Yi围绕其期望值的离差(Deviation)表述如下：ui=Yi-E(Y|Xi)或Yi=E(Y|Xi)+ui其中ui为随机误差项（Stochasticerror）或随机干扰项（Stochasticdisturbance）。线性总体回归函数：PRF：Yi=0+1Xi+ui=E(Y|Xi)+ui,随机误差项主要包括下列因素的影响：,1）在解释变量中被忽略的因素的影响；2）变量观测值的观测误差的影响；3）模型关系的设定误差的影响；4）其它随机因素的影响。,产生并设计随机误差项的主要原因：1）理论的含糊性；理论不能完全说明影响因变量的所有影响因素。2）数据的欠缺；无法获得有关数据。3）简化原则。尽可能使回归式简单。,2.随机扰动项的意义,3.样本回归函数(SRF,SampleRegressionFunction)由于在大多数情况下，我们不可能得到X、Y的所有可能的数值，只能用抽样的方法，取得X、Y的样本观测值，用样本回归方程SRF去拟合总体回归方程PRF。,样本1,样本2,样本回归函数SRF：,在回归分析中，我们用SRF估计PRF。,（一）基本假定1、零均值。随机扰动项ui的均值为零。即，E(ui|Xi)=02、同方差。随机扰动项ui的方差相等。即Var(ui|Xi)=E(ui-E(ui)|Xi2=E(ui2|Xi2=23、无自相关。各个扰动项无自相关。即：,三、参数的最小二乘估计（LeastSquaresEstimation，LSE）,考虑回归模型：,其中ui是除了X以外的其它若干因素。,4、随机扰动项ui解释变量Xi不相关。即Cov（ui，Xi）=Eui-EuiXi-EXi=0i=1,2,n,5、ui服从正态分布，即uiN（0，2），i=1,2,n,（二）普通最小二乘估计（OrdinaryLeastSquares，OLS）基本思路：用样本回归函数估计总体回归函数。以,估计,真实值,求解这一最小化问题，根据最大化的一阶条件：,例1，已知某商品的需求量Y（万吨）随价格X（元）变化的统计资料如下，求需求量Y随价格X变化的回归方程。年份1991199219931994199519961997199819992000需求量10075807050659010011065价格5766875439,几个常用结果：,（三）最小二乘估计OLS的性质（高斯-马尔柯夫定理）在所有线性无偏估计量中，OLS估计量有最小方差，即OLS是BLUE（BestLinearUnbiasedEstimator）。,（1）线性性：,为Yi的线性函数,（2）无偏性：最小二乘估计,的数学期望值分别等于总体回,归系数的值,（3）最小方差性：,在所有线性无偏估计量中，具有最小方差。即,OLS估计量,（四）最小二乘估计的方差,四、模型检验（一）经济意义检验检验所建的模型的是否符合经济理论，主要是检验模型参数的符号和大小是否与经济理论以及人们的经验一致。（二）统计检验1、拟合优度检验（判定系数检验）拟合优度检验是指对样本回归线与样本观测值之间拟合程度的检验。度量拟合程度的指标是判定系数R2。基本思路：因变量Y的总变异，能够被X的变异解释的比例越大，则说明OLS回归线对总体的解释程度越好，反之就越差。总的离差平方和的分解：,总平方和(TSS,TotalSumofSquares):说明实际的Y值围绕其均值的总变异,回归平方和ESS（ExplainedSumofSquares）,估计的Y值围绕其均值的总变异。,残差平方和RSS（ResidualSumofSquares），未被解释的Y值围绕回归线的Y值的变异。,R2测度了在Y的总变异中，由回归模型解释的部分所占的比例。R2越高，回归模型拟合的程度就越好。R2的性质：（1）非负。（2）0R21其它表达方式：,定义拟合优度R2：,例2：对例1进行拟合优度检验，并说明其意义。,82.73%,2、相关系数检验相关系数：表示两个随机变量之间的相关程度。定义为：,以样本方差和样本协方差估计X、Y的方差和协方差，样本相关系数为：,样本相关系数的平方与拟合优度相等，但二者的意义不同。（拟合优度是回归分析中提出的，而相关系数是相关分析中提出的。）,相关系数检验的步骤：,例3，对例1进行相关系数检验。,3、F检验（总体回归方程显著性检验）,三大分布：,t：标准正态除以卡方开方的分布（注意自由度）F：两个独立的卡方变量之商的分布（注意自由度）,：若干个独立的标准正态平方和的分布,证明：a),M是幂等矩阵。,其中，,因为，,因为，,可以证明，,是幂等矩阵。,因此，,因此，,b)因为，,所以，,容易验证,也是幂等矩阵。,事实上，最后一步成立的原因是：,从而,c)因为,所以ESS与RSS是相互独立的统计量。因此，,F检验的步骤：,方差分析（analysisofvariance,ANOVA)表,思路：若ESS/RSS比较大，则X对Y的解释程度就比较高，可以推测总体存在线性关系。拟合优度R2与F检验具有一致性：,例4，对例1进行F检验解：TSS=3272.5ESS=2707.5RSS=565F*=(2707.58)/565=38.3338.33F0.05(1,8)=5.32因此,回归方程显著成立.方差分析表:,AnalysisofVarianceSOURCEDFSSMSFpRegression12707.52707.538.340.000Error8565.070.6Total93272.5,四、t检验（参数显著性检验）,T检验的步骤：,例5，对例1进行t检验。,五、预测（PredictionForecast）（一）点预测,点预测的两种解释：,区间估计：为了判断点估计与真值的接近程度，可以通过构造以估计值为中心的一个区间（随机的），以该区间包括了真值的概率来确定估计值接近真值程度。,（二）区间预测（IntervalEstimation）1、总体均值E（Y0|X0）的区间预测,2、总体个别值Y0的区间预测,各种预测值的关系,例6，在例1中，若X0=10，求Y0及E（Y0|X0）的预测值和预测区间。,六、参数估计的最大似然法(ML),最大或然法(MaximumLikelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。基本原理：对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。,在满足基本假设条件下，对一元线性回归模型：,随机抽取n组样本观测值（Xi,Yi）（i=1,2,n）。,那么Yi服从如下的正态分布：,于是，Y的概率函数为,（i=1,2,n）,假如模型的参数估计量已经求得，为,因为Yi是相互独立的，所以所有样本观测值的联合概率，也即或然函数(likelihoodfunction)为：,将该或然函数极大化，即可求得到模型参数的极大或然估计量。,由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：,解得模型的参数估计量为：,可见，在满足一系列基本假设的情况下，模型结构参数的最大似然估计量（ML）与普通最小二乘估计量（OLS）是相同的。,分布参数的ML估计量,注意：ML估计必须已知Y的分布。只有在正态分布时ML和OLS的结构参数估计结果相同。如果Y不服从正态分布，不能采用OLS。例如：选择性样本模型、计数数据模型等。,多元线性模型的最大似然估计,i=1,2,n,结构参数估计结果与OLS估计相同,分布参数估计结果与OLS不同,最大似然估计量的性质,一致性渐近正态性渐近有效性不变性,EViews中的标准正态分布的对数似然函数为:，将对数似然函数写成所有观测值n的对数似然贡献的和的形式：这里每个观测值的贡献由下面的式子给出：,最大似然估计的实现,一元线性回归模型的极大似然估计：logllogl2res=y-c(1)-c(2)*xvar=sum(res2)/8logl2=log(dnorm(res/sqrt(var)-log(var)/2,多元元线性回归模型的极大似然估计：logllogl2res=y1-c(1)-c(2)*x1-c(3)*x2var=sum(res2)/7logl2=log(dnorm(res/sqrt(var)-log(var)/2,一、概念和基本假定设某经济变量Y与P个解释变量：X1，X2，XP存在线性依存关系。总体回归模型：,其中0为常数项，1P为解释变量X1XP的系数，u为随机扰动项。总体回归函数PRF给出的是给定解释变量X1XP的值时，Y的期望值：E(Y|X1，X2，XP)。假定有n组观测值，则可写成矩阵形式：,.多元线性回归模型,样本回归模型SRF:,基本假定：1、u零均值。所有的ui均值为0，E（ui）=0。2、u同方差。Var（ui）=2，i=1,2,n,二、参数的最小二乘估计,也可直接对向量微分，求得结果：,三、最小二乘估计的性质,2的无偏估计量：,因为,残差平方和RSS：,利用迹的性质及,有：,四、模型检验（一）经济意义检验主要是检验模型参数的符号和大小是否符合经济理论。（二）统计检验1、拟合优度R2检验总的离差平方和的分解：,例2，对例1进行拟合优度检验,2、赤池信息准则和施瓦茨准则,为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:赤池信息准则（Akaikeinformationcriterion,AIC）,施瓦茨准则（Schwarzcriterion，SC/HQ）,其中k表示模型中参数的个数，这两准则均要求仅当所增加的解释变量能够减少AIC值或SC值时才在原模型中增加该解释变量。,3、相关系数检验,例3，对例1进行偏相关检验解：YX1X10.984X20.9920.970,4、F检验（总体回归方程显著性检验）,F检验的步骤,F检验与R2检验具有一致性：,例4，对例1进行F检验,5、t检验（解释变量的显著性检验）,t检验的步骤：,例5，对例1进行t检验,最后的回归模型：,五、预测,（一）点预测,点预测的两种解释：,（二）区间预测,例5，在例1中，若X01=10，X02=10，求总体均值E（Y0|X0）和总体个别值Y0的区间预测。,解释变量的选择在回归模型中的解释变量，除非有明确的理论指导或其他原因，在选择上具有一定的主观性，如何正确选择解释变量是非常重要的。1、AIC或SC比较分析,施瓦茨准则（Schwarzcriterion，SC）,赤池信息准则（Akaikeinformationcriterion,AIC）,其中k表示模型中参数的个数，当所增加的解释变量能够减少AIC值或SC值时才在原模型中增加该解释变量。,2、解释变量的边际贡献分析在建立回归模型时，假定我们顺序引入变量。在建立了Y与X1的回归模型，并进行回归分析后，再加入X2，考虑加入的变量X2是否有贡献：X2加入后是否显著地提高了回归的解释程度ESS或决定系数R2。ESS提高的量称为变量X2的边际贡献。决定一个变量是否引入回归模型，就要先研究它的边际贡献，以正确地建立模型。如果变量的边际贡献较小，说明改变量没有必要加入模型。分析变量的边际贡献，可以使用方差分析表为工具，根据变量引入前、后的RSS的变化量及其显著性检验（扣除原来引入模型的解释变量的贡献），确定该变量的边际贡献是否显著。一个简单的检验方法，就是对引入新变量后的RSS增量与新的ESS的比值做显著性检验。,可