线性回归模型.ppt

第三讲线性回归模型LinearRegressionModel,一、基本概念二、二元线性回归模型三、多元线性回归模型四、回归模型的函数形式五、包含虚拟变量的回归模型,回归的涵义总体回归函数和样本回归函数回归分析中的常用术语经济数据的分类,一、基本概念,回归的涵义,regress:returntoanearlierormoreprimaryformorstate最初的涵义：“回归”一词最早由英国生理学家高尔顿（Galton,1886）提出，用以指儿女的身高有回复到人口总体平均身高的趋势。回归分析研究因变量对一个或多个自变量的依赖关系，其用意在于通过后者的已知值，去估计或预测前者的总体均值（古扎拉蒂，1995）,回归的涵义,例子,U,X,Y,总体回归函数和样本回归函数,总体回归函数（populationregressionfunction,PRF）总体：北京师范大学全体教职工（3000人）问题：北京师范大学教职工的工资W与受教育年限S的关系,W,S,总体回归函数和样本回归函数,总体回归函数的另一种表述误差（error）的来源其他解释变量的影响测量误差人类行为的随机性,总体回归函数和样本回归函数,总体回归函数图解,Si,PRF,Wi,A,C,E(W|Si),PRF,ui,总体回归函数和样本回归函数,样本回归函数（sampleregressionfunction,SRF）样本：从上述总体中随机抽取了100人问题：根据样本数据估计总体中工资W与受教育年限S的关系,W,S,总体回归函数和样本回归函数,样本回归函数的另一种表述,W,S,对于每一个样本都会有一个SRF，每一个SRF都各不相同，都是PRF的一个近似。至于真正的PRF是什么，我们不知道,SRF1,SRF2,总体回归函数和样本回归函数,图解,Si,PRF,SRF,Wi,A,B,C,E(W|Si),总体回归函数和样本回归函数,小结,回归分析中的常用术语,线性模型（Linearmodel）：所谓线性，是指对参数是线性的，并非指对变量是线性的。,回归分析中的常用术语,回归分析中的常用术语,相关与回归（correlation®ression）从逻辑上说，回归分析本身并不意味着因果关系，对因果关系的判断来源于经济理论,回归分析中的常用术语,确定性关系（deterministicrelationship）处理确定性变量统计关系（statisticalrelationship）处理随机变量（random/stochasticvariable）,经济数据的分类,根据数据的结构时间序列数据（timeseriesdata）横截面数据（cross-sectionaldata）混合数据（pooleddata）平面板数据/综列数据（paneldata）根据数据的性质定类变量（nominal/categoricalvariable）定序变量（ordinalvariable）定距变量（intervalvariable）根据数据的来源非实验/观测数据（non-experimental/observationaldata）实验数据（experimentaldata）,研究结果不可能比数据的质量更好！,经典线性回归模型参数估计假设检验预测,二、二元线性模型,经典线性回归模型,如果线性回归模型满足下列条件，称之为经典线性回归模型（classicallinearregressionmodel,CLRM）上述假定是针对总体回归函数的，而对于样本回归函数，这些假定可能不成立,参数估计,普通最小二乘法（methodofordinaryleastsquare,OLS）的基本思想，就是要找到一组合适的参数估计值，使得因变量的估计值与实际值在总体上最为接近,X3,SRF,X1,X2,Y3,Y2,Y1,参数估计,截距系数和斜率系数的OLS估计量（OLSestimator,p.91）,参数估计,回归标准误：误差项标准差的估计,参数估计,OLS估计量的方差和标准差（p.101）有了OLS估计量之后，还应判定估计量离参数真值的平均距离，这就需要对估计量的方差进行估计。这也是以后进行假设检验的要求,参数估计,OLS估计量的方差估计和标准差估计（p.101）,参数估计,OLS估计量的性质：高斯马尔科夫定理：在经典线性回归模型的假定下，最小二乘估计量是最优线性无偏估计量（BLUE）,参数估计,例题3.1已知家庭消费支出C与家庭可支配收入I的相关数据如下：用最小二乘法估计出以C为因变量的样本回归方程计算回归标准误和回归系数估计量的标准误参看：课本p92-94的实例,参数估计,习题3.1已知1970-1980年美国咖啡的真实价格P（美元/磅）与人均每日咖啡消费量D（杯）的相关数据如下：请用最小二乘法估计出以D为因变量的样本回归方程计算回归标准误和回归系数估计量的标准误,参数估计,经典正态线性回归模型如果仅仅进行参数的点估计，不需要对误差项的概率分布作出假设；但如果要进行区间估计和假设检验，就需要知道误差项的概率分布。如果经典线性回归模型的误差项服从正态分布，则称该模型为经典正态线性回归模型（classicalnormallinearregressionmodel,CNLRM）,参数估计,经典正态线性回归模型正态性假定的依据：中心极限定理误差项代表除了模型中的自变量以外，其他诸多因素对因变量的综合影响程度。根据中心极限定理，这样的一个随机变量趋向于服从正态分布，而经典线性模型的其他假定保证了误差项的均值为0，而且是同方差的。因此，误差项服从均值为0的、方差相同的正态分布（课本p105）。,参数估计,正态性假定下OLS估计量的性质,参数估计,正态性假定下OLS估计量的性质,参数估计,区间估计,参数估计,区间估计,参数估计,例题3.2：家庭消费支出C与家庭可支配收入Y的相关数据如下：,假设检验,置信区间法根据估计值和置信系数构造置信区间，可以对原假设作出检验,假设检验,显著性检验法,假设检验,例题3.2,假设检验,例题3.3,假设检验,t检验和“2倍法则”例题：课本p.108,假设检验,拟合优度检验为了衡量根据OLS估计得出的样本回归线对真实数据的拟合程度，引入拟合优度（goodnessoffitness）的概念，并用判定系数（coefficientofdetermination）作为度量总平方和（totalsumofsquares,TSS）解释平方和（explainedsumofsquares,ESS）残差平方和（residualsumofsquares,RSS）证明见课本P110-111,假设检验,拟合优度图解,Xi,SRF,Yi,A,B,C,假设检验,判定系数的计算注意：只有两个模型的因变量相同，而且基于同一样本时，根据两个模型得出的判定系数才能比较,假设检验,正态性检验：关于误差项是否服从正态分布的检验残差直方图（Histogram）雅克-贝拉检验（Jarque-Beratest）,假设检验,回归分析结果的报告（参看：课本p.113）参看课本p.116-117,假设检验,习题3.2：课本p.125：习题6.14,预测,预测（prediction）：对不知道的或尚未发生的数据或事件所作的估计均值预测（meanprediction）：给定自变量的值，预测因变量的均值个值预测（individualprediction）：给定自变量的值，预测与之对应的因变量的个别值如果X0包含在样本内，则预测值实际上就是拟合值,预测,图解,X0,PRF,SRF,Y0,A,B,C,E(Y|X0),预测,预测,预测,例题3.4,基本概念参数估计t检验F检验对于线性约束的检验预测,三、多元线性模型,基本概念,多元回归分析的普遍性：一些例子,基本概念,经典正态线性回归模型（CNLRM）的假定,与二元回归分析类似，正态性假定是针对假设检验的,基本概念,多元回归分析的涵义,基本概念,例题3.5,参数估计,偏回归系数（partialregressioncoefficients）,参数估计,例题3.6：偏回归系数多元回归分析的功能在非实验的环境中完成受控试验，既保持其他因素不变,参数估计,偏回归系数的OLS估计,参数估计,偏回归系数OLS估计量的性质,参数估计,回归标准误：误差项方差的估计,参数估计,拟合优度为了衡量根据OLS估计得出的样本回归线对真实数据的拟合程度，引入复判定系数（multiplecoefficientofdetermination）来度量模型的拟合优度,参数估计,例题3.7：拟合优度注意！增加解释变量一般会使复判定系数变大，因此，不能简单地根据复判定系数是否增大来决定是否加入某个解释变量只有两个模型的因变量相同，而且基于同一样本时，根据两个模型得出的复判定系数才能比较,参数估计,调整的复判定系数例题3.8注意：重要的是回归系数的大小及其显著性，而不是判定系数,参数估计,偏回归系数的方差估计和标准误例题3.9：课本p132,参数估计,OLS估计量的性质,参数估计,OLS估计量的性质,参数估计,例题3.10：区间估计,参数估计,模型设定与OLS估计量的性质模型中包含了无关变量：偏回归系数的OLS估计量仍然是无偏的，但其方差估计偏大，因而不是最有效的模型中遗漏了相关变量：偏回归系数的OLS估计量是有偏的（p.140）什么时候增加新的解释变量：要增加的变量的回归系数的t值的绝对值大于1，或增加变量后调整的R2变大,关于单个偏回归系数的检验：t检验,基本思想,关于单个偏回归系数的检验：t检验,例题3.11：住房价格与空气污染,关于单个偏回归系数的检验：t检验,t检验（ttest）,关于单个偏回归系数的检验：t检验,例题3.12：消费函数（中国，1981-1996）,关于回归总体显著性的检验：F检验,基本思想,关于回归总体显著性的检验：F检验,两点说明单个系数的t检验显著并不能保证F检验显著，同样，单个系数的t检验不显著也不能保证F检验不显著。因此，F检验是必要的F值的直观含义,关于回归总体显著性的检验：F检验,例题3.12：消费函数（中国，1981-1996）,关于回归总体显著性的检验：F检验,例题3.13：附加预期的菲利普斯曲线（美国，1970-1982）,关于回归总体显著性的检验：F检验,例题3.13：附加预期的菲利普斯曲线（美国，1970-1982）其他例题：课本p.132，p.144-146,对于线性约束的检验,问题的引入,对于线性约束的检验,基本思想,对于线性约束的检验,例题3.14：台湾农业部门的柯布-道格拉斯生产函数（1958-1972）,对于线性约束的检验,例题3.15：牛肉的需求函数,对于线性约束的检验,应用一：回归模型的结构稳定性检验（Chow检验，p141-144）,对于线性约束的检验,应用二：F检验,预测,预测,例题3.16,对数-对数模型对数-线性模型线性-对数模型倒数模型多项式模型过原点回归模型,四、回归模型的函数形式,对数-对数模型,对数-对数模型（log-logmodel，双对数模型）,对数-对数模型,需求价格弹性,Qd,P,LnQd,LnP,对数-对数模型,例题3.17其他例题：课本p.158-160,对数-线性模型,对数-线性模型（log-linmodel，不变增长率模型）,对数-线性模型,工资模型,W,S,LnW,S,对数-线性模型,例题3.18其他例题：课本p.161-162,线性-对数模型,线性-对数模型（lin-logmodel）,线性-对数模型,例题3.19：课本p.164,倒数模型,倒数模型（reciprocalmodel）,U,倒数模型,例题3.20其他的例题：课本p.166-167,多项式模型,例题3.21：课本p.168多项式回归在成本和生产函数研究中应用较广,多项式模型,例题3.21,TC,X,过原点回归模型,过原点回归（regressionthroughtheorigin）实例：可变成本正比于产量永久性消费正比于永久性收入通货膨胀率正比于货币供给量可以用OLS估计，但应注意：如果截距系数不为0，则模型设定错误，斜率估计是有偏的复判定系数是无意义的,什么是虚拟变量自变量包含虚拟变量的回归模型因变量为虚拟变量的回归模型,五、包含虚拟变量的回归模型,什么是虚拟变量,回忆：变量的分类定类变量（nominal/categoricalvariable）定序变量（ordinalvariable）定距变量（intervalvariable）在定类变量中，有一类变量的取值只有0，1两种情况，称之为虚拟变量（dummyvariable），也称为二分变量（binaryvariable）。其中，赋值为0的一类称为对照组（referencegroup）或基准组（benchmarkgroup）,自变量包含虚拟变量的回归模型,自变量仅为虚拟变量如果自变量仅为虚拟变量，称为方差分析模型（analysis-of-variance,ANOVA）。这一模型实际上是以自变量为分类依据，讨论因变量的均值差异,自变量包含虚拟变量的回归模型,例题3.22:课本p.177教育与年薪其他例题：p.178,自变量包含虚拟变量的回归模型,虚拟变量有多种分类例题3.23：1999年中国人均GDP的地区差异,自变量包含虚拟