计量经济学讲义-4-第二章 单变量回归

1、线性分析第二章 单变量回归绊第二章 单变班量回归八所谓回归分析(败regress凹ion ana拔lysis)，蔼就是弄清楚两个袄或两个以上变量百之间的因果关系肮的统计手法，是摆计量经济学中经捌常应用的方法。鞍我们也可以认为拔计量经济学的目扒的就是为了改进柏回归分析。伴本章的对象：按单扮变量的回归模型罢主要内容：古典爱正规线性回归模俺型的假定；鞍 般 最小二乘矮回归模型(Or百dinary 班least-s拜quares 笆regress翱ion扳 model,昂 OLS)的重跋要结果；扮古典正规线性回芭归模型昂1-1 回归分奥析哀(1) 唉现在扮把两个变量埃和鞍之间的关系，用靶一次函数的形式

2、板表示。具体，疤这样的模型称板为颁单癌变量回归模型。巴其中，班是代表原因(c傲ause)的变案量，我们称之为懊说明变量(ex肮planato哎ry vari叭able),或跋者称之为独立变胺量(indep鞍endent 百variabl霸e);阿 板是代表结果(r碍esult)的靶变量，我们称之按为被说明变量(盎explain伴ed vari氨able)，或颁从属变量(de昂pendent耙 variab隘le);伴 扮是误差项(er艾ror ter翱m),或叫作搅艾乱项(伴dist昂urbance邦 term)，埃代表不能用艾的变化来反应出啊的敖的变化的那个部安分。也就是现实办的笆与理论的岸

3、之间的差异。挨为什么需要加入佰误差项呢？凹因为精确的数学板模型能解释的现氨象很少；现在能巴解释经济现象的袄手法大家更喜欢啊用随机变量来表爸示经济变量的不邦确性；隘 回归分析的目的矮主要目的是估计矮参数氨和耙以及百以及对估计值进隘行显著性检验。版 最常扒用的方法是最小跋2乘法(Ord哀inary L版east Sq疤uare me坝tho蔼d,岸 翱OLS)笆1-2 5个安基本假定哎A. 古典正规癌线性回归模型有胺以下五个假设：颁(1) 误差项白的平均为0,即芭；绊误差项挨之间不相关，即白，或蔼；翱误差项具有相同百的方差斑，其中柏是未知；摆说明变量蔼是可以指定的，百也就是说坝不是确率变量；氨误差

4、项服从正规爸分布。摆B. 下面我们懊详细说明上述的爸五个假定。败B-1假定(1拔)哀误差项拜代表说明变量阿以外其他的对被百说明变量胺产生影响因素的拜总和。其中的任伴何一个构成因素挨都不可能对被说隘明变量产生连续蔼的影响，而它们鞍总体有时候对被袄说明变量产生正皑的影响，有时候爱产生负的影响，鞍但是就平均程度伴而言是0。熬这种假定意味着俺被说明变量爱的平均是由瓣的大小决定，而昂误差项不会对被巴解释变量产生一奥种系统的影响，皑也就是与误差项懊无关。拜把说明变量坝分成两个部分：靶和半。其中，罢是可以人为指定稗的，称为系统部百分；误差项扒是个确率变量，翱称颁为非系统部分；颁就是不可预知部阿分，它决定被说

5、氨明变量败也是个随机变量芭。罢被说明变量和误把差项具同样的分拔布。案如果这种假设不盎成立，也就是说俺，有一个系统因蔼素拌，本应该出现在柏系统部分里，却袄人为地把它放在奥非系统部分中，版那样会带来什么芭样的后果呢？凹先看看原来的误百差项暗。如前面所述的柏那样，邦依旧假设霸是一个平均为0澳的随机变量。现般在，犯了定义上矮的错误，把应该皑放在系统说明部按分中的说明变量啊，归类到误差项班中，即熬，其中唉是一个均值为0鞍的随机变量。这碍时，伴就不再是一个均懊值为0的随机变瓣量。被说明变量摆的平均也不再只瓣由阿的大小决定，还背要受到奥中阿的大小的影响。哎这种错误是在建哎模阶段发生的错半误。翱不能简单地从检

6、捌验假说(1)的芭成立与否来判断罢这类错误的有无昂。原因是无论模百型的建立是否正板确，最小二乘残阿差霸的总和永远为0斑，即案，所以从作为误芭差项哀的估计值的笆的平均，把是不能判断假说拌(1)的正确与案否。搬B-2. 假设芭(2) -袄- 各期的误差把项叭之间不相关，即 袄先介绍一下什么邦是自己相关。案假如疤代表任何时点，拔相应的误差项暗。如果把是正的时候，翱更倾向于得到正板的值，这种情稗况，拔称案之间存在正的相摆关；反之，当百为正的时候，埃倾向于小于0霸的情况，称扮为负相关。盎假设(4)阐述般那样，说明变量昂不是随机变量，稗所以误差项按是一个随机变量昂，被说明变量盎因此也成为一个佰随机变量。如

7、果绊是一个自己相关蔼的随机变量的话澳，相应的芭也成为一个自己柏相关的随机变量盎。皑虽然自己不相关懊这一假说是一个凹非常强的假设，哎在现实中很难得拔到满足，但是在懊理论研究上具有懊很好的性质，比耙如使用方便等，氨同时也可以把结瓣果发展到自己相扒关的状况下，所靶以这个假设还是罢很重要的。扮对于自己相关的氨处理方法，挨将在自己相关那瓣一章中作具体介颁绍。敖B-3. 假设啊(3) -白- 误差项具有岸相同的方差氨，其中般是未知。懊首先介绍一下均颁一方差。斑对于所有的误差氨项澳来说，它们都具佰有相同的方差的邦时候，半服从均一方差分芭布；当各时点误柏差项的方差不相肮同的时候，服从碍异方差分布。挨被说明变量

8、岸与误差项袄具有相同的随机版性质，所以当版服从于均一方差白分布的时候，被皑说明变量袄也服从于均一方矮差分布；反之，拌当板不服从于均一方伴差分布的时候，敖被说明变量昂也服从于异方差矮分布。哎关于这一假设部坝成立的情况，捌会在异方差中详扮细说明。捌B-4假设(4稗) - 唉说明变量蔼是可以指定的，靶也就是说绊不是随机变量。啊所谓指定变量，鞍就是意味着俺可以人为地给定翱一个皑的水平，叭可以观察相应的哎的水平。虽然说奥明变量懊是可以控制的，伴但是其他不可以岸控制的影响疤被说明变量的因碍素是随机变动的岸，所以被说明变靶量是确率变量。巴这里熬反复强调说明变盎量瓣是指定变量，宗笆旨无非是想表明版说明变量伴不

9、是确率变量，艾也就是说不是随坝机变动的，坝的决定机制和误柏差项的决定机制熬是完全不同的，癌它们是独立的，癌这就是这条假设摆的目的蔼。摆在自然科学领域案，说明变量的水阿平是可以控制的爱，例如，肥料的败投入量与收成关懊系的研究中，肥跋料的投入量是可暗以人为控制的。拌但是在经济学领颁域里，这种人为背的控制是不可能傲的。例如给出不白同的收入水平，案也不可能策划出疤家庭消费，因为敖从被调查家庭这爱个母集团中，随敖机抽取家庭样本暗时，导致家庭的按收入水平这一说俺明变量就变得不背可以控制。叭还可以把假设（半4）放松到说明耙变量伴是确率变量，但办是傲要与误暗差项独立。这种靶情况下，在本章版中所展开的讨论挨仍然

10、是有效的，爸只是案可以把确率说明鞍变量氨理解为一种条件安观察值。八B-5 假设(氨5) 误差项服跋从正规分布。哀这里罢定义误差项阿是影响被说明变昂量爱的系统因素八以外非系统因素案的总和。即，安当k是一个比较敖大的数字，凹相互独立，而且艾每一个鞍对误差项的影响扳是非常微小的。白这种情况下，斑根据中心极限定半理可以假定误差柏项服从正规分布暗。翱误差项服从正规颁分布与否，和假暗说（1）同样，盎是在建立理论模板型的时候需要慎疤重考虑的。扳2。最小二乘法绊的几个重要结果八2.1 最小二懊乘回归有以下四案个重要结果：(1). (2). (3). (4). 哎2.2 结果傲的意义结果(1). 斑这个结果说明

11、最白小二乘残差的总挨和一定是0。这鞍个结果同理论模盎型的好与坏，前埃面提及的假说（岸1）正确与否都拔无关，永远成立岸。对每一个残差拜项拜而言，一般来说拔它不一定是0，拔我们由搬（因为残差项瓣使不可观察的，盎这里我们为了强奥调特意写成安代表残差项八的推导过程），隘当扮过大地估计佰的时候，残差项肮就是负的；当柏过小地估计版的时候，残差项扒就大于0。但是百总和永远为0。鞍表明唉被说明变量的观扮察值的总和与估胺计值的总和永远百是相等的，即坝，也就是说它们敖的样本平均值也隘是一致的，敖。埃有时候会出现芭，那更多的是因把为计算中的误差扳所至，而不是否扒认办这一结果。结果(2). 袄由结果巴，伴很容易地得到

12、伴，从而得到伴，很显然，当坝的时候，就有阿。爸而残差项八与说明变量暗的样本相关系数爸当碍，意味着爸与稗之间是线性无关扳，即岸。百同样的跋道理，爱可以有背得出八与半之间是线性无关耙，即霸。挨结果(3). 挨 瓣，称岸为全变动，反映耙被说明变量在样熬本平均周围的变佰化程度，瓣，称办为回归模型可以安说明的变动，反稗映被说明变量的矮估计值在样本平岸均周围的变化程白度，阿，称按为回归模型不能蔼说明的变化部分罢。绊结果(4). 搬 翱我们利用这个结癌果，可以简单地芭求出澳。岸2.3 结果挨的证明证明(1). 证明(2). 氨证明(3). 般 伴证明(4). 罢 般最小二乘估计量埃的性质板一氨的均值是无偏估

13、哎计 ， ； 扳 版 岸 耙 两边取均值，阿有百 靶 佰，袄 芭 这表明罢是八的无偏估计量。跋 百 对于般，笆。二的方差敖做的五个假设中昂假设服从于正态凹分布，所以瓣只要知道跋，的均值，方差暗和协方差，把就完全知道敖的所有统计特性唉。背 根据方百差的定义奥，把代入，得到；对于，有；再计算协方差，。耙三 Gaus隘s-Marko安v高斯-马尔可鞍夫定理肮对于古典线性回瓣归模型，普通最袄小二乘估计量是扮最佳线性无偏估岸计量(BLUE唉)。,摆是样本的线性函拔数，所以佰是线性估计量。般下面安证明疤的方差最小。敖设昂的任一线性估计板量为跋，则扒只有当绊的时候，盎才是半的无偏估计量。；作个变换， 半第三

14、节 拟合优懊度的测度概念捌拟合优度是指两办个变量之间关系岸强度的测度。Y的变差的组成 暗三拟合优度的柏测度阿3.1 决定般系数扳在全变动中，只捌有昂是回归模型可以笆说明，所以判断靶一个理论模型按具有多少说明力颁，用挨决定系数的敖，（ESS: 癌explain叭ed sum 佰of squa耙res；TSS凹: total般 sum of傲 square袄s; RSS：班residur败al sum 霸of squa肮res办）来度量，或者按用盎相关系数；爸来度量。氨的取值范围在-白1到+1之间，耙其绝对值越接近傲于1，表明被说唉明变量与说明变八量的线性相关程败度越强，当按的时候，暗称被说明变量

15、与安说明变量之间是按完全负的相关，氨当柏的时候，挨称被说明变量与俺说明变量之间是瓣完全正的相关，半当啊的时候，矮称被说明变量与鞍说明变量之间是柏完全不相关。笆第四节 区间估挨计和假设检验一的置信区间拜 最小二绊乘法的五个假设颁都成立的情况下靶，奥.鞍 if 坝is give稗n, then唉 we can罢 estima疤te 罢as 摆; 傲1翱的估计 啊 按 办 We 邦will pr熬ove 哀 is a u耙nbiased爱 estima隘tor for癌 柏.傲 半; 挨 艾as 埃, and t埃hen we 碍have拔where 把, and 疤We will绊 estima岸

16、te by t岸he foll哀owing ,盎 alike. 盎 蔼,and th捌ere is 鞍,and th巴en we h白ave 袄 搬, then班 凹, 颁,and th巴en we i叭nstead 胺 with 按. ; 白 As搬,and 邦,and th捌en we h吧ave .矮conditi懊onal on艾 the un肮-known 罢, we es爸timate 跋the int扒erval v败alue fo埃r 叭 by usi矮ng t-va百lue.板 扮, as th扮ere two哎 parame捌ters 坝.芭The int笆erval v版

17、alues f爱or para八meter 安 is 耙.疤The met扳hod of 胺looking芭 for t-胺table i靶n the b扳ehind o拜f the t暗ext, P1胺86.奥The que唉stion :艾 why th半e t-val佰ue of e艾stimato败r must 耙equal t百o 1.96 碍at leas哎t ? 拔For exa耙mple: i佰n the t板ext P53安.爱Testing芭 for hy鞍pothesi蔼s 鞍参考书胺：1 金融数叭量方法陈工孟把，陈守东译，上绊海人民出版社。拌？ 为什么要昂进行检验呢？哀

18、概率模型仅仅能板够提供回归系数俺的估计，因此有隘必要对这些古迹摆在多大的程度上啊能够代表着真实伴的系数进行检验班。可以通过加演颁回归系数的统计绊显著性和所顾忌颁的回归直线的数柏据的拟合优度来般进行这项检验。芭1. The佰 method俺 for te班sting 阿 建立原鞍假设和备择假设埃；计算检验统计翱量；看是否出现哎小概率事件；得埃出结论。搬 Exa岸mple 3.爱3 罢We must懊 rememb跋er that罢 拔 We 皑see the胺 table 俺on P186扮, we ca按n find 奥the val奥ue is -奥1.86.佰 If 敖we want翱 t

19、o fin昂d out t扮he valu袄e for 拌, then 佰the val半ue is -奥.1.397;柏If we w白ant to 爸know th霸e value板 for 瓣,then t矮he two-暗hand va挨lue is 版3.355.矮系数的显著性检埃验敖 所谓显著澳性检验就是检验背参数是否为0。伴也就是检验每一扳个估计系数是由澳于偶然性而落在班分布的尾部，还败是落在分布的主唉体范围内。即判巴断盎与否。按 熬系数的统计显著扒性可以用估计值胺的离散程度来衡爱量。由于误差或耙残差被假定服从巴正态分布，误差颁的标准偏差就可案以用来衡量这种懊分散程度，这种办标准

20、偏差被称为胺系数的标准误差把。我们用t统计案量来度量系数的胺显著性程度。为澳了得到这些度量坝，我们首先需要芭知道：靶系数的抽样分布疤；胺系数的方差以及八标准误差的估计袄；霸这样，我们就可扳以检验关于系数隘的假设，或对期把建立置信区间。败 原假设：是澳指在统计检验中疤没有证据能够拒板绝它时将会被接哀受的假说。叭 备择假设：斑拒绝原假设，就爸会接受备择假设奥。败 袄 唉 凹 跋 真实的情扒况芭 绊 吧 原拔假设为真的an澳d 接受原假设背 原捌来假设有误an般d accep靶ted癌判 接受原扳假设 敖 对 瓣 绊 般 懊 第爸二类错误断癌结 拒绝原颁假设 版 第一类错哀误 鞍 绊 芭 对果扮我们

21、最想避免的斑是第一类错误。背因此我们设置相斑应的显著性水平翱，使得发生这种半错误的概率小一艾些。检验的步骤：翱step-1 鞍 确定显著性水矮平. 显著性水澳平意味着偶然性瓣的概率。例如9坝5%，就意味着氨95%的概率扒不是出于偶然。拌step-2 巴 设置原假设中哀的大小肮step-3 拜 查表找出临界皑值柏step-4 拔 判断扒出现小概率时间霸的话，则表明在艾显著性水平下，板原假设不成立。单边检验：颁右边：熬大于右侧的临界邦值，表明样本太摆大了，他成为总爸体的代表的概率氨小于我们所设定皑的显著性水平版。p-value爸p-value绊是原假设成立的摆情况下，标准化鞍的检验统计量取叭值得概

22、率。坝Example半 3.4 P稗55背进一步阅读文献盎：巴Bowers,斑D.,1991哀,Statis斑tics fo隘r Econo耙mics an扮d Busin哀ess, Ma拌cmillam柏，London拌.背Silver,袄M.,1992啊,Busine案ss Stat盎istics,霸 McGraw吧-Hill,俺London氨回归结果的提供绊和分析凹回归结果提供的败格式 tw芭o types版2. 回归结果版的分析背 2-1 傲 系数的说明。瓣符号，大小，意般义等。瓣 2-2 熬 拟合情况。俺 2-3 板 系数的显著性熬。班 2-4 拔 误差项是否存办在自相关。瓣利用回归

23、进行预叭测 (forc拔asting)氨 P56爸预测的概念 暗P56 胺通过说明变量来跋推测被说明变量拌的大小。疤二 预测的隐稗含条件： 对于熬新的观测值来说耙，回归模型也成唉立。敖三 预测的误坝差 P57半 预测澳有点预测值和区斑间预测值。稗 提供啊点预测值的同时鞍，必须提供预测巴值的预测误差。板预测误差的来源耙：一是预测期间奥的扰动项假设为皑0；二是样本估熬计值不一定就是按总体值。 奥他是一个无偏估霸计； 捌表明奥的时候，预测误隘差达到最小；其氨他的时候，预测摆误差向两侧非线熬性递增。巴四 预测的置岸信区间 or 哎系数的显著性检爱验稗 所谓显著哀性检验就是检验啊参数是否为0。案也就是检

24、验每一搬个估计系数是由安于偶然性而落在挨分布的尾部，还案是落在分布的主稗体范围内。即判氨断把与否。安 敖系数的统计显著巴性可以用估计值霸的离散程度来衡暗量。由于误差或霸残差被假定服从埃正态分布，误差袄的标准偏差就可罢以用来衡量这种碍分散程度，这种班标准偏差被称为疤系数的标准误差按。我们用t统计斑量来度量系数的鞍显著性程度。为靶了得到这些度量阿，我们首先需要阿知道：吧系数的抽样分布扮；叭系数的方差以及拜标准误差的估计版；半这样，我们就可啊以检验关于系数班的假设，或对期跋建立置信区间。颁 原假设：是盎指在统计检验中靶没有证据能够拒版绝它时将会被接盎受的假说。百 备择假设：敖拒绝原假设，就坝会接受备

25、择假设巴。败 摆 安 耙 背 真实的情靶况澳 霸 翱 原挨假设为真的an矮d 接受原假设隘 原安来假设有误an袄d accep阿ted袄判 接受原阿假设 吧 对 按 扮 拔 蔼 第唉二类错误断八结 拒绝原昂假设 疤 第一类错瓣误 氨 肮 斑 对果跋我们最想避免的熬是第一类错误。绊因此我们设置相半应的显著性水平扮，使得发生这种啊错误的概率小一芭些。检验的步骤：版step-1 耙 确定显著性水敖平. 显著性水癌平意味着偶然性败的概率。例如9蔼5%，就意味着稗95%的概率罢不是出于偶然。安step-2 办 设置原假设中扮的大小摆step-3 暗 查表找出临界艾值佰step-4 背 判断靶出现小概率时间跋的话，则表明在鞍显著性水平下，癌原假设不成立。单边检验：百右边：爸大于右侧的临界唉值，表明样本太芭大了，他成为总扳体的代表的概率吧小于我们所设定伴的显著性水平般。p-value哀p-value爸是原假设成立的澳情况下，标准化碍的检验统计量取蔼值得概率。斑Example芭 3.4 P捌55叭进一步阅读文献拜：捌Bowers,班D.,1991唉,Statis袄tics fo柏r Econo暗mics an奥d Busin伴ess, Ma拜cmillam霸，London傲.岸Silver,败M