一元线性回归假设检验与预测

1、 第五章 双变量回归:区间估计与假设检验5.1 引言我们首先简要复习概率统计中关于假设检验的内容.1.假定随机变量X有概率密度函数（PDF）为分布参数。从总体中抽取样本可得到参数估计为（如0.5，或1.2等），这是通过样本所得到的是参数的点估计，而真正的 一般是未知的，问题在于：估计量是否与总体真值或某个特定的或假设的相等即，如假定为总体真值，而样本是从总体中随机抽取，由此，接受就意味着我们的样本是来自于对应的总体，于是检验假设，就是回答这一类问题。用术语表示，对于原假设H0：，与之相对立的称为备选假设，记为HA：，显然，这种原假设和备选假设为简单的相等和不相等，称为复合（备）假设，因为拒绝原

2、假设不能回答是还是，而类似于对称为简单假设。于是对于所得到的估计量，我们以上的假设表述为 H0： HA： （5.1）要检验这种原对备选假设，必须使用样本信息，构造一个合适的统计量，并且原假设下这种统计量的抽样分布必须已知。 最后，为检验H0对HA，我们首先应所选定一个显著性水平，根据统计量的抽样分布而查对应的临界值表而得到相应的临界值，若所计算的统计量值小于这一临界值，或者说统计量值落入接受（原假设）域，则不拒绝H0，否则拒绝H0而倾向于接受备选假设HA。2.置信区间法。思想: 对于样本Xi， ，i=1，2，n， 来自于正态总体，且相互独立， 构造一个基于样本信息的区间，使总体分布参数(以均值

3、为例)以较大的可能性落入这一区间. 则这一区间为置信区间.根据中心极限定理，有 置信区间构造的思想是，对于的正态分布，建立它的一个100（1）的置信区间，使这一区间包含了的置信水平（概率）为100（1）。另一方面，置信水平（或称为概率或极大似然）表明如果从中抽取100(例)次相同长度的样本，即可得到100个这样的置信区间，其中有100（1）个置信区间包含了总体真值。以下是构造置信区间的例子：第一步 ： 因，有 第二步:建立置信区间:对于标准正态分布，对应显著性水平0.05，其临界值为1.96，于是于是根据置信区间的定义，有总体均值的置信区间为： 3.显著性Z检验。对于 （5.2）基于(5.2)

4、的检验称为Z检验或显著性检验。这即是正态性检验.进一步，假定总体参数的均值为某个特定的值并对这一假定进行检验，这种假设可表示为 H0： HA： 若落入由样本信息构成的区间内，则不拒绝H0，即接受原假设或认为原假设为真，否则，拒绝H0。注意，我们的结论是对于所选取的显著性水平而言，即接受H0是基于1，或者说，原假设正确的概率为1，因此这一结论可能仍有的概率不正确，故称为犯第I类错误(去真)的概率。即在H0为真时，拒绝它的概率。如选取0.05，表明仍有5%的可能犯去真的错误.而在H0为真时拒绝它，进一步，如H0不真时而接受它，此时犯了取伪的错误，称为第类错误.以上我们所述的方法是统计检验，计量经济

5、学中的检验，是将这种检验扩展到模型上。4. 统计推断与假设检验 问题: 对于我们前面所学的内容，如 模型: （5.3）使用OLS估计这个模型， 我们怀疑变量X2对于解释应变量所起的作用不显著，用术语表述， X2在统计上不显著，这一怀疑就可归结为对原假设H0:进行检验，如何检验，显然，必须使用合适的统计量对这种假设进行检验，这即是假设检验的思想，即首先做出假设，然后使用一个合适的统计量(在原假设为真时导出其分布)对这种设定的假设进行统计推断或检验。而区间估计的思想是，我们前面对于消费与收入的例子，估计了边际消费倾向等于0.5091，这是一个点估计，能否构造一个关于这一点估计的区间，使总体真值以较

6、大的可能性(置信区间)落入这一区间，这即是区间估计问题，以下我们具体讨论区间估计与假设检验。5.2 区间估计：表述与基本概念区间估计的思想：对于已有的基于样本信息的点估计如，希望基于这一点估计(样本信息)构造一个区间，使总体真值b2以较高的概率被包含在这一区间内，既然是区间，所要解决的问题就是如何构造即确定区间的左右端点（我们一般考虑对称区间），且这种区间如何与概率（显著性水平）相联系？由于标准差是度量估计量的精度，所以可利用标准差确定区间，这样，形成区间估计可以表述为：确定决定区间的数d(基于标准差)和显著性水平a，使总体参数b2落入这一区间的概率（置信水平）为1-a Pr(-db2+ d)

7、=1- a (5.4)由(5.4)所界定的区间称为关于b2的置信区间，a称为显著性水平，-d称为置信下限，+ d称置信上限.从以上的分析可以看出，区间估计给出了总体真值所落入的范围，从中也可看出总体真值与对应的估计相距有多近.注解:1. 由(5.4)所定义的区间为一个随机区间，因这样的区间是基于而形成的，不同的样本可产生不同的，且还是Y的线性组合，进一步，区间的边界点d是基于样本所确定，故这样的区间为随机区间.2. 对于一组已取定的样本，基于回归结果就可计算这样的区间，所以对于已取定的样本，它不是随机的，因此，b2只能落入这个区间或不落入这个区间。3.在重复抽样（如100 次）中，每一次抽样可

8、以形成一个类似于（5.4）的区间，由于重复抽样均来自于同一个总体，因此每次抽样所形成的区间应非常相近，（5.4）是指100个这样的区间中，有1- a个包含了真值b2。因此，一般将a设定为0.01或0.05等，从而使100次重复抽样所形成的100个区间中，有99或95个包含了真值。这显然是一个大概率事件。因此对于已有的样本，我们有99（或95）的置信水平(把握，或概率)认为它是99（95）个中的一个，所以按上述方法所构造的区间就有99（或95）的概率包含了b2。5.3 回归系数的置信区间对于模型（5.3），上述假设检验的原理将用于检验回归系数的显著性检验，为此，我们首先回忆，在扰动的独立同分布正

9、态假定（即）之下，系数估计为正态分布， （5.5）这里，VAR表示估计量的方差，利用前述的Z检验，这里我们要检验系数的显著性，以为例。1.的置信区间由于（5.2），有 （5.6）但是我们并不知道扰动的标准差，故不能用正态分布的显著性建立其置信区间。（注意我们这里是用总体的标准差表示），因此只能用它的无偏估计来替代而建立置信区间。由于 （5.7）因此用可建立置信区间。其中为自由度。于是对于分布和选定的显著性水平，由于这一分布具有双尾临界值，故有对应的临界值，记为，统计检验的思想，即是通过 （5.8）而确定置信区间。将（5.7）代入（5.8）之中，有 （5.9）方程（5.9）中的括号.给出了置信区

10、间，即 （5.10）不难看出，置信区间(5.10)是以标准差和对应的临界值的积作为区间的上下限. 例子：第三章中收入与消费，可求得0.5091，0.0357，并且自由度为8，若取0.05，对应的（查表得）2.306，由此有的95的置信区间为：0. 4260.5914 （5.11） 对置信区间的解释为，给定显著性水平0.05，有置信系数0.95，从长远看，在类似于（0.426，0.5914）100个区间中，有95个区间包含了真值.2.和的联合置信区间（略）5.4 的置信区间 我们在概率统计学过有关服从分布以及这一统计量是如何构成的，这里，在正态假定之下，变量 （5.12）因此可利用（5.12）建

11、立的置信区间：对于选定的置信水平1，由（5.12）有 （5.13）由将（5.12）代入（5.13）可得： （5.14）于是（5.14）中的.形成了的（1）的置信区间。例子： 第三章中的收入与消费，可求得42.1591，自由度为8，如取0.05，由自由度为8的表可查得临界值为：17.53，2.18，因此，由于 故置信区间为：19.23154.73 （5.15）5.55.6 假设检验置信区间检验与显著性检验概述 1.原假设与备选假设我们以上已经分析了假设检验的思想，对于感兴趣的原假设和备选假设，利用合适的统计量进行检验，如对于原假设H0:b2=0.3和备选假设HA:b20.3进行检验.由于拒绝原假

12、设仅能得到b20的信息，而不能得到有关b20.3或b20.32.置信区间法我们以上已经讨论如何构造置信区间，基于原假设所构造置信区间，考察原假设是否落入置信区间，若落入，则不拒绝原假设，否则拒绝原假设。3.显著性检验显著性检验是针对原假设对备选假设，通过构造统计量并计算它在原假设下的值，将计算的统计量值与对应的临界值比较，若计算的统计量值大于对应的临界值，拒绝原假设，否则不拒绝原假设。从以上可以看出，假设检验针对假设，基于统计量而实现，如前述Z统计量， t统计量等，要对所设定的假设进行检验，对应的统计量必须要有明确的分布，否则，就无法进行检验。4.显著性与显著性水平：直观看，一个统计量的绝对值

13、如果充分大，它才是显著的，多大是充分大？这要取决于显著性水平，为界定充分大，给定显著性水平，当统计量的值落入由a（或在双尾时的a/2）所界定的范围（拒绝域）时，称统计量的值是显著的，以t统计量为例，当计算的t值落入a/2所对应的区间时，即称t值具有统计显著性。当计算的统计量值(如t=2.1)落入接受域（1a所界定的区间）时，对应的结论的实质含义是不拒绝原假设，一般称为接受原假设，还有a的可能犯“去真”即第类错误。5.假设检验和置信区间在计量经济模型中的意义与作用。置信区间不仅是对点估计的推广，而且为假设检验提供基础， 假设检验还为推断总体提供了工具。更为重要的是，假设检验和置信区间为检验经济学

14、假说提供了桥梁，从而使经济学和计量经济学相融合.5.7.假设检验：显著性检验法1. 检验回归系数的显著性：检验 显著性检验最基本的问题是构造一个合适的统计量（作为估计量），以及在原假设之下的抽样分布（本课程基于经典的统计量，其分布已知），通过计算这一统计量的样本值，进而与临界值比较，如落入接受域，则不拒绝原假设或者说接受原假设，而不落入接受域即落入拒绝域，则拒绝原假设。这一思想的核心是，设定原假设和备选假设，构造统计量以及推导它在原假设下的分布，利用这一分布检验假设，所以这种思想实质上是先行假定原假设为真，从而有统计量在原假设下的分布，基于此检验原假设。 例子1.置信区间法。 我们前面所讲的置

15、信区间法，作为前面消费与收入的例子，设定原假设对备选假设 H0： HA： 这即是双尾假设。我们已算出95的置信区间为（0.426，0.591），对于上例，由于不落入对应的置信区间，所以拒绝原假设.置信区间检验的决策规则为基于置信区间的假设检验的决策规则： 构造一个的置信区间，如果原假设（这里为0.3）落入这一区间，则不拒绝原假设H0，否则，拒绝H0。 按这一规则，由于H0：，显然，0.32.306，于是拒绝H0：。如图5.4，这是一个分布图. 图5.1. 显著性t检验 不难看出，显著性检验的实质为，建立真值或总体的某一特定值的原假设和备选假设，在原假设下构造统计量和它的分布，并在原假设建立有关

16、估计量的置信区间，最后考察原假设所设定的值是否落入置信区间之内还的之外，若落入之内，接受原假设，否则拒绝原假设。这一问题可转化为，如计算的值较大，即可成为拒绝原假设的证据。对于显著性检验，如果计算的统计量的值落在临界域上，或落入拒绝域之内（或落入接受域之外），就拒绝原假设H0，此时称统计量在统计上是显著的。相反的，可说明统计上不显著的意义。特别地，我们对原假设H0：的检验，在多元回归模型中，这一假设被作为变量的显著性检验，具有广泛的应用。作为作业，请同学们自行推导H0：的显著性检验。2.对于的显著性检验，可作类似讨论，检验方法列入下表5.2。1. 有关双尾检验和单尾检验。对于上例，我们所实现的

17、是双尾检验，即我们将正态分布和分布的两个尾端作为拒绝域，这种实现方式是因为备选假设为HA：拒绝原假设不能识别大于0.3还是小于0.3，HA（）因而是一个复合备选假设。若将原假设设定为H0：，而备选假设设定为H1：，这是一个单尾的假设，即拒绝原假设就意味着接受备选假设H1：。为了检验此原和备假设，我们应利用单尾（右尾）检验，即只需要考虑，将0.5091与对应的右尾临界值比较，若大于，拒绝原假设，否则，接受原假设。对于本例而言，1.86，对应的右尾临界值为0.366，所以0.509大于0.366，拒绝原假设H0：。若使用检验，计算的值为5.86，大于对应的1.86，所以拒绝H0：。究竟设定原和备假

18、设为哪一种，应根据检验的目的和可用的信息而定。一般而言，不同的假设设定，若其本质属性相同（如上例中，和），其结论的属性也应相同。2. 总结关于显著性检验，其决策规则为表5.1 表5.1 显著性检验：决策规则 假设类型原假设H0备选假设HA决策规则：拒绝H0，若下式成立双尾右尾左尾上述决策规则如图所示: 图5.2.单尾显著性t检验的决策3.关于的显著性检验，其决策规则见表5.2，其中的自由度用（d.f）表示。考虑 用这一统计量进行显著性检验，其决策机制列入表5.2.表5.2 显著性检验： 这里自由度为样本长度2（参数个数）(基于模型（5.1）)H0：原假设HA：备选假设临界域(拒绝H0) 或例子

19、：前述消费与收入模型，所计算的，如设定原和备假设为H0：85 HA：85这显然是双尾检验，给出了检验这一假设的统计量，将和85代入(在原假设之下)，有计算的值为 选定显著性水平0.05，可查得的两个临界值分别为=2.1797和=17.5346， 接表5.2中的第三行的双尾决策规则，由计算的2.1817.54，即落入这两个临界值所界定的区域之内， 故数据支持原假设，或者不拒绝原假设，或接受原假设。 这里要特别注意，表5.2和表5.2中所列规则为拒绝原假设，因此给出的为拒绝域。 5.8假设检验： 实现中要注意的问题1 .接受与拒绝的含义对于显著性检验（如检验），当计算的统计量值落入接受域中，因此我

20、们接受原假设，其含意为，根据样本信息，我们没有理由拒绝原假设；而并非是指，原假设一定为真。为什么？ 对于已决定接受的原假设，若与之类似的另一原假设（我们只是没有设定），通过相同的步骤，其可能的结果也接受这一新的原假设，若如此，哪一个原假设为真？通过假设检验还无法决定。例子：仍就前述收入与消费，我们设定H01：0.5，而其估计值0.5091，并且它的标准差估计为=0.0357， 而计算的统计量为这一数值落入接受域中(为什么?)， 所以接受H01.现在我们再设定H02: 0.48，于是可以计算 显然0.82再次落入接受域内，故应接受H02。对于H01和H02，哪一个为真，我们基于统计检验无法确定，

21、唯一能确定的是两个原假设能被接受，或均不能被拒绝。 所以，在接受一个原假设时，有可能另一个原假设（未设定而己）也不能被拒绝。于是，我们只是说这一原假设不能被拒绝，而不是说确定要接受它。但为方便，常用接受原假设.2.“零”原假设与“2”法则在计量经济学中，我们常常要检验某一个变量对于应变量的解释能力，或变量的显著性，这一问题就表述为对应的系数是否可约束为零，对于模型（5.1）或收入与消费模型，这个问题即为H0：0，即零原假设或简称为零假设。显然，对于这样的问题，任何其它的原假设如C，而C不等0，均不可能检验所对应的变量对应变量是否具有解释能力。零假设检验有一常用的法则：“2法则”：如果自由度大于

22、或等于20，显著性水平为0.05，则所计算的（）的绝对值超过2时，应拒绝零假设H0：0。 3. 建立原假设与备选假设一般而言，建立原和备假设没有一个统一的规则，通常是基于我们所研究的问题而定，或者是基于检验目的，如在模型中应检验某些或某个变量的显著性，则建立对应的系数为零作为原假设。另一方面， 有些假设通常是根据所研究的问题所隐含的意义而建立，这样的假设往往具有较为丰富的经济学意义。或者是由经济学金融学理论或实际经济行为而建立假设。通过检验假设来证实经济学理论或实际行为的正确与否。3. 显著性水平： 通常选定的显著性水平，其实质含义为犯第I类错误的概率，所谓第I类错误是指，在原假设为真时，拒绝

23、这一正确的原假设，即去真。而对应的取伪的概率即为犯第II类错误的概率，即接受了错误的假设的概率。一般而言，计量经济学中的假设检验将犯第I类错误的概率定在0.05，或0.01，或0.10。所谓检验势（power of the test）定义为1Pr.（犯第II类错误），这是目前在仿真实验中所使用的概念，它主要用在计量经济学的理论研究中， 以此评价所构造的统计量的检验能力， 一般而言，检验势高，表明这一统计量的检验能力就强.6.值.计量经济学软件中，目前广泛使用精确的概率值，它表示所设定的原假设可被拒绝的最低的显著性水平，或精确的a，或者是犯第I类错误的概率。值与显著性水平a关系，如果要选定a，那

24、么，当值小于或等于a，则在a水平上拒绝原假设。反之，不拒绝原假设。例子，若所计算的0.03，表明原假设能被拒绝的最低显著性水平为3，于是，对于显著性水平为0.01，这一（0.03）值落入接受域中，故在0.01的显著性水平上，接受原假设，而对于显著性水平0.05，（0.03）在其右边，即落入拒绝域中，故在0.05的水平上，又拒绝原假设。从度量犯第I类错误的概率来看，0.03表明犯第I类错误的概率为0.03。从统计显著性或统计结论来看，对于选定的显著性水平0.05，应拒绝原假设。当然，这是一个较为特别的例子。7. 统计显著性与实际显著性。统计显著性是指我们在本章所讲的显著性，这种显著性并不完全等同

25、于实际显著性，如，对于我们反复使用的消费与收入例子，现假定真实的MPC即0.61，亦即H0：0.61，而实际所估计的0.5091，并且它的标准差估计为=0.0357，置信区间为（0.4268，0.5914），显然，这一区间不包含0.61，据此，0.5091在统计上与H0：0.61是显著不同的，即0.5091显著的异于H0：0.61，这种统计的显著性，对于由这2个数值所产生的实际结果或所派生的结果是否产生差别，若有差别表明这种统计显著性产生了实际显著性，一般而言，统计显著性均产生实际显著性。就这个例子，由于表示边际消费倾向MPC，而收入乘数为1/（1MPC）所以MPC0.5091所产生的收入乘数

26、为2.04，即政府增加1美元的开支，将导致收入最终增加2.04元，而当MPC0.61时，收入乘数为2.56，显然，不能将2.04等同于2.56，因此统计的显著性，产生了实际结果的显著性。实际结果的显著性，不是由统计学能解决的问题，计量经济学所关注的问题是统计上是否显著，尤其是在近代计量经济学中的设定检验，广泛使用统计显著性来选取变量或修改模型的设定。经济上或实际的显著性，取决于点估计的大小和估计的精度。8. 置信区间法和显著性检验法的选择：不难看出，置信区间法是建立一个区间，一般不易引起相互冲突的结论或解释，而显著性检验法仅是针对一个估计值是否落入置信区间而导出结论，因而易于引起不相容的解释，

27、从这个意义上说，置信区间法优于显著性检验。但在计量经济学的设定检验中，显著性检验因为方便而被反复使用，从文献看，显著性检验成为使用频率很高的一种检验方法。5.9 回归分析与方差分析在回归分析中，我们就模型(5.3)推出了下式 (5.19)由于第一项为总平方和TSS， 故此式将TSS分解为回归平方和ESS和残差平方和RSS，这一分解称为方差分析。即TSS=ESS+RSS (5.20)由于 TSS=，而，故自由度为-1，所以，TSS的自由度为-1; 类似地， ESS=的自由度为1;RSS=的自由度为-2.总之，由于回归所产生的总离差平方和的自由度为-1， 它分解为回归平方和（自由度为1）与残差平方

28、和（自由度-2）之和。以下我们重点研究显著检验问题。记 F （5.21）在扰动为正态分布且在H0：之下，统计量（5.21）服从F分布，其第一自由度为1，第二自由度为-2，证明作为作业。然而，对于2变量模型（5.1），显著性H0：检验F即（5.21）与检验互为补充，其关系为 ， 但对于多元回归模型，F检验是检验模型是否显著的统计量。5.10 回归分析的应用：预测问题对于一个回归模型，如收入与消费数据所得到的回归模型 （5.22）使用这一模型能产生两种预测，其一是所谓均值预测，其二是点预测。1. 均值预测。所谓均值预测是对于给定点或给定的值，预测Y的条件均值Y0，由于为总体回归线，因此这种预测即是

29、预测总体回归线上的点，称为均值预测。由于所估计的回归直线为总体回归直线的估计，所以均值预测的值由估计的回归直线给出.例子：由于（5.22）为估计的样本回归直线，它为总体回归直线的无偏估计，故均值预测即为，对于给定的100，预测的均值Y0（记为）为 作为Y0的估计且这一预测为最优无偏线性预测.命题1. 在正态扰动下，均值预测的分布为正态分布，其均值为，方差为 （5.23）证明： 给定，对均值的真值的预测由下式给出 （5.24）而（5.24）的估计为 （5.24）取（5.24）的数学期望，由于的无偏性，得 所以 （5.25）表明了是的一个无偏预测。对（5.24）求方差，有 （5.25）将和代入（5

30、.25），即有（5.23），由于是一个估计量，就可能与其真值（）有偏差，评估这一偏差实质上是评价预测能力，其方法之一是将用其无偏估计替代，即可推出 （5.26）故可以用分布构造的置信区间，即 （5.27）不难计算，本例的置信区间为 （5.28）见图内侧. 当X=100时， 其置信区间的图示.这就是说，给定X0100，重复抽样100次，形成100个类似于（5.28）的置信区间，应有95（a0.05）个包含着真实的均值，而真实均值的最优估计为75.3645.将样本中所有的X的置信区间连接，即可产生一个所谓置信域，如图所示（第123页）。 图5.3. 区间预测和个值预测的置信区间 2.个值预测。个值

31、预测是给定预测Y所对应的值，称为个值预测。即预测Y0/X0= b1+b2X0+u0若我们只是对XX0，仅预测单个的Y（而不是总体直线上的点）值Y0=b1+b2X0+u0，如同前述，此时Y0的最优无偏估计仍为但预测的误(偏)差为（），方差为 （5.29）证明：对于XX0，对应的Y的个值为Y0=b1+b2X0+u0， Y0的个值预测为，所以 用代替，有 （5.30） 所以可用这一分布对真实的Y0进行推断，对于例子，其估计均为75.3645，但方差却为42.15911/10（）52.6349所以对应X0100，个值Y0的95的置信区间是 （5.31）由（5.31）所界定的个值预测的置信区间与均值预测的置信区间（5.28）相比较，（5.31）要宽，如图5.3所示，其原因是，个值预测的方差大于对应的均值预测的方差，导致置信区间的宽度大于对应的均值预测的宽度。而当X