第三章回归分析原理

第三章 回归分析原理31、一元线性回归数学模型按理说，在研究某一经济现象时，应该尽量考虑到与其有关各种有影响的因素或变量。但作为理论的科学研究来说，创造性地简化是其的基本要求，从西方经济学的基本理论中，我们可以看到在一般的理论分析中，至多只包含二、三个 变量的数量关系的分析或模型。这里所讨论的一元线性回归数学模型，是数学模型的最简单形式。当然要注意的是，这里模型讨论是在真正回归意义上来进行的，也可称之为概率意义上的线性模型。在非确定性意义上，或概率意义上讨论问题，首先要注意一个最基本的概念或思路问题，这就是总体和样本的概念。我们的信念是任何事物在总体上总是存在客观规律的，虽然我们无论如何也不可能观察或得到总体，严格说来，总体是无限的。而另一方面，我们只可能观察或得到的是样本，显然样本肯定是总体的一部分，但又是有限的。实际上概率论和数理统计的基本思想和目的，就是希望通过样本所反映出来的信息来揭示总体的规律性，这种想法或思路显然存在重大的问题。但另一方面，我们也必须承认，为了寻找总体的规律或客观规律，只能通过样本来进行，因为我们只可能得到样本。在前面我们已经知道，用回归的方法和思路处理非确定性问题或散点图，实际上存在一些问题，亦即只有在某些情况下，回归的方法才是有效的。因此，在建立真正回归意义上建立其有效方法时，必须作出相应的假设条件。 基本假设条件：（1）假设概率函数 或随机变量 的分布对于所有 值，具有相)|(iiXYPiYiX同的方差 ，且 是一个常数，亦即 = = 。22 )(iVar)(i2（2）假设 的期望值 位于同一条直线上，即其回归直线为i )(iE= 等价于 )(iYiX0)(iE这个假设是最核心的假设，它实际上表明 与 之间是确定性的关系。iYiX（3）假设随机变量 是完全独立的，亦即iY。juCovYovjiji ,0),(),(32、随机项或误差项的含义一元线性回归模型的一般形式为iiixY是一随机项或误差项，它的存在表明 对 的影响是随机的，非确定性iiXiY的。所以，对于每一个 值来说， 是一个概率分布，而不是一个值或几个值。iXiY正是由于 的出现，使我们的方法或思路发生巨大的变化，这是我们必须充分i注意的。 那么， 究竟包含了什么意义或内容呢？概括地说来主要有：i（1） 模型中被忽视了的影响因素；（2） 变量的测量误差，这种误差主要来自统计数据本身的误差；（3） 随机误差。社会经济现象中涉及到人的主观因素和行为，还有历史的、文化的等因素，这些因素一般来说是难以量化的、多变的；（4） 模型的数量关系误差。即数学形式所带来的误差。一般来说，模型中的常数项也可以包含某些较为固定的误差。但是值得指出的是，如果 能够包含上述所有的内容，那它的分布及其性质将是十分复杂i的，任意的。前面的假设条件的核心正是限制了 的分布形式，因此，实际上i并不能包含如此多的内容或负担。另外，上面 4 个方面中，我们最主要的是i要第 4 个问题，这也正是经济学研究所要真正解决的问题。一般来说，所有的经济数学模型的误差也就是这 4 个方面，或者说是存在的主要问题，对此我们必须要有清醒和深入的认识。33、一元线性回归模型的参数估计我们已知道，总体意义上真正的回归模型是未知的，我们的任务是如何通过样本观察值 给出总体真正回归模型的最好估计。.,21),(niYXi我们必须理解和认识总体回归模型和样本回归模型的区别和关系，必须反反复复地去认识、体会。假设总体真正的回归直线是iixYE)(它是由总体回归模型iii显然，上面的模型是想象的、理论上的，实际上是找不到的，它们实际上就是所谓客观规律。而样本的回归直线为iiXY它是来自于样本的回归模型ii e注意总体和样本模型的区别和联系，无限和有限，相同和不同等。下面我们同样根据最小二乘准则，建立真正回归意义上的最小二乘法：对样本模型ii eXY假设其估计的回归模型为ii因此，其残差则为iIiii XYe所以，其残差平方和为22)(iiiQ根据前面的结果，我们有其中 ixy YyXxiiii ,XY到此样本回归模型的参数就估计出来了。对于这个结果需要注意的是，这里的 ， 都是 的函数，而 是随机变量，因此，从理论上说 ，i iY随机变量，而不是一个或几个固定的值，是一个概率分布。正因为如此，回归的结果实际上也不是确定的，而是概率意义上的。接着我们关心的是，这个估计结果怎么样？是否可用样本回归模型来推断或替代总体回归模型呢？因此，我们必须进一步讨论 ， 的性质，亦即讨论样本回归模型的性质。34、估计值的性质（1） 估计值的线性性质。所谓线性性是指估计值 ， 是观测值 的线性函数。iY证明： 而222)( iiiii xxxy0ix其中iiYw2 ii2同理可证： = 其中 ikXwnkii1所以， ， 是 线性函数（应注意线性性的意义和作用） 。iY（2） 估计值的无偏性。所谓无偏性是指估计值 ， 的期望值等于总体回归模型参数 ， 的值。亦即 ， 。)(E)(证明： )()iYw)()( iiiiii wXwEXE 通过计算可知1,0ii， )()()( iii wE其中 ),.32,ni 所以有 )(同理可证 E（3）有效性（或称 ， 具有最小方差性） 。所谓有效性主要是指最小二乘估计 ， 在所有线性无偏估计中，其方差是最小的。证明的基本思路是：，)(Var )(Var证明（略） 。上面三个性质是最小二乘估计的主要性质，理论上说已达到最好的结果了。因此，满足这三条的估计也称作最优线性无偏估计。值得注意的是，这里的最优只是相对所有线性估计中而言的，而不包括非线性估计。也可以说在很多的情况下，肯定存在比最小二乘估计更好的估计值，这一点必须要认识清楚。还有一点，最小二乘估计的性质实际上与其假设条件是密切相关的，没有这样假设就没有这样的性质，因此，我们还要看看其假设条件到底是什么意思，要进一步去认识假设条件。35、最小二乘估计 ， 的显著性检验与置信区间所谓显著性检验实际上就是对检验估计值与总体参数值差别大小的方法。也就是数理统计中的“假设检验”的方法一种实际应用。这里再一次指出，参数估计之所以要进行检验，是因为这里的 ， 是随机变量。根据“假设检验”的要求，我们要想办法求出 ， 的概率分布函数，又由于它们是 的线性函数，则首先要知道 的分布。因此，我们只能假设iYiY服从正态分布（根据大数定理和中心极限定理，在大样本情况下并不失一般iY性） 。假设 服从正态分布，又因 ， 是 的线性函数，所以 ， 也是服i iY从正态分布的。只要计算出 ， 的方差，我们就可得到 ),(2ixnXN),(2ixN在上面的分布函数中，除了 ， 不可能知道外，我们必须解决未知数估计值，才可能继续进行显著性检验。21、 建立随机变量 方差的估计值i采用一定的办法是可以解决 估计值的，下面给出其推理过程，并证明其2估计值 是一个无偏估计。2设： YyiiXxyiiii ,所以 iiii yYe而 （1） XXiii ,)(iiixy又（2） 代入 YiiY则有 )(Xiiixy由此我们就有iie)()(iiix因此，进一步则有)()(2)()(22 iiii x下面我们分别计算上式右边每一项的期望值：其中 222)var()( iixE 2)var(ix222 )(1)( iii nE2)1(n iiiii xExxxE 22 )()()( （ 注意其中22iix222 )( iiiii xxXY）2i因此，我们最终得到222 )()1()( nneEi如果我们定义 ，那么 就是 的2i22无偏估计，亦即有。 但是我们还不能22)()(neEi证明 是最小方差估计，这是十分遗憾的。 22、 最小二乘估计值 ， 的显著性检验现在我们可以开始对 ， 检验了。我们应该认识到，通过样本得到具体估计值 ， 只是一个值，或者说只是无穷个可能值中的一个，此时我们并不了解它们的精度和可靠性。因此，显著性检验实际上是检验 ， 与 ，之间的差距和可靠性。具体的检验方法就是“假设检验”的方法。我们从数理统计中知道，一般假设检验中用来进行检验的统计量（实际上就是一种随机变量）主要有二个，即 Z 统计量和 T 统计量。（1）应用 Z 统计量的条件是：已知 而无论样本的大小，或者未知 但样22本足够的大（n 至少大于 30） 。已知 ),(2ixnXN),(2ixN则我们有 N（ 0 ， 1）22iixZ N（ 0 ， 1）2IXz当然如果未知 ，但样本数大于 30，则在上式中用 替代即可。2 2（2）应用 T 统计量的条件：当方差 未知，且样本小于 30 时。2已知 ),(2ixnXN),(2ixN则我们有 = t（n-k）22iixT= t（n-k）2IXT这里的 n 是样本的个数，k 是模型中变量的个数，n-k 是自由度。到此假设检验的基本工作基本上做好了，需要指出的是，统计量的设计一方面是把特殊的分布函数转化成标准的分布形式，另一方面把需要检验的对象同时也明确起来了。上面统计量分子正好反映了我们检验的意义。在“假设检验”的实际应用中，一个十分重要的问题是如何确定总体意义上的 ， 的值。我们知道“总体”概念说到底只是一个设想，一个信念而已，我们不可能知道 ， 的具体值，但我们又要依据 ， 具体值才能判断或检验 ， 是否是可接受的或误差不大。这个问题或矛盾怎么解决呢？这实际上是一个深刻的方法论问题。简单地说，我们只能用假设、或者具体地说是用理论假说的数量结论来替代 ， 的具体值，也就是“假设检验”方法中作出“零假设”的主要依据；当然在把回归模型作为预测用途时，也可以把其他主观或经验的判断作为“零假设”的依据。这样我们就可看到，所谓“假设检验”中原来希望检验 ， 与 ， 之间差异的想法或思路，已经转变为检验 ， 是否与理论假说或其他主观判断和经验相符。这一转变是深刻的和巨大的，这里 ， 已变成了检验的标准，由被动变为主动，而理论假说或其他主观判断则变成了被检验对象。这一转变所说明是问题是很多的、深刻的，应该好好认识和体会。“假设检验”的具体过程（例子）：略3、总体参数 ， 置信区间的估计通过“假设检验”方法或显著性检验，虽然证实了估计值 ， 的显著性，但还没有说明它们就完全正确估计了真实总体参数 ， ，至多只能说明 ，是它们的一种可能的值，其它更多的可能性显然是存在的，或许其它的值更好或更合适，因为 ， 只是来自一组样本的估计结果。因此，为了确定 ， 是怎样接近真实总体的参数 ， ，我们期望构造一个区间来具体加以说明，亦即建立一个围绕估计值 ， 的一定限制范围，来推断总体参数 ， 在一 定置信度下落在此区间。所谓置信（或称置信水平）度实际上与显著性的意义类似，只是数量的大小相反而已。例如，对于 的 T 统计量，有= t（n-k）2IX先确定其置信度如 95%和自由度（n-k） ，然后通过 t 分布表找出临界值 的值。则我们有025t9)(025025tTtp即 50)025 t所以， 置信度是 95%的置信区间为),(025025tt我们可以看出，置信区间的长度与置信度的大小是密切相关的，其长度与置信度的大小是成正比的。这种关系也是值得思考的。36、预测值 问题的分析0Y所谓预测问题就是对于已估计的计量经济学模型来说，相对于一给定的 X值，例如 ，其预测值 的性质和效果如何?再来回顾一下我们建立回归模型0X0的过程及其性质。根据最小二乘法我们从样本模型ii eY找到了它的回归直线 iiX我们已对 ， 作了检验并通过后，应该可以根据上式来进行预测了，亦即对于 ，可得到 ，亦即00Y0XY我们要具体考察 性质，实际上主要是分析它的误差性质，我们可以通过不同角度的分析来进行。我们可以从两种角度来看待 的误差。一是把 看成0Y0Y是总体回归线 （即 ）的估计值；二是把 看成是 （即)(0YE00)(X0）的估计值。下面来具体分析：0XY（1）如果把 看成是总体回归线即 的近似值，则 有什么样的性质0 )(0YE0Y呢。首先可以证明的是 是 的无偏估计。现证明如下：Y)(0)()() 0000 XXEY 然后，我们来看看 方差的性质和具体形式： ),cov(2)var()var()var()(var)r( 020000 XY（具体计算过程参看 4344 页）122ixXn从 方差的计算结果可看出，如果 离样本观测值 的距离越大，则0Y0的方差也就越大。这实际上说明回归的基本思想实际上是归纳的思路，亦即我们的 不能脱离样本或经验的范围太远，否则模型的预测值的方差将增大，0X预测将将变得更加不可靠。这个结果也许使我们对归纳法及思想的局限性或存在的问题有了一个数学上的解释。同时这个结果也把回归模型预测的类型分为两类，第一类称之为“内插检验”亦即这时的 必须在样本所限定的区间内，言外之意是对经验之内的情况，0回归模型的预测效果是比较可靠的。第二类称之为“外推预测” ，这时的 是0X在样本区间的外面，这时的预测值的误差方差显然是较大的，亦即“外推预测”是十分不可靠的。（2）如果把 看作真正总体 或 的预测估计值，其性质0Y0Y0X和结果又会什么变化呢？这里要注意的是，这时不仅可能有抽样误差的存在，而且还可能由随机项 而引起随机误差的出现，它们将使得 不同于 。00Y)(0E下面我们来具体看看这种情况下 的期望值和方差：0Y对于给定的 ，有0X0Y 00X则 00)()( XY取其期望值，则有0)()()()( 00 EE这个结论是否与上面的情形是一样的呢？是否能说 是 的无偏估计呢？看来Y是有问题的，其问题的关键是 是什么？是一个随机变量？还是一个确定的值？0Y不同的理解就会有不同的结论。再来看看此时的 方差又有什么变化：02020 )()()()var( XEYY= 00200 )(XE = )(1)var( 220ixn从上面的结果可清楚看出，总体的 与样本的估计值 之间的方差，要比0Y0Y与总体回归线 的方差大，准确地说大 。这是一个十分重要的结论，可)(0YE2具体表示为预测误差的方差