计量经济学公式推导.doc

一、最小二乘估计式推导过程：由方程组(1)(2) ，得（注意：根据导数运算法则，若和）在一个共同的区间上有定义，并且在每一点都可导，则有；对于常数c，则；当时，）因此，由（1）式得，(3) 由（2）式得，(4)根据复合函数微商定理：若对于，若在一点可导，且在相应的点处可导，则复合函数在可导，且有公式因此，依复合函数微商定理，由（3）式得，(5)又依据微商运算公式：，又可得，(7) 同理根据复合函数微商定理，由（4）式得，(6)同理又依据，及可得，(8)同样根据：， 可以得到方程组：(9)(10)方程（9）、（10）称为正规方程，合起来组成的方程组称为正规方程组。解正规方程组，由式（9）得，(11)，方程两边除以得，(13)，此时，若令 (14)(15)则，将式（14）和式（15）代入式（13）可得(16)将式（16）代入正规方程式（10），得移项合并整理得，可推出(17)又令(18)，(19)将式（18）和式（19）代入式（17）可得，(20),又因为，同理可证因此(21)由式（16）得，(22)因此，得到的式（21）和式（22）就可以得到一元线性回归模型中的参数：、的最小二乘估计和。二、几个结论：（1）；（2）的估计式也可表示为：证明如下：首先，对于分母，有其次，对于分子，有注意，倒数第二步用到了的性质。同理可证；因此，可以得出 三、最小二乘保证了的5条性质1、残差和=0，即，由此可推出样本残差均值由式（9）可以直接推出，无须证明。即。2、残差与自变量不相关，等价于 因为相关系数等价于，而由于，则 等价于， 等价于，等价于，由式（9）得，第二项等于0，由式（10）得，第一项等于0，所以式，所以残差与自变量不相关。3、残差与因变量拟合值不相关，即。而 等价于，等价于，等价于，（由于第二项等于0）等价于由于，所以 等价于，等价于，由式（9）和式（10）得，成立，即证明，残差与因变量拟合值不相关。4、因变量实际值与拟合值的均值相等。即。证明如下：因为，两边求和得， ，又由于，代入并且两边除以得，。5、拟合直线通过平均值点。由式（16） 可直接推出。四、高斯-马尔科夫定理证明1.线性特性线性特性是指参数估计值和分别为观察值和扰动项的线性组合。证明如下：说明：用代替。由上节的参数估计式（21）可推出，；此时，若令，则可以推出：(23)，因此得出结论一：是的线性组合。又由式（23）和总体回归模型可得，即，而其中(24)，而（25）所以原式(26)因此可以得出结论二：是的线性组合。由式（16）得，(22)，又因为式（23）可以得到(27)；若令，则式（27）可变为(28)。因此，可以得到结论三：是的线性组合。又由式（28）及总体回归模型可得，(29)，其中:.(30); （由于）(31)（由于）因此，式（29）可以推出，(32).因此可以得到结论四：是的线性组合。即式：(23)；(26)；(28)；(32)。可以证明最小二乘估计和具有线性特性。2.无偏性无偏性是指和的期望值分别等于总体参数和。即，。证明如下：对式(26)两边取期望得，(33),因此可以得到结论一：具有无偏性；同理，对式(32)两边取期望得，(34),因此可以得到结论二：具有无偏性。3最优性最优性是指最小二乘估计和在各种线性无偏估计中，具有最小方差。证明如下：假设是总体参数的一个线性无偏估计，而最小二乘估计只是的各种线性无偏估计中的一种，因此包含，即。由于具有线性特性，因此，这里，由于不一定等于，因此不一定成立。由于具有无偏性，所以对于的均值若保证具有无偏性，必有：(35)，.(36), 而对于的方差，则有.(37)又由于，而，因此式(37)可以推出.(38)由式（38）得，(39)式（39）中，第三项.(40)有因为必有：(35)，.(36)，所以，所以有：.(41),因此可以得出结论，在式（41）中，只有当时，也就是等于时，才具有最小方差。也