最小二乘法原理

1、三、最小二乘法 最小二乘法是根据最小二乘准则，利用样本数据估计回归方程的一种方法。 （一）残差 设 是被解释变量的第 次样本观测值， 是相应的第 次样本估计值。将 与 之间的偏差记作 称 为第 次样本观测值的残差。 （二）最小二乘准则 使全部样本观测值的残差平方和达到最小，即 来确定未知参数 估计量的准则，称为最小二乘准则。 （三）最小二乘估计量 未知参数 的最小二乘估计量 的计算公式为 最小二乘估计量的推导 设残差平方和 其中 它是 阶残差列向量。 为了得到最小二乘估计量 ，我们对上式进行极小化 移项后，得正规方程组 根据基本假定5.， 存在，用 左乘正规方程组两边，得 的最小二乘估计量 式

2、 （四） 的无偏估计量 随机误差项 的方差 的无偏估计量为 称作回归估计的均方误差，而 称作回归估计的标准误差。 （五） 的方差 其中， ，于是每个 的方差为 ，而 是矩阵 对角线上对应的第 个元素， 。 （六） 方差的估计量 方差的估计量为 则每个 方差的估计量为 ， 标准差的估计量为 ， 四、拟合优度检验 拟合优度检验是样本回归方程 对样本观测值 拟合程度的检验。 （一）总离差平方和的分解公式 其中 总离差平方和， 回归平方和， 残差平方和。于是，可以将平方和的分解公式写成离差形式 （二）多元样本决定系数 1.多元样本决定系数 所谓多元样本决定系数 ，也称多元样本判定系数或多元样本可决系数

3、，是指被解释变量 中的变异性能被样本回归方程解释的比例，即 2. 修正的样本决定系数 与 有如下关系： 在样本容量一定的情形下，可以看出 有性质： (1) ， ； （2） 可能出现负值。例如， ， ， 时， 。显然负的拟合优度没有任何意义，在这种情形时，我们取 。 （三）三个平方和的计算公式 于是有 因为 ，所以 。 作为度量回归值 对样本观测值 拟合优度的指标，显然 的数值越大越好。 的数值越接近于1，表示 中的变异性能被估计的回归方程解释的部分越多，估计的回归方程对样本观测值就拟合的越好；反之， 的数值越接近于0，表示 中的变异性能被估计的回归方程解释的部分越少，估计的回归方程对样本观测值

4、就拟合的越差。五、 检验 检验是对回归方程总体显著性的检验，就是从总体上检验解释变量 对被解释变量 是否有显著影响的一种统计检验方法。 ： ； ：至少有一个 不等于零。 检验的统计量 否定规则 如果检验的统计量 ，则否定 ，即认为在 显著性水平下，被解释变量 与解释变量 之间存在显著的线性关系；否则，不否定 。这里 是 水平的分子自由度为 ，分母自由度为 的 分布的上侧分位数。六、 检验 检验是对线性回归模型的系数进行显著性检验，也就是说是检验模型的每个解释变量 是否对被解释变量 有影响显著的一种统计检验方法。 ： ： ， 检验的统计量 其中， 是 标准差的估计量，而 是矩阵 对角线上对应的第

5、 个元素， 。 否定规则 如果 或者 ，则否定 ，即认为在 显著性水平下，第 个解释变量 对被解释变量 存在显著的影响；否则，不否定 。这里 是 水平的自由度为 的 分布的双侧分位数。七、预测 多元线性回归分析的一个重要应用是利用样本回归方程进行预测。预测分为点预测和区间预测两种情形。 （一）点预测 点预测就是对于给定的解释变量 的一组特定值 估计对应的被解释变量 的值。假设利用最小二乘法建立的样本回归方程为 其中 ， 将 代入样本回归方程中，得 就是被解释变量 的点预测值或点估计值。 （二）区间预测 在实际应用中，人们不仅关心被解释变量 的估计值，而且希望得到一个以相当大的概率包含 真值的区

6、间。这个区间就是数理统计中的置信区间，我们称为预测区间或估计区间。 的置信度为 预测区间为 ， 其中， 是预测误差 标准差的估计量， 是回归估计标准误差， 是自由度为 ，水平为 的 分布的双侧分位数。 的置信度为 预测区间的推导 对于给定的解释变量 的一组特定值 根据多元线性回归模型，有 其中， 。根据估计的样本回归模型，有 其中， 若将 看作是 的个别值 的点估计值时，它们的预测误差记为 因为 = 所以， 是 的个别值 的无偏估计量。 接着我们考察 的方差。因为 与 有关，而 只与 有关，所以根据随机误差项彼此之间不相关的基本假定 3.， 与 也不相关。于是有 = = 因为 ， = ，所以

7、= = 于是， 方差的估计量为 因为 和 都服从正态分布，因此 也服从正态分布，即 所以有 由于 是未知的，我们用它的无偏估计量 代替，则由概率统计知识有 对于预先给定的显著性水平 ，可从 分布表中查出自由度为 ，水平为 的双侧分位数 ，使 即 或者 于是有 最后，得 的置信度为 预测区间 式 ， 即 ， 八、案例分析 例8.12 我国19881998年的城镇居民人均全年耐用消费品支出、人均全年可支配收入和耐用消费品价格指数的统计资料如下表所示。试建立城镇居民人均全年耐用消费品支出 关于可支配收入 和耐用消费品价格指数 的回归模型，并进行回归分析。表8.8 我国19881998年间城镇居民人均

8、全年耐用消费品支出、人均全年可支配收入和耐用消费品价格指数的统计资料年 份人均耐用消费品支出 (元)人均全年可支配收入 (元)耐用消费品价格指 (1987年=100)1988137.161181.4115.961989124.561375.7133.351990107.911510.2128.211991102.961700.6124.851992125.242026.6122.491993162.452577.4129.861994217.433496.2139.521995253.424283.0140.441996251.074838.9139.121997285.855160.3133

9、.351998 327.265425.1126.39 资料来源：中国统计年鉴 解 根据经济理论和对实际情况的分析可以知道，城镇居民人均全年耐用消费品支出 依赖于可支配收入 和耐用消费品价格指数 的变化，因此我们设定回归模型为 1. 估计模型未知参数 由原始数据，计算得 ， ， ， ， ， ， ， ， 将上述计算结果代入公式 ，得 即 ， ， 。最后，得估计的回归方程 接着，计算残差平方和 = 所以 的无偏估计量为 从而得到回归估计标准误差为 2. 经济意义检验 ，表示城镇居民全年人均耐用消费品支出是随着可支配收入的增长而增加，并且介于0和1之间，因此该回归系数的符号、大小都与经济理论和人们的经验期