《多元线性回归》PPT课件.ppt

1、,第三章 多元线性回归模型 问题的提出,现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。例如，产出往往受各种投入要素资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。 所以在一元线性模型的基础上，提出多元线性模型解释变量个数=2,第一节 多元线性回归模型的距阵表示,Yi = bo + b1 X1 i + b2 X2 i + + bj Xj i + bk Xk i + ui 取 n 个观察值，i = 1,2, , n，得 n 个方程 Y1 = bo + b1 X1 1 + b2 X21 + + bj Xj 1 + bk Xk1 + u1 Y2

2、= bo + b1 X1 2 + b2 X2 2 + + bj Xj 2 + bk Xk 2 + u2 Yn = bo + b1 X1 n + b2 X2 n + + bj Xj n + bk Xk n + un, ,一、多元线性回归模型的表示,二、二元线性模型的最小二乘估计,三、多元线性回归模型的距阵表示,Y：n 阶因变量观察值向量； X：n ( k + 1 ) 阶解释变量观察值距阵； U：n 阶随机项向量； B：( k + 1 ) 阶总体参数向量。,四、多元线性模型正规方程的距阵表示,五、多元线性模型最小二乘法的距阵表示,对上述方程两边同乘观察值距阵 X 的转置距阵,第二节 最小二乘估计量

3、的统计性质,一、线性性 线性特性是指估计式 bi 是Yi 的线性函数。,二、无偏性 无偏性指估计量 bi 的均值等于总体回归参数bi,E(bi ) = bi,三、最小方差性 最小方差性是指估计量 bi 具有最小方差的性质， 又叫有效性。,一个估计量如果它是线性的，同时又是有效的（即无偏的， 又具有最小方差）那它就是最佳线性无偏估计量,第三节 多元线性模型的统计检验 一、拟合优度检验,TSS = (Yi - Y)2 = (Yi2 - 2 Y Yi + Y 2 ) = Yi2 - nY 2 = YY - nY 2 ESS = (Yi - Y)2 - e2 = (YY - nY 2 ) - (YY

4、- BXY) = BXY - n Y 2,R2,校正样本决定系数： R2 = 1 - ( 1 - R2 ) ,（n - 1) (n - k -1),二、相关系数检验,样本决定系数与样本相关系数是两个不同的概念。样本决 定系数是对变量 Y 与 X 作回归分析得出的，它是判定回归方程与样本观察值拟合优度的一个数量指标。 样本相关系数是对变量 Y 与 X 作相关分析得出的，它是判定 Y 与 X 线性相关密切程度的一个数量指标。 样本决定系数与样本相关系数在计算上是一致的。,-1 r +1,三、偏相关系数,在多元线性回归中，两个变量之间的相关程度总要受到其 它变量的影响。 举一个投入产出的例子：令 Y

5、 代表产出， X1 代表资金的 投入，X2 代表劳动力投入。 研究产出 Y 与资金投入 X1 之间 的关系。一方面资金投入 X1 的增加会引起产出 Y 的增加；另 一方面劳动力投入 X2 增加不但影响着 Y 而且也影响着 X1 的 增加。如果研究 Y 与 X1 的相关系数（简单相关系数），而不 考虑 X2 对它们的影响，那么这种相关系数并未反映出 Y 与 X1 之间的真实相关，必须清除 X2 对它们的影响。 考虑多个变量 Y, X1, X2, ., Xk 之间的关系。如果只考虑 Y 与 X1（i =1, 2,k）之间的关系，而清除其它变量（全部或 其中一部分）对它们的影响（固定其它变量不变），

6、这种相关 叫偏相关。,衡量偏相关程度用偏相关系数表示： ryx1 x2 为 1 阶偏相关系数，即清除了X2 的影响后 Y 与 X1 之间的相关系数， ryx1 x2 x3 为 2 阶偏相关系数，即清除了X2与 X3的影响后 Y 与 X1 之间的相关系数， ryx1 x2 xk 为 (k-1) 阶偏相关系数，即清除了 X2 X3 的影响 后 Y 与 X1 之间的相关系数，,四、总体回归方程的显著性检验（F检验）,H0：b0= b1 = = bk= 0； H1: bi 不全为 0；,离差名称,平方和,自由度,回归平方和,剩余平方和,总体平方和,k,n - k -1,n -1,k - 自变量的个数

7、n - 样本个数,五、估计参数的显著性检验（t 检验）,t 检验是检验自变量 Xi 对因变量 Y 线性作用是否 显著的一种统计检验。,H0：bi = 0； H1: bi 0；,=,t ( n - k -1 ),S(bi),T,bi,比较|T | 与 ta的大小,2,|T | ta 接受 H0,2,|T | ta 拒绝 H0,2,建模过程中应注意的问题,(2) 依照经济理论以及对具体经济问题的深入分析初步确定解释变量。 例：我国粮食产量 = f（耕地面积、农机总动力、施用化肥量、农业人口等）。但根据我国目前情况，“耕地面积”不是“粮食产量”的重要解释变量。粮食产量的提高主要来自科技含量的提高。

8、例：关于某市的食用油消费量，文革前常驻人口肯定是重要解释变量。现在则不同，消费水平是重要解释变量，因为食用油供应方式已改变。,(3) 当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。 例：“农业人口”要区别是“从事农业劳动的人口”还是相对于城市人口的“农业人口”。 例：2002年起我国将执行新的规定划分三次产业。即将农、林、牧、副、渔服务业从原第三产业划归第一产业。,(5) 改变变量的测量单位可能会引起回归系数值的改变，但不会影响t值。 (6) 回归模型给出估计结果后，首先应进行F检验。F检验是对模型整体回归显著性的检验。 (检验一次，H0: 1= 2 = = k-1 = 0;

9、H1: j不全为零。)若F检验结果能拒绝原假设，应进一步作t检验（检验k次，H 0：j = 0, (j = 1, 2, , k-1)，H 1：j 0）。t检验是对单个解释变量的回归显著性的检验。若回归系数估计值未通过t检验，则相应解释变量应从模型中剔除。剔除该解释变量后应重新回归。按经济理论选择的变量剔出时要慎重。,(7) 回归模型的估计结果应与经济理论或常识相一致。如边际消费倾向估计结果为1.5，则模型很难被接受。（产出对劳动力的弹性为负值！） (8) 残差项应非自相关（用DW检验，亦可判断虚假回归）。否则说明仍有重要解释变量被遗漏在模型之外。选用的模型形式不妥。 (9) 通过对变量取对数消除异方差。 (10) 避免多重共线性。 (11) 解释变量应具有外生性，与误差项不相关。 (12) 应具有高度概括性。若模型的各种检验及预测能力大致相同，应选择解释变量较少的一个。 (13) 模型的结构稳定性要强，超样本特性要好。 (14) 世界是变化的，应该随时间的推移及时修改模型,五、样本容量问题,所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。, 最小样本容量,样本最小容量必须不少于模型中解释变量的数目（包括