应用回归分析--第三章课后习题整理

3 13 1 即即y xy x yn y y 2 1 1 1 1 1 21 11 xn x x 2 22 12 xn x x xnp px px 2 1 p 1 0 n 2 1 基本假定基本假定 1 1 解释变量 解释变量x1 x2 xpx1 x2 xp是确定性变量 不是随机变量 且要求是确定性变量 不是随机变量 且要求 rank X p 1 n rank X p 1 n 表明设计矩阵表明设计矩阵X X中自变量列之间不相关 样本量的个中自变量列之间不相关 样本量的个 数应大于解释变量的个数数应大于解释变量的个数 2 2 随机误差项具有零均值和等方差 即高斯马尔柯夫条件随机误差项具有零均值和等方差 即高斯马尔柯夫条件 nE 2 1 0 0 cov 2 n 2 1 3 3 对于多元线性回归的正态分布假定条件的矩阵模型为对于多元线性回归的正态分布假定条件的矩阵模型为 N N 0 0 随即向量随即向量y N Xy N X nI 2 nI 2 3 23 2 当当存在时 回归参数的最小二乘估计为存在时 回归参数的最小二乘估计为 1 XX T YXXX TT1 要求出回归参数要求出回归参数 即要求 即要求是一个非奇异矩阵 是一个非奇异矩阵 所以 所以 XX T 0 XX T 可逆矩阵可逆矩阵为为p 1p 1阶的满秩矩阵 又根据两个矩阵乘积的秩不大于阶的满秩矩阵 又根据两个矩阵乘积的秩不大于XX T 每一因子的秩每一因子的秩rank X rank X p 1 p 1 而而X X为为n n p 1 p 1 阶矩阵 于是应有阶矩阵 于是应有n n p 1p 1 结论说明 要想用最小二乘法估计多元线性回归模型的未知参数 结论说明 要想用最小二乘法估计多元线性回归模型的未知参数 样本量样本量n n必须大于模型自变量必须大于模型自变量p p的个数 的个数 3 33 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 21 1 222 11 1 2 11 2 11 2 1 2222 22 phHtr pn pn h pn h pn eD pn eEeD pn eE pn eE pn SSE pn EE eneeyySSE n nn nnn nn n 注 3 43 4不不能断定这个方程一定很理想 因为样本决定系数与回归方程中能断定这个方程一定很理想 因为样本决定系数与回归方程中 自变量的数目以及样本量自变量的数目以及样本量n n有关 当样本量个数有关 当样本量个数n n太小 而自变量又太小 而自变量又 较多 使样本量与自变量的个数接近时 较多 使样本量与自变量的个数接近时 易接近易接近1 1 其中隐藏一些 其中隐藏一些 2 R 虚假成分 虚假成分 3 53 5当接受当接受H H 时 认定在给定的显著性水平时 认定在给定的显著性水平下 自变量下 自变量x1 x2 x1 x2 xpxp 0 对因变量对因变量y y无显著影响 于是通过无显著影响 于是通过x1 x2 x1 x2 xpxp去推断去推断y y也就无多大意也就无多大意 义 在这种情况下 一方面可能这个问题本来应该用非线性模型去义 在这种情况下 一方面可能这个问题本来应该用非线性模型去 描述 而误用了线性模型 使得自变量对因变量无显著影响 另一描述 而误用了线性模型 使得自变量对因变量无显著影响 另一 方面可能是在考虑自变量时 把影响因变量方面可能是在考虑自变量时 把影响因变量y y的自变量漏掉了 可以的自变量漏掉了 可以 重新考虑建模问题 重新考虑建模问题 当拒绝当拒绝H H 时 我们也不能过于相信这个检验 认为这个回归模型时 我们也不能过于相信这个检验 认为这个回归模型 0 已经完美了 当拒绝已经完美了 当拒绝H H 时 我们只能认为这个模型在一定程度上说时 我们只能认为这个模型在一定程度上说 0 明了自变量明了自变量x1 x2 x1 x2 xpxp与自变量与自变量y y的线性关系 这时仍不能排除排除的线性关系 这时仍不能排除排除 我们漏掉了一些重要的自变量 我们漏掉了一些重要的自变量 3 63 6中心化经验回归方程的常数项为中心化经验回归方程的常数项为0 0 回归方程只包含 回归方程只包含p p个参数估计个参数估计 值值比一般的经验回归方程减少了一个未知参数 在变量较比一般的经验回归方程减少了一个未知参数 在变量较p 21 多时 减少一个未知参数 计算的工作量会减少许多 对手工计算多时 减少一个未知参数 计算的工作量会减少许多 对手工计算 尤为重要 尤为重要 在用多元线性回归方程描述某种经济现象时 由于自变量所用的在用多元线性回归方程描述某种经济现象时 由于自变量所用的 单位大都不同 数据的大小差异也往往很大 这就不利于在同一标单位大都不同 数据的大小差异也往往很大 这就不利于在同一标 准上进行比较 为了消除量纲不同和数量级的差异带来的影响 就准上进行比较 为了消除量纲不同和数量级的差异带来的影响 就 需要将样本数据标准化处理 然后用最小二乘法估计未知参数 求需要将样本数据标准化处理 然后用最小二乘法估计未知参数 求 得标准化回归系数 得标准化回归系数 3 73 7 对对进行中心化处理得进行中心化处理得ppxxxy 22110 再将等式除以因变量的样再将等式除以因变量的样 222111pppxxxxxxyy 本标准差本标准差则有则有 yyL y 22 2 11 1 pp yy p yyyyyy xx L xx L xx LL yy pp pp yy ppp yyyyL xx L L L xx L L L xx L L 22 22222 11 11111 2211ppxxx 所以所以 j pj L L yy jjj 2 1 3 83 8 为为相关阵 相关阵 第第i i行 第行 第j j列的代数余子式 列的代数余子式 ij ij r pp 2211 12 3 12 r 1 1 1 1 1 1 1 1 13 31 22 23 32 11 23 31 21 21 r r r r r r r 1 1 22 1323 312321 rr rrr 3 93 9 F F j 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 yj yj yj yj j j j j j j j jjj j r r pn r rpn SSESSE SSE SSE SSE pn SSE SSE SSE SSE pn SSE SSE pn SSE SSR pn pn SSE SSR 小于小于1 1 F F 与与一一对应 所以一一对应 所以F F 与与等价等价 2 yj rj 2 yj rj 2 yj r 3 103 10 p pn SSE pn p SSR SSE pn p SSR ppnF F 11 1 1 2 1 1 1 R SST SSR SST SSE SSE SSR SSE SSESSR SSE SSR SSE SSR p pn SSE SSR p pn 证得证得 ppnF F R 1 2 3 113 11 1 1 相关性相关性 yx1x2x3 Pearson 相关性 1 556 731 724 显著性 双侧 095 016 018 y N10101010 Pearson 相关性 5561 113 398 显著性 双侧 095 756 254 x1 N10101010 Pearson 相关性 731 1131 547 显著性 双侧 016 756 101 x2 N10101010 Pearson 相关性 724 398 5471 显著性 双侧 018 254 101 x3 N10101010 在 0 05 水平 双侧 上显著相关 2 2 3 3 4 4 5 5 6 6 模型汇总模型汇总 模型 R R 方调整 R 方 标准 估计的误 差 1 898a 806 70823 44188 a 预测变量 常量 x3 x1 x2 AnovaAnovab b 模型平方和 df 均方 FSig 回归 13655 37034551 7908 283 015a 残差 3297 1306549 522 1 总计 16952 5009 a 预测变量 常量 x3 x1 x2 b 因变量 y 系数系数a a 非标准化系数标准系数 模型 B 标准 误差试用版 tSig 常量 348 280176 459 1 974 096 x13 7541 933 3851 942 100 x27 1012 880 5352 465 049 1 x312 44710 569 2771 178 284 a 因变量 y 1回归方程为回归方程为 y 348 280 3 754x1 7 101x2 12 447x3 2复相关系数复相关系数R 0 898 决定系数为 决定系数为0 806 拟合度较高 拟合度较高 3方差分析表 方差分析表 F 8 283 P值值 0 015 0 05 表明回归方程高度显著 说明 表明回归方程高度显著 说明x1 x2 x3 整体上对整体上对 y有高度显著的线性影响有高度显著的线性影响 4回归系数的显著性检验回归系数的显著性检验x1工业总产值的工业总产值的P值值 0 100 X2农业总产值的农业总产值的P值值 0 049 X3居民非产品支出的居民非产品支出的P值值 0 284 在在0 1的显著性水平上 的显著性水平上 x3未通过检验 应将其剔除掉未通过检验 应将其剔除掉 输入 移去的变量输入 移去的变量b b 模型输入的变量移去的变量方法 1x2 x1a 输入 a 已输入所有请求的变量 b 因变量 y 模型汇总模型汇总 模型 R R 方调整 R 方 标准 估计的误 差 1 872a 761 69224 08112 a 预测变量 常量 x2 x1 AnovaAnovab b 模型平方和 df 均方 FSig 回归 12893 19926446 60011 117 007a 残差 4059 3017579 900 1 总计 16952 5009 a 预测变量 常量 x2 x1 b 因变量 y 系数系数a a 非标准化系数标准系数 模型 B 标准 误差试用版 tSig 常量 459 624153 058 3 003 020 x14 6761 816 4792 575 037 1 x28 9712 468 6763 634 008 系数系数a a 模型 非标准化系数标准系数 tSig B 标准 误差试用版 1 常量 459 624153 058 3 003 020 x14 6761 816 4792 575 037 x28 9712 468 6763 634 008 a 因变量 y 1回归方程为回归方程为 y 459 624 4 676x1 8 971x2 2复相关系数复相关系数R 0 872 决定系数为 决定系数为0 761 由决定系数看回归方程接近高度相关 由决定系数看回归方程接近高度相关 3方差分析表 方差分析表 F 11 117 P值值 0 007 表明回归方程高度显著说明 表明回归方程高度显著说明x1 x2 整体上对整体上对y有高度有高度 显著的线性影响显著的线性影响 4回归系数的显著性检验回归系数的显著性检验x1工业总产值的工业总产值的P值值 0 037 X2农业总产值的农业总产值的P值值 0 008 在在0 05的显著性水平上的显著性水平上 自变量自变量x1 x2对对y均有显著影响均有显著影响 7 系数系数a a 非标准化系数标准系数B 的 95 0 置信区间 模型 B 标准 误差试用版 tSig 下限上限 常量 459 624153 058 3 003 020 821 547 97 700 x14 6761 816 4792 575 037 3818 970 1 x28 9712 468 6763 634 0083 13414 808 a 因变量 y 8 标准化回归方程标准化回归方程y 0 479x1 0 676x2 9 把把x01 75 x02 42带入带入y 459 624 4 676x1 8 971x2得得 y 267 86 y置信水平置信水平95 的区间估计为 的区间估计为 211 09492 324 57506 y置信水平置信水平95 的近似区间估计为 的近似区间估计为 219 6978 316 0222 E y 置信水平置信水平95 的区间估计为的区间估计为 245 00541 290 66457 10 由于由于X3的回归系数显著性检验未通过 所以居民非商品支出的回归系数显著性检验未通过 所以居民非商品支出 对货运总量影响不大 但是回归方程整体对数据拟合较好 对货运总量影响不大 但是回归方程整体对数据拟合较好 3 123 12 输入 移去的变量输入 移去的变量b b 模型输入的变量移去的变量方法 1x2 x1a 输入 a 已输入所有请求的变量 b 因变量 y 模型汇总模型汇总 模型 R R 方调整 R 方 标准 估计的误 差 11 000a 999 9991189 51547 a 预测变量 常量 x2 x1 AnovaAnovab b 模型平方和 df 均方 FSig 回归 1 809E1029 046E96393 516 000a 残差 16979364 566121414947 047 1 总计 1 811E1014 a 预测变量 常量 x2 x1 b 因变量 y 系数系数a a 非标准化系数标准系数共线性统计量 模型 B 标准 误差试用版 tSig 容差 VIF 常量 2914 6461337 4662 179 050 x1 607 299 0812 034 065 05020 196 1 x21 709 074 921