第13章多元线性回归

第 13章 多元线性回归n 多元线性回归模型（对总体而言）n 为未知参数， 为随机误差项，反映其它未列入回归模型的变量对因变量的影响。n Y， X均为为列向量n 关于多元线性回归模型的标准假设：n 1. ，可推知，该方程称为回归方程。n 2. 对于所有的 X，误差项 的方差 一样：即同方差假定。n 3.误差项 独立。 其协方差为零，n 4.自变量是给定的变量，与误差项线性无关。n 5.误差项 服从正态分布，从而说明 Y服从正态分布n 对于总体的多元线性回归模型，由于总体参数未知，我们只能利用样本数据进行估计，得到样本回归模型（对样本而言）。n 分别为 的估计。 n 其中真实值与估计值之间的差距用 e来表示：n 是 y的一个估计值。n 其中，多元回归模型的估计n 最小二乘法：残差最小化，即令 最小n 数据n 估计的方程：n 我们用矩阵的形式来表述以上模型n 求估计值 Bn 令 最小n 为了指定最佳工作计划表， Butler运输公司的管理人员希望估计其司机每天行驶的时间。起初，管理人员认为行驶时间 y与行驶的英里数 x1关系密切。因此收集 10项运输任务的样本数据，利用 excel统计分析，输出结果为：SUMMARY OUTPUT回 归统计Multiple R 0.81490571R Square 0.66407131Adjusted R Square 0.62208023Standard error 1.00179187Obs 10Coefficients stdev t Stat P-valueIntercept 1.27391304 1.400745 0.909454 0.389687X Variable 1 0.06782609 0.017056 3.976755 0.00408ANOVA df SS MS F PRegression 1 15.8713 15.8713 15.81458 0.0041Error 8 8.028696 1.003587Total 9 23.9 n 发现模型的拟合度较低，希望追加另一个变量以解释变差中的剩余部分。追加的第二个变量是运货次数 x2。n 通过 excel统计分析，我们来看看，增加的变量是否有助于提高模型的解释度。SUMMARY OUTPUT回 归统计Multiple R 0.950678R Square 0.903789Adjusted R Square 0.8763Standard Error 0.573142Obs 10Coefficients stdev t Stat P-valueIntercept -0.8687 0.951548 -0.91294 0.391634X Variable 1 0.061135 0.009888 6.182397 0.000453X Variable 2 0.923425 0.221113 4.176251 0.004157ANOVA df SS MS F PRegression 2 21.60056 10.80028 32.87837 0.000276Error 7 2.299443 0.328492Total 9 23.9 回归系数的解释n 在多元回归情形下，回归系数的解释：当所有其它自变量均保持不变时， bi是因变量对应于自变量 xi改变一个单位时，所作的改变的估计值。n 多元判定系数n SST=SSR+SSE 当增加自变量个数后， SSE会减小， SSR会增大。需要调整。模型的显著性检验n 1. 整体显著性检验 (test for overall significance)n 原理： MSE给出了随机误差项方差的一个无偏估计量。如果 H0： 成立，则有： MSR=SSR/(p+1-1)也为误差项方差的一个无偏估计，且 MSR和 MSE的值将很接近。否则， MSR将高估误差项方差，从而使 MSR和 MSE的比值较大。n F检验：n 提出假设： H0:n Ha:至少有一个参数不等于 0.n 检验的统计量： F=MSR/MSEn 拒绝法则：若 F 则拒绝 H0。n 我们对 Butler运输公司的模型进行 F检验：n H0:Ha:参数至少有一个不等于 0.在 H0为真的前提下，统计量 F=MSR/MSE=32.9,F统计量服从自由度为 (2,7)的 F分布。查表得，F9.55，则拒绝 H0。（由 P值也同样可以判断）n 方差分析表：表中的 k表示待估参数个数。方差来源 平方和 自由度 均方(mean square)F统计量回 归 方程 SSR k-1 MSR=SSR/(k-1)MSR/MSE误 差 SSE n-k MSE=SSE/(n-k)合 计 SST n-1方差来源 平方和 自由度 均方(mean square)F统计量回 归 方程 21.601 2 10.800 32.88误 差 2.299 7 0.328合 计 23.900 9Butler运输公司的 ANOVA表n 2. 单个参数显著性的 t检验：n 与一元回归模型一样，模型估计的参数 n 服从正态分布 n 构造统计量：n 由于总体方差未知，我们同样用 MSE来近似替代总体方差n 此时的统计量用 t替代： T分布的构造特点： X1,X2独立， X1服从标准正态分布， X2服从自由度为 n的卡方分布，X1/sqrt(x2/n)服从 t分布n 这里有 :n X1=n X2=n T分布的构造特点为 :X1/sqrt(x2/自由度 )n 检验的假设为：n H0: ； Ha: n 在 H0为真的前提下，有检验统计量n 服从自由度为 (n-k)的 t分布。n 拒绝法则：n 若 |t|t(a/2,n-k)，则拒绝 H0n 由软件统计结果得到，n 对 H0: 的检验，计算得到的 t统计量为 6.18，比较 t(0.005,7)， 6.183.499，拒绝 H0，认为 统计上显著性。n 同理对 做显著性检验，得到相同的结果。Coefficients stdev t Stat P-valueIntercept -0.8687 0.951548 -0.91294 0.391634X Variable 1 0.061135 0.009888 6.182397 0.000453X Variable 2 0.923425 0.221113 4.176251 0.004157n 3. 多重共线性n 多重共线性指：自变量之间存在相关关系。n 多重共线性带来的问题：n (1)系数估计可能有符号错误或估计不出来n (2)尽管回归关系的总显著性很强，但参数估计可能有较大的标准差，单个参数检验的显著性水平较低。不能通过检验。n (3)数据很小的变化会导致参数估计的很大变化。n 检验多重共线性：n 对于有两个自变量的情形，当他们的样本相关系数大于 0.7或小于 -0.7时，将有可能产生多重共线性。n 克服多重共线性：合并有相关关系的自变量多元回归模型的估计和预测n 1.E(y)的点估计量和 y的预测值n 将自变量 的值代入估计方程，并利用相对应的值作为 y的点估计。n Bulter的例子：问当行驶里程为 100英里，运货次数为 20次时，汽车行驶时间的点估计。n 2. E(y)的区间估计及 y的预测区间x1 x2 y均 值 的 95置信区 间 个 别值 y的 95%置信区 间50 2 3.146 4.924 2.414 5.656 50 3 4.127 5.789 3.368 6.548 50 4 4.815 6.948 4.157 7.607 100 2 6.258 7.926 5.500 8.683 100 3 7.385 8.645 6.520 9.510 100 4 8.135 9.742 7.362 10.515 质量型自变量（虚拟变量）n 例 :某公司向客户提供水过滤的维修保养服务。为了估计服务时间和成本，该公司希望对客户的每一次维修请求都做维修时间预测。维修时间 y依赖于两个因素： 1.前次维修至今已使用的月数 x1； 2.需维修的故障类型 x2(机械型或电子型 ),其中 x2是质量型自变量，取值为： 0代表机械类； 1代表电子类。SUMMARY OUTPUT回 归统计Multiple R 0.730874R Square 0.534177Adjusted R Square 0.475949Standard error 0.781022Obs 10ANOVA df SS MS F PSSR 1 5.596033 5.5