《多元线性回归》PPT课件.ppt

,4.5 多重共线性及其处理 4.5.1 多重共线性及其识别 4.5.2 变量选择与逐步回归,第四章多元线性回归,4.5.1 多重共线性及其识别,4.5 多重共线性及其处理,August 2, 2010,多重共线性 (multicollinearity),回归模型中两个或两个以上的自变量彼此相关 多重共线性带来的问题有 可能会使回归的结果造成混乱，甚至会把分析引入歧途 可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反,August 2, 2010,多重共线性的识别,检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验 若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性 如果出现下列情况，暗示存在多重共线性 模型中各对自变量之间显著相关 当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著 回归系数的正负号与预期的相反,August 2, 2010,多重共线性的处理,将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关 如果要在模型中保留所有的自变量，则应 避免根据 t 统计量对单个参数进行检验 对因变量值的推断(估计或预测)的限定在自变量样本值的范围内,August 2, 2010,提 示,在建立多元线性回归模型时，不要试图引入更多的自变量，除非确实有必要 在社会科学的研究中，由于所使用的大多数数据都是非试验性质的，因此，在某些情况下，得到的结果往往并不令人满意，但这不一定是选择的模型不合适，而是数据的质量不好，或者是由于引入的自变量不合适,August 2, 2010,奥克姆剃刀 (Occams Razor),模型选择可遵循奥克姆剃刀的基本原理 最好的科学模型往往最简单，且能解释所观察到的实事 对于线性模型来说，奥克姆剃刀可表示成简约原则 一个模型应包括拟合数据所必需的最少变量 如果一个模型只包含数据拟合所必需的变量，这个模型就称为简约模型(parsimonious model) 实际中的许多多元回归模型都是对简约模型的扩展,4.5.2 变量选择与逐步回归,4.5 多重共线性及其处理,August 2, 2010,变量选择过程,在建立回归模型时，对自变量进行筛选 选择自变量的原则是对统计量进行显著性检验 将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和有显著地减少。如果增加一个自变量使的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型 确定引入自变量是否使残差平方和有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量 变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等,August 2, 2010,向前选择 (forward selection),从模型中没有自变量开始 对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型 分别拟合引入模型外的k-1个自变量的线性回归模型 如此反复进行，直至模型外的自变量均无统计显著性为止,August 2, 2010,向后剔除 (backward elimination),先对因变量拟合包括所有k个自变量的回归模型。然后考察p(pk)个去掉一个自变量的模型(这些模型中在每一个都有的k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除 考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个的自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除 如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止,August 2, 2010,逐步回归 (stepwise regression),将向前选择和向后剔除两种方法结合起来筛选自变量 在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除 按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少 在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中,August 2, 2010,参数的最小二乘法 (逐步回归),【例】根据例1的数据，用逐步回归方法建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并求出不良贷款的置信区间和预测区间,August 2, 2010,用SPSS进行逐步回归 (stepwise regression),第1步：选择【Analyze】下拉菜单，并选择 【Regression - linear】选项进入主对话框 第2步：在主对话框中将因变量选入【Dependent】，将 所有自变量选入【Independent(s)】，并在 【Method】下选择【Stepwise】 第3步：点击【Options】，并在【Stepping Method Criteria】下选中【Use Probability of F】，并在 【Entry】框中输入增加变量所要求的显著性水平 (隐含值为0.05，一般不用改变)；在 【Removal】输入剔除变量所要求的显著性水平 (隐含值为0.10，一般不用改变)。点击 【Continue】回到主对话框,August 2, 2010,用SPSS进行逐步回归 (stepwise regression),第4步：(需要预测时)点击【Save】： 在【Predicted Values】下选中 【Unstandardized】(输出点预测值) 在【Prediction interval】下选中【Mean】和 【Individual】(输出置信区间 和预测区间) 在【Confidence Interval】中选择所要求的置 信水平(隐含值为95%，一般不用改变) (需要残差分析时)在【Residuals】下选中所 需的残差，点击【Continue】回到主对话 框。点击【OK】, 用SPSS进行回归,August 2, 2010,逐步回归 (例题分析SPSS输出结果),变量的进入和移出标准,August 2, 2010,逐步回归 (例题分析SPSS输出结果),两个模型的主要统计量,August 2, 2010,逐步回归 (例题分析SPSS输出结果),两个模型的方差分析表,August 2, 2010,逐步回归 (例题分析SPSS输出结果),两个模型的参数估计和检验,9.5 虚拟自变量的回归,第 9 章 多元线性回归,4.5.1 在模型中引进虚拟变量,4.5 虚拟自变量的回归,August 2, 2010,虚拟自变量 (dummy variable),也称哑变量。用数字代码表示的定性自变量 虚拟自变量可有不同的水平 只有两个水平的虚拟自变量 比如，性别(男，女) 有两个以上水平的虚拟自变量 贷款企业的类型(家电，医药，其他) 虚拟变量的取值为0，1,August 2, 2010,在回归中引进虚拟变量,回归模型中使用虚拟自变量时，称为虚拟自变量的回归 当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量 比如，性别(男，女) 一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个虚拟变量,August 2, 2010,例2: 血压与年龄、体重指数、吸烟习惯,体重指数 = 体重(kg) / 身高(m) 的平方,吸烟习惯: 0表示不吸烟，1表示吸烟,建立血压与年龄、体重指数、吸烟习惯之间的回归模型,August 2, 2010,模型建立,血压y，年龄x1，体重指数x2，吸烟习惯x3,线性回归模型,回归系数0, 1, 2, 3 由数据估计, 是随机误差,August 2, 2010,模型求解,August 2, 2010,例3 软件开发人员的薪金,资历 从事专业工作的年数；管理 1=管理人员，0=非管理人员；教育 1=中学，2=大学，3=更高程度,建立模型研究薪金与资历、管理责任、教育程度的关系,分析人事策略的合理性，作为新聘用人员薪金的参考,August 2, 2010,