《管理统计学》第十章.pptVIP

第十章第十章 回归分析回归分析 一元回归一元回归 多元回归多元回归 逐步回归逐步回归 1 会计系 王宏新 一元回归分析 二、回归的涵义 一、回归的起源 三、相关分析与回归分析的关系 四、回归分析的任务 五、回归分析的种类 2 一、回归的起源 英国统计学家FGaiton。研究父母身高与其 子女身高的遗传问题时，观察了1078对夫妇。 计算出的回归直线方程为： 解释了人类身高在一定时间内相对稳定的现象。 3 回归归：揭示出不确定数量关系的内在数量变变 化规规律，并通过过一定的表达式描述数量之间间的这这 种内在关系的方法。 不确定性的函数关系 二、回归的涵义 数据之间间的关系 函数 确定性的函数关系 回归方程 4 （1）相关分析的两个变量必须都是随机变量； 回归分析的因变量是随机变量。 （2）相关分析的两个变量是平等的；回归分析 的因变量是被解释变量。解释变量可以是刻度级 、顺序级、名义级的变量，不论是什么级别的数 据,都必须用数字(numeric)型的来表示。 （3）相关分析是揭示两个变量的密切程度，通 过相关系数；回归分析是揭示两个变量的 内在数量变化规律，通过回归方程。 三、相关分析与回归分析的关系 二者侧重的点和应用的面不同： 5 会计系 王宏新 四、回归分析的任务 （1）通过分析大量的样本数据，确定变更量之间 的数学表达式； （2）对确定的数学关系式的可信度进行统计检验 找出对某一特定变量影响较为显著的变量和不显著 的变量； （3）利用确定的数学关系式，根据自变量预测或 控制因变量的取值，并找出这种预测或控制的精确 度。 6 五、回归分析的种类 一元线性回归分析 多元线性回归分析 线性回归分析的种类 7 回归方程的显著性检验 一元线性回归分析 二、一元线性回归 一、一元线性回归模型的设定 三、回归系数的显著性检验 四、回归分析的置信区间 五、标准回归系数 回归效果的检验 回归系数 总体均值 方程的检验 一元线性回归的SPSS实现 8 高斯假设 一、一元线性回归模型的设定 1.总体回归模型： 2.样本回归模型： 总体回归直线： 样本回归直线： 即 9 高斯假设 (1) (2) (3) (4) (5) (6) 。 分布。正态性假设； 为随机变量； 等方差性假设，即所有随机误差都具有相同方差 随机扰动项协方差等于零， 相互独立。无序列相关假设； 服从 独立性假设或零均值假设； 10 回归方程的显著性检验F检验 ：回归方程不显著 ：回归方程显著 ：总离差平方和 ：剩余平方和/残差平方和 ：回归离差平方和 11 回归效果的检验判定相关系数检验 若全部观测值都落在回归直线上，则 若x完全无助于解释y的变动，则 判定相关系数越接近1，表明回归平方和占总离 差平方和的比例越大，用x的变动解释y值变动的 部分就越多，回归的效果就越好。 F检验检验 12 回归效果的检验F检验 式中： ：样本容量 ：自变量的个数 ：判定系数 13 回归系数的显著性检验T检验 成立,即 当时 显著异于0。 针对回归系数的统计量的显著性检验决定了相 应的变量能否作为解释变量进入回归方程。 14 总体均值的置信区间 用代替 可以得到统计量 15 回归系数的置信区间 给定一置信水平区间为 水平上的置信区间。 例，则 即 16 标准化即剔除自变量单位的影响，是指对变量 标准回归系数 进行如下处理： 转化为标准方程 于是原始方程 ， 式中： 17 SPSS的实现：Analyze菜单Regression项中 选择Linear命令。 18 SPSS的实现：Analyze菜单Regression项中 选择Linear命令。 * Method处下拉菜单 * WSL选项 * Statistics按钮 * Plots按钮 * Save按钮 * Options按钮 19 会计系 王宏新 Enter：强行进入法，即所选自变量全部进入模型。 Remove：强制剔除法，即建立回归方程时，根据设 定的条件从回归方程中剔除部分自变量。 Backward：向后剔除法，根据Option对话框中设定 的判据，先建立全模型，然后根据设置的判据，每 次剔除一个使方差分析中的F值最小的自变量，直到 回归方程中不再含有不符合判据的自变量为止。 Forward：向前选择法。 Stepwise：逐步进入法，根据Option对话框中设定的 判据及方差分析结果，选择符合判据的自变量与因 变量相关程度最高的进入回归方程。依据 Forward选入自变量，依据Backward 将模型中F值最小且符合剔除判据的变量剔除，重复 Method处下拉菜单，共有5个选项： 20 会计系 王宏新 WSL选项是存在异方差时，利用加权最小二 乘法替代普通最小二乘法估计回归模型参数。通 过WSL可以选定一个变量作为加权变量。 在实际问题中，如果无法自行确定权重变量， 可以用SPSS的权重估计来实现。 21 会计系 王宏新 Descriptives：输出自变量和因变量的均值、 标准差、相关系数矩阵及单侧检验概率。 Estimates：输出与回归系数相关统计量。有： 回归系数、回归系数的标准误差、标准回归系数、T 统计量和相应的相伴概率、各自变量的容忍度。 Confidence intervals：输出每一个非标准化回归系数 95%的可信区间。 Covariance matix：输出方程中各自变量间的相关系 数矩阵及各变量的协方差矩阵。 Model fit：输出判定系数、调整的判定系数、回归方 程的标准误差，F检验的ANOVA方差分析表。 R squared change：当回归方程中引入或剔除一个自 变量后，判定系数、F值产生的变化。 续 22 会计系 王宏新 Casewise diagnostics：输出标准化残差绝对值3的 样本数据点的相关信息，包括：标准化残差、观测值 预测值、最小(最大)预测值、残差、最小(最大)残差 以及它们的均值和标准差。 Outliers outside standard devistion：设置 奇异值的判据，默认3倍的标准差。 All case：输出所有样本数据有关残差值。 Part and partial correlation：输出方程中各自变量 与因变量之间的简单相关系数、偏相关系数与部分 相关系数。 Collinearity diagnostics：多重共线性分析，输出各 自变量的容限度、方差膨胀因子、最小容忍度、特 征值、条件指标及方差比例等。 Durbin-Watson：输出Durbin-watson检验值。 23 会计系 王宏新 24 Plots对话框用来检验残差序列的正态性、随 机性和是否存在异方差现象。 Produce all partial plots：输出每一个自变量残差相 对于因变量残差的散布图。 * ZPRED选项：标准化预测值。 * ZRESID选项：标准化残差。 * DRESID选项：剔除残差。 * ADJPRED选项：修正后预测值。 * SRESID选项：学生化残差。 * SDRESID选项：学生化剔除残差。 25 会计系 王宏新 26 Mahalanobis：保存Mahalanobis距离 Cooks：保存Cook距离 Leverage values：保存中心点杠杆值 Individual：保存一个观测量上限与下限的预测 区间。 Studentized：学生化残差 Deleted：剔除残差 Studentized deleted：学生剔除残差 DfBeta(s)：因排除一个特定的观察值所引起的 回归系数的变化。若该值2，则被排除的观 测值有可能是影响点。 DfFit：因排除一个特定的观测值所 引起的观测值的变化。 27 会计系 王宏新 Use probalitlity of F：以回归系数显著性检验中 各自变量的F统计量的相伴概率作为自变量是否引 入模型或者从模型中剔除的标准。实际应用中，应 使Entry值小于Remove值，否则，自变量一进入方 程就会被立即剔除。 Use F value：以回归系数显著性检验中的各自 变量的F统计量作为自变量进入模型或者从模型中 剔除的标准。 Include constant in equationF：表示回归方程 中将包含常数项。 28 会计系 王宏新 29 30 31 多元线性回归分析 一个被解释变量(因变量)， 的线性模型， 多个解释变量(自变量) 多元回归的高斯假设 多元回归的种类 全部强行进入回归：所有 自变量全部进入回归模型 逐步回归：所有的自变量 依次进入回归模型 32 或者 多元回归的高斯假设 (1) 为随机向量 (2) (3) (4) 包括 (5) 为确定矩阵 (6)秩 (7)行列式远离零。 33 逐步回归 第一种方法 第二种方法 第三种方法 34 的显著性概率应当满足：统计量的值 第一种方法 最大的 统计量 在考虑对已知的一群变量回归时， 从变量中，逐步选出对已解释变差的贡献 (即偏解释变差)最大的变量，进入回归方程。而对 已解释变差的贡献大小的判别依据，是包含了偏 解释变差的 。统计量的值 先进入方程；最后一个进入方程的自变量 小于等于 选定的显著性水平 。 35 第二种方法 在剔除时，其统计量的值 大于选定的显著性水平 先把对所有的自变量回归，然后 逐步把最小的剔除出方程，所有剔除出方程 的的显著性概率 。 36 概率 所对照的显著性水平 第三种方法 的显显著性慨率所对照的显著性水平 则要取得 是一边进、一边出。“进”变量的 的显著性 通常取得大一些， 以便能够有更多的的外侧概率(显著性概率)小于 从而使较较多的变变量进进入方程。而“出”的变量 大于 “进进”“出”方程，陷入死循环环。 更大一些，以便能够有较少的的显著性慨率 从而有更少的变量被剔除出方程，防止变量 注意 37 的自变量。因为每添加或 逐步添加法或逐步剔除法，都应当强调 的显著性概率 是否小于等于选定的显著性水平 来决定是否作为 剔除一个变量都会引起所有回归系数及统计量的 的变化。一次处理，会造成误判。只有逐步 处理，才是恰当的。 “逐步”，不能一次按照各个变量的统计量值 值 注意 38 会计系 王宏新 回归分析是研究随机变量之间的相关关系的一 种统计方法。其用意是研究一个被解释变量(因 变量)与一个或多个解释变量(自变量)之间的统 计关系。解释变量可以是刻度级、顺序级、名义 级的变量。不论是什么级别的数据,都必须用数 字(Numeric)型的来表示。 一、 一元线性回归 一元线性回归，只研究一个自变量与 一个因变量之间的统计关系。 第一节 一元回归分析 39 人均收入与人均食品支出关系的散点图 40 会计系 王宏新 例如，某企业产品广告费和销售收入资料如下， 判断广告费和销售收入之间关系