多元线性回归SPSS.ppt

多元线性回归 临床流行病学应用研究室欧爱华 概念 多元线性回归是研究多个自变量与一个因变量间是否存在线性关系 相互依存关系 并用多元线性回归方程来表达这种关系 或用回归方程定量地刻画一个因变量与多个自变量间的线性依存关系 要求 自变量的数值可以是随机变量也可以是人为设定的 因变量是随机变量 多元线性回归方程 总体回归方程 0常数项 1 P称为总体偏回归系数 样本回归方程 偏回归系数 B0为常数项 B1 B2 BP为样本偏回归系数 或称为Y对应于X1 X2 XP的偏回归系数 偏回归系数表示假设在其他所有自变量不变的情况下 某一个自变量变化引起因变量Y变化的比率 例 血红蛋白 0 1X 钙Ca PXP e 铜Cu 用途 1 用多元线性回归方程来描述多个自变量与因变量间的相互依存的数量关系 2 分析某些自变量对因变量的发生 发展及预后的影响程度 3 利用多元线性回归方程进行疾病的预测 预报 以及疾病诊断提高其诊断效果等 多元回归分析所要求的条件 1 因变量Y一定是服从正态分布的相互独立的随机变量 2 自变量X可以是服从正态分布的随机变量 也可以是人为设定的 3 当给定自变量的数值后 相应的Y值服从正态分布 其中心位置由决定 E X1 X2 XP 0 1X1 PXP e4 一般样本含量要求是参与分析的变量 自变量 因变量 个数的5 10倍 对多元线性回归甚至要求20倍 数据准备 数据经校对无误后录入建立数据库 数据库备份 数据是否需要进行量刚的转换 特别是定性资料数量化 分析前可进行数据转化的探索性分析等 回归模型的建立主要是求解参数 0 1 P的估计值的即常数项B0和偏回归系数B1 B2 BP 回归方程 参数估计原理 根据最小二乘法原理 通过对微分方程组求偏导数 解出常数项B0 或待定系数 和偏回归系数B1 B2 BP 使得实际观察值Yi与回归方程的估计值之间的残差平方和最小 过程如下 根据最小二乘法原理 建立微分方程 对微分方程求解偏导数 即B0 B1 B2 BP必须满足以下联立方程组 正规方程组 即正规方程的解 0 1 P的最小二乘估计 正规方程如下 可用正规方程的矩阵简洁形式 进行矩阵的运算 正规方程组左边的系数可用下面的矩阵形式表示 对自变量矩阵 X 进行转置 即矩阵的行列互换 形式为X 正规方程矩阵形式与解的矩阵形式 B为方程的解 建立回归方程 SPSS11 0软件包操作 1 选择分析窗口 Analyze 2 选择回归分析 Regression 3 选择线性回归 Linear SPSS数据库格式 操作 一 1 2 操作 二 因变量Y 多个自变量 系统默认 操作 三 回归系数估计 回归系数可信区间 模型拟合 统计 图形 存储 其他 操作 四 正态概率图 直方图 因变量 自变量 操作 五 设定界值 系统默认 一 描述性统计分析结果 二 相关系数矩阵 三 模型效果检验 复相关系数R的检验 F 19 553 F检验结果概率P 0 000 差异有统计学意义 可以认为回归模型的拟合是有效的 四 模型效果检验 残差分析 F 19 553 P 0 000 结论同上 五 回归系数的检验及结果 建立回归方程 六 残差直方图 七 残差正态累计概率图 八 散点图 九 绘制个体值及估计值与实测值回归线的可信区间 结果讨论 统计分析结果应结合专业知识进行分析 分析统计结果是否符合专业实际解释 回归方程效果的检验 回归效果的检验 建立了回归方程后 需要进行显著性检验 以确认建立的回归模型是否很好的拟合了原始数据 即回归方程是否有效 利用残差分析 确定回归方程是否违反了假设理论 对方程中的各自变量进行检验 首先假设总体的各自变量的系数或常数项为均0 通过检验以便在回归方程中保留对因变量Y估计更有效的自变量 来确定回归模型是否有效 由于有等方差为前提条件 利用残差均方 2的估计S2进行回归效果的检验 这里假设p 1个系数是从总体回归系数 0 1 P全为0的总体中作随机抽样来的 由于是样本 必然存在抽样误差 因此需要对回归系数进行检验 建立检验假设和备择假设H0 0 1 P 0 H1 0 1 P不全为0 计算总的离均差平方和 回归平方和 回归的贡献就在于使估计值与观察值间的差距缩小 缩小的这一部分叫回归平方和 及残差平方和 首先计算回归均方及残差均方 回归均方及残差均方分别除以他们的相应的自由度 得到均方 再求F值 最后进行判断 判断结果根据检验水平a 查F值表 Fa 若F Fa P a 则拒绝H0 可认为回归效果具有统计学意义 否则 接受H0 复相关系数RR表示因变量与自变量之间线性相关密切程度的指标 R的值在0 1之间 R越接近1 表示其线性关系越强 R越接近0 表示线性关系越差 决定系数R2在多元线性回归中用R2来解释回归模型中自变量的变异在因变量变异中所占的比率 决定系数表示回归平方和在总离均差平方和中所占的比例 决定系数常用于反映回归方程拟合数据的优劣程度 可以看出决定系数越大回归效果越好 但也不能单靠增加自变量的数目来提高决定系数 应从全面考虑既要决定系数大 又要自变量的数目少 这时可采用校正的决定系数 校正决定系数 为了消除自变量的个数以及样本量的大小对决定系数的影响 逐步回归分析 多元线性回归建立的回归方程包含了所有的自变量 但在实际问题中 可能有这样的情况 参加回归方程的P个自变量中 有些自变量单独看对因变量Y有作用 相关程度密切 但P个自变量又可能是相互影响的 在作回归时 它们对因变量所起的作用有可能被其他自变量代替 而使得这些自变量在回归方程中变得无足轻重 这时把这些自变量留在回归方程中 不但增加计算上的麻烦 而且不能保证有好的回归效果 为了克服这些缺点 提出了多元逐步回 多元逐步回归要求回归方程中包含所有对因变量作用显著的自变量 而不包含作用不显著的自变量 从而建立最优回归方程 逐步筛选变量的方法 1 强行进入法 Enter 预先选定的自变量全部进入回归模型 这是系统默认方式 2 消去法 Remove 根据设定的条件剔除部分自变量 3 向前引入法 Forward 自变量由少到多一个一个引入回归方程 将与因变量的相关系数最大的第一个自变量选入方程并进行检验 如果F值 Fa 拒绝H0 将其余的变量中与因变量的相关系数最大的第二个自变量选入方程 当F值 Fa 拒绝H0 如此下去 不断引入新的自变量 直到不能拒绝H0 再没有变量被引入为止 4 向后剔除法 Backward 自变量由多到少一个一个从回归方程中剔除 首先 对预先选定自变量全部进行回归 然后把对因变量影响不显著的自变量从方程中剔除并进行检验 如果F值 Fa 接受H0 一个一个剔除对因变量不显著的自变量 直到再不能剔除为止 5 逐步引入 剔除法 Stepwise 向前引入法与向后剔除法的结合 操作 一 1 2 SPSS软件包逐步回归操作 二 点击逐步回归 操作 三 结果变量Y 多个自变量 点击逐步回归 操作 四 回归系数估计 回归系数可信区间 模型拟合 操作 五 正态概率图 直方图 操作 六 一 SPSS软件包逐步回归筛选自变量 二 SPSS软件包逐步回归相关系数及检验 三 SPSS软件包逐步回归残差分析 四 SPSS软件包逐步回归回归系数及检验 五 SPSS软件包逐步回归残差直方图 六 SPSS软件包逐步回归未进入方程的变量及检验 七 SPSS软件包逐步回归残差正态概率P P图 逐步回归的主要用途 1 建立一个自变量个数较少的多元线性回归方程 可用于描述某些自变量与某一医学现象间的数量关系 以及进行疾病的预测预报 辅助诊断等 2 进行因素筛选 有助于从大量因素中筛选出对某一医学现象作用显著的因素和因素组 因此在病因分析和疗效分析中有着广泛的应用 讨论 1 共线性问题2 残差分析 共线性分析 在回归方程中 虽然各自变量对因变量是有意义的 但由于某些自变量彼此相关 这种自变量彼此间的相关叫存在共线性问题 必然给评价自变量的贡献带来困难 因此 需要对回归方程中的自变量进行共线性诊断 共线性诊断的方法 诊断共线性常用的参数有 1 条件参数 条件参数 最大特征值 第i个特征值 1 2 条件参数是在计算特征值时产生的一个统计量 此值大于或等于30 判断可能存在共线性 此法目前尚有争议 2 容许度 为 3 方差膨胀因子 VIF VIFi 1 1 R2 此值越大 自变量之间存在共线性的可能性越大 共线性的处理办法 1 剔除不重要的有共线性问题的自变量 但要注意专业的合理解释 2 增加样本含量 3 重新抽取样本数据 回归模型残差分析 最常用和最直观的方法是残差直方图和累积正态概率P P图 但也是一种近似的方法 SPSS统计软件包Regression分析模块的功能 线性回归 Linear 曲线参数估计CurveEstimation 二值Logistic回归多项Logistic回归概率单位法Probit pro