线性回归分析

线性回归分析公共卫生学院一 . 前言l回归分析的目的 :设法找出变量间的依存 (数量 )关系 , 用函数关系式表达出来二、基本概念1、应变量 （ dependent variable)2、 自变量 （ independent variable）3、 一元线性回归直线回归方程的模型是： yi=a+bxi+ei其中（） a是截距（） b是回归系数 (regression coefficient)（ 回归直线的斜率） 回归系数的统计学意义是：自变量每变化一个单位，应变量 平均 变化的单位数（） ei是残差因此直线回归方程的一般形式是： 其中 是应变量 y的预测值或称估计值。4、多元线性回归多元线性回归方程模型为：yi=b0+b1x1i+b2x2i+ bnxni+ei其中 b0是常数项，是各自变量都等于 0时，应变量的估计值。有时，人们称它为本底值。 b1， b2， ， bn是偏回归系数 ( pertial regression coefficient )， 其统计学意义是在其它所有自变量不变的情况下，某一自变量每变化一个单位，应变量平均变化的单位数。如果所有参加分析的变量都是标准化的变量，这时 b0就等于 0， b1， b2， ， bn 就变成了标准化偏回归系数，用符号 b1， b2， ， bn表示。bi= bi*sxi/sy由于 bi没有量纲，因此可以相互比较大小，反映自变量的相对作用大小。(3) ei是残差多元线性回归方程的一般形式是：其中的符号含义同前。三、理论假设 自变量 x与应变量 y之间存在线性关系； 正态性：随机误差（即残差） e服从均值为 0，方差为 的正态分布； 等方差：对于所有的自变量 x， 残差 e的条件方差为 ，且 为常数； 独立性：在给定自变量 x的条件下，残差 e的条件期望值为 0（本假设又称零均值假设）； 无自相关性：各随机误差项 e互不相关； 残差 e与自变量 x不相关：随机误差项 e与相应的自变量 x不相关； 无共线性：自变量 x之间相互独立四、回归方程的建立 散点图 奇异点（ ouliers） 最小二乘法（ least square, LS） 残差平方和（ sum of squares for residuals）一元线性回归时，计算比较简单：多元线性回归时，比较复杂，一般需要用计算机处理。五、线性回归的检验、回归方程的检验方差分析法：应变量的总变异可分解为回归平方和 (regression sum of squares)： 可用线性回归解释的部分剩余平方和 (residual sum of squares)： 即残差平方和，不能用线性回归解释的部分以上三部分的自由度分别为 n-1， m和 n-m-1。 其中， n为样本数， m为自变量数。方差分析的假设为一元线性回归： H0: =0 H1: 0多元线性回归：H0: 1= 2= m=0H1: 1， 2， ， m中至少有一个不等于零因此方差分析的结论是线性回归方程是否显著，是否有意义。、回归偏回归系数的检验检验回归系数是否为零，每一个偏回归系数是否为零。用 t检验方法。统计量自由度结论：回归偏回归系数是否有意义，是否为零；对应的自变量是否有意义。、常数项（截距）的检验检验常数项（截距）是否为零。用 t检验方法。一元线性回归：H0: =0 H1: 0多元线性回归：H0: 0=0 H1: 00、模型的预测效果检验亦称回归模型的拟合优度检验。检验回归模型对样本数据的拟合程度。 决定系数（ determination coefficient）（ R square） 调整（校正）决定系数（ adjusted R square） 复相关系数 R （ multiple correlation coefficient）、线性回归适用性检验（）回归模型残差的正态性检验 残差的直方图 残差的累积概率图（ P-P图）（）回归模型残差的独立性检验用 Durbin-Watson 检验，其参数称为 Dw或 D。D的取值范围是 02， 残差与自变量负相关。（）残差的方差齐性检验以上都是对残差的分析，称为残差分析。残差分析还可以）检出奇异点）评判预测效果。（）共线性诊断 共线性（ collinearity） 共线性的危害 共线性的鉴别容差（ tolerance）方差膨胀因子（ variance inflation factor）六、自变量的选择 强迫引入法（ Enter） 强迫剔除法（ Remove） 前进法（ Forward） 后退法（ Backward） 逐步向前法（ Forward stepwise