统计软件SAS讲义 回归分析

1、一、两随机变量的回归关系二、直线回归方程三、直线回归关系的显著性测验四、置信区间五、多元线性回归六、回归诊断第六章 回归分析 实践中，我们常常能建立一个变量与另外一个（或多个）变量之间的函数关系，从而用一个（或多个）变量来对这个变量进行预测回归分析就是解决这类问题的方法一元线性回归：最简单的回归关系，即一个变量y在一个变量x上的回归关系，称x为自变量，y为因变量（或应变量、依赖变量）一、两随机变量的回归关系如果两个变量x，y存在回归关系，则有回归模型：总体：yi + xi + i a 称为回归截距 b 称为回归系数i 称为随机误差样本：yi a + b xi + i回归方程： a + b x一

2、、两随机变量的回归关系 如果总体中N 对观察值都已知，可以利用数学中求极值的方法解出 和 而使得误差方差为最小。因为误差平方和为：数学原理分别求Q 对 和 的偏导数，并使之为0： 整理得正规方程组：一、两随机变量的回归关系 解正规方程组：(3)式各项乘 ：(1)式除以 n 得： (2)-(5)式得： 即： 于是： 于是： 直线回归方程便已求出为：第二节 直线回归方程 对此统计假设有两种测验方法： 所以在欲用样本回归模型对总体回归模型进行估计之前，必须确定总体中两变量之间确实有线性 回归关系存在，即测验 H0: 0 vs HA： 0 只有在此测验结果为显著时，用 a 估计 ，用 b 估计 ，用

3、估计 y 才是有意义的。 方差分析法 t 测验法第三节 直线回归关系的显著性测验 如果在模型 yi + xi +i 中， 0，这就意味着不管 xi为什么值， yi 都不发生实质性变化。换言之，x和 y 之间没有显著的回归关系。1 方差分析法: 利用下图说明方差分析法的基本原理。 当自变量为 ，对应的 因变量的实测值为 ， 因变量的预测值为 。 于是 的离均差 可分解为两个部分： 总的差异 估计误差 回归引起的偏离第三节 直线回归关系的显著性测验 对整个资料所有点的求和得： 对于一个点有: 两边平方得: 证明 右边的中项为0： 即 即对所有点求和得： 第三节 直线回归关系的显著性测验 对整个资料

4、所有点的求和 所以上式得: 误差平方和 回归平方和 的总平方和 于是： 的总平方和便分解为两个部分：第三节 直线回归关系的显著性测验 三个平方和的计算公式: 总平方和: 回归平方和: 误差平方和: 或第三节 直线回归关系的显著性测验变异来源自由度平方和均方值回归离回归n-2UQ 总变异n-1SSTF测验结论：-。利用方差分析表第三节 直线回归关系的显著性测验2、T 测验法其中回归标准差: 第三节 直线回归关系的显著性测验研究光照强度与净光合强度的关系光照强度X净光合强度Y 一级计算：30070010001500220030004000500060007000140260300380410492

5、580690740830实例：P161计算公式：二级计算：实例：P161计算公式：二级计算：实例：P161回归系数 b :回归截距 a: 实例：P161得直线回归方程：190.955 为回归截距 0.094868 称为回归系数实例：P161变异来源自由度平方和均方值回归离回归84447841081044478413513295.3211.26总变异9455595F测验结论：回归关系达极显著，即用回归方程进行估测净光合作用强度是合理的。2、方差检验实例：P1612、t 检验结论：回归关系极显著，用 来进行预测是合理的。实例：t 检验第四节 预测值的置信区间因此由x预测y时，y 的变化范围为：由x

6、预测y时，y有一定的误差，其标准误差为：实例： 由X预测Y的预测区间第一步：当x=2500时， 的点估计： 第二步：求Y的标准误差：实例： 由X预测Y的预测区间第三步：求y的变化范围：回归标准差：第四步：结论有95的把握预测当树冠的光照强度为2500时，净光合作用的强度在338.95到517.30之间。实例： 由X预测Y的预测区间第五节 多元回归分析一、多元回归分析概述 上面讨论的只是两个变量的回归问题，其中因变量只与一个自变量相关。但在大多数的实际问题中，影响因变量的因素不是一个而是多个，我们称这类多自变量的回归问题为多元回归分析。 这里着重讨论简单而又最一般的线性回归问题，这是因为许多非线

7、性的情形可以化为线性回归来做。多元线性回归分析的原理与一元线性回归分析完全相同，但在计算上却要复杂得多。一、多元回归分析概述多元线性回归模型多元线性回归方程第五节 多元回归分析根据最小二乘法原理， 的估计值 应该使 二、参数估计方法最小二乘准则由求极值的必要条件得第五节 多元回归分析写成矩阵形式： Y=XB二、参数估计方法最小二乘准则求解得：第五节 多元回归分析1、回归方程的假设检验三、假设检验原假设 H0 ：12 m0统计量为F：回归平方和： 自由度：m误差平方和： 自由度：n-m-1第五节 多元回归分析2、回归系数的假设检验统计量为t：其中： 自由度：n-m-1 C(i+1)(i+1)为矩

8、阵(XX)-1的(i+1)(i+1)元素第五节 多元回归分析如果回归模型F检验达到显著，则i 不全为0原假设 H0 ：i01）t检验2、回归系数的假设检验统计量为：其中：Ui 为xi对y的回归平方和，Q 为误差平方和C(i+1)(i+1)为矩阵(XX)-1的(i+1)(i+1)元素自由度：df11 df2=n-m-1第五节 多元回归分析原假设 H0 ：i02）F检验四、回归方程的选择 由于自变量较多时，不是每一个自变量的回归关系都显著，对回归不显著的自变量不能简单的进行剔除。 尤其时自变量之间存在严重的线性关系时，自变量之间相互影响，很难对自变量的去留做出抉择。 为了获得最优回归方程，就需要对自变量进行筛选。第五节 多元回归分析常用的自变量的筛选方法第五节 多元回归分析1、向前引入法（Forward） 按显著程度，逐个将自变量引入回归方程，直到没有显著的自变量引入为止。2、向后剔除法（Backward） 对全回归方程中最不显著的自变量，依次剔除，直到剩余自变量都显著为止。3、逐步筛选法（Stepwise） 逐个引入最显著的自变量，同时对方程中不显著的自变量进行剔除，直到没有引入和剔除为止。第六节 回归诊断1、残差分析2、贡献分析3、共线性诊断第七节 注意事项1、回归分析要具有实践意义。2、回归关系不显著