数学建模多元回归分析.ppt

9 - 1 三峡大学理学院 于 林 数理统计统计第三节 多元线性回归 一. 多元线性回归模型 二. 回归参数的估计 三. 回归方程的显著性检验 四. 回归系数的显著性检验 五. 多元线性回归的预测 9 - 2 三峡大学理学院 于 林 数理统计统计 多元线性回归模型 9 - 3 三峡大学理学院 于 林 数理统计统计 多元线性回归模型 （概念要点） 一个因变量与两个及两个以上自变量之间的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ， xp 和误差项 的方程称为多元线性回归模型 涉及 p 个自变量的多元线性回归模型可表示为 b b0 0 ，b b 1 1 ，b b 2 2 ， ，b b p p 是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x 1, 1, ，x x 2 2 ， ，x x p p 的线性函数加上误差项的线性函数加上误差项 说明了包含在说明了包含在y y里面但不能被里面但不能被p p个自变量的个自变量的 线性关系所解释的变异性线性关系所解释的变异性 9 - 4 三峡大学理学院 于 林 数理统计统计 多元线性回归模型 （概念要点） 对于 n 组实际观察数据(yi ; xi1,，xi2 ， ， xip )，(i=1,2,n)，多元线性回归模型可 表示为 y y1 1 = = b b0 0 + + b b1 1 x x 1111+ + b b2 2 x x 1212 + + + + b b p px x 1p1p + + e e 1 1 y y2 2 = = b b0 0 + + b b1 1 x x 2121 + + b b2 2 x x 2222 + + + + b b p px x 2p2p + + e e 2 2 y yn n = = b b0 0 + + b b1 1 x x n1n1 + + b b2 2 x x n2n2 + + + + b b p px x npnp + + e e n n 9 - 5 三峡大学理学院 于 林 数理统计统计 多元线性回归模型 （基本假定） 自变量 x1，x2，xp是确定性变量，不 是随机变量 随机误差项的期望值为0，且方差2 都相 同 误差项是一个服从正态分布的随机变量， 即N(0,2)，且相互独立 9 - 6 三峡大学理学院 于 林 数理统计统计 多元线性回归方程 （概念要点） 描述 y 的平均值或期望值如何依赖于 x1， x1 ，xp的方程称为多元线性回归方程 多元线性回归方程的形式为 E( y ) = 0+ 1 x1 + 2 x2 + p xp b b 1 1 ，b b 2 2 ， ，b b p p 称为偏回归系数称为偏回归系数 b b i i 表示假定其他变量不变，当表示假定其他变量不变，当 x x i i 每每 变动一个单位时，变动一个单位时，y y 的平均平均变动值的平均平均变动值 9 - 7 三峡大学理学院 于 林 数理统计统计 多元线性回归方方程的直观解释 二元二元线性回归模型线性回归模型 ( (观察到的观察到的y y) ) 回归面回归面 0 0 i i x x1 1 y y x x2 2 ( (x x 1 1, ,x x2 2 ) ) 9 - 8 三峡大学理学院 于 林 数理统计统计 多元线性回归的估计(经验)方程 总体回归参数 是未知的，利用样 本数据去估计 2. 2. 用样本统计量用样本统计量 代替回归方程中的代替回归方程中的 未知参数未知参数 即得到估计的回归方程即得到估计的回归方程 是是 估计值估计值 是是 y y 的估计值的估计值 9 - 9 三峡大学理学院 于 林 数理统计统计 参数的最小二乘估计 9 - 10 三峡大学理学院 于 林 数理统计统计 参数的最小二乘法 （要点） 2. 2. 根据最小二乘法的要求，可得求解根据最小二乘法的要求，可得求解各回归参数各回归参数 的标准方程如下的标准方程如下 1. 1. 使因变量的观察值与估计值之间的离差平方和使因变量的观察值与估计值之间的离差平方和 达到最小来求得达到最小来求得 。即即 9 - 11 三峡大学理学院 于 林 数理统计统计 回归方程的显著性检验 9 - 12 三峡大学理学院 于 林 数理统计统计 多重样本决定系数 （多重判定系数 R2 ） 回归平方和占总离差平方和的比例 2. 2. 反映回归直线的拟合程度反映回归直线的拟合程度 3. 3. 取值范围在取值范围在 0 , 1 0 , 1 之间之间 4. 4. R R 2 2 1 1，说明回归方程拟合的越好；说明回归方程拟合的越好； R R 2 2 0 0，说明说明 回归方程拟合的越差回归方程拟合的越差 5. 5. 等于多重相关系数的平方，即等于多重相关系数的平方，即R R 2 2 =(=(R R) ) 2 2 9 - 13 三峡大学理学院 于 林 数理统计统计 修正的多重样本决定系数 （修正的多重判定系数 R2 ） 由于增加自变量将影响到因变量中被估计的 回归方程所解释的变异性的数量，为避免高 估这一影响，需要用自变量的数目去修正R2 的值 用n表示观察值的数目，p表示自变量的数目 ，修正的多元判定系数的计算公式可表示为 9 - 14 三峡大学理学院 于 林 数理统计统计 回归方程的显著性检验 （线性关系的检验 ） 检验因变量与所有的自变量和之间的是否存 在一个显著的线性关系，也被称为总体的显 著性检验 检验方法是将回归离差平方和(SSR)同剩余离 差平方和(SSE)加以比较，应用 F 检验来分析 二者之间的差别是否显著 n如果是显著的，因变量与自变量之间存在线性 关系 n如果不显著，因变量与自变量之间不存在线性 关系 9 - 15 三峡大学理学院 于 林 数理统计统计 回归方程的显著性检验 （步骤） 提出假设 nH0： 1 2 p=0 线性关系不显著 nH1： 1，2， ，p至少有一个不等于0 2. 2. 计算检验统计量计算检验统计量F F 3. 3. 确定显著性水平确定显著性水平 和分子自由度和分子自由度p p、分母自由度分母自由度n-pn-p -1-1找出临界值找出临界值F F 4. 4. 作出决策：若作出决策：若F F F F ， ，拒绝拒绝H H 0 0 ；若若F F F F0.05 0.05(2,7)=4.74 (2,7)=4.74，回归方程显著回归方程显著 4. 4. 回归系数的显著性检验回归系数的显著性检验 t t = = 9.35489.3548t t =0.3646=0.3646，；，； t t 2 2 = = 4.7962 4.7962 t t =2.3646=2.3646 ；两个回归系数均显著两个回归系数均显著 一个含有四个变量的回归 9 - 21 三峡大学理学院 于 林 数理统计统计 第三节 可化为线性回归的 曲线回归 一. 基本概念 二. 非线性模型及其线性化方法 9 - 22 三峡大学理学院 于 林 数理统计统计 非线性回归 1. 因变量 y 与 x 之间不是线性关系 2. 可通过变量代换转换成线性关系 用最小二乘法求出参数的估计值 并非所有的非线性模型都可以化为线性 模型 9 - 23 三峡大学理学院 于 林 数理统计统计 几种常见的非线性模型 指数函数 2.2. 线性化方法线性化方法 两端取对数得：两端取对数得：lnlny y = = lnln + + x x 令：令：y y = = lnlny y，则有则有y y = = lnln + + x x 1.1. 基本形式：基本形式： 3. 3. 图像图像 9 - 24 三峡大学理学院 于 林 数理统计统计 几种常见的非线性模型 幂函数 2. 2. 线性化方法线性化方法 两端取对数得：两端取对数得：lglg y y = = lglg + + lglg x x 令：令：y y = = lglgy y，x x = = lglg x x，则则y y = = lglg + + x x 1.1. 基本形式：基本形式： 3. 3. 图像图像 0 0 0 9 - 26 三峡大学理学院 于 林 数理统计统计 几种常见的非线性模型 对数函数 2.2. 线性化方法线性化方法 x x = = lglgx x , , 则有则有y y = = + + x x 1.1. 基本形式：基本形式： 3. 3. 图像图像 0 0 0 0 9 - 27 三峡大学理学院 于 林 数理统计统计 几种常见的非线性模型 S 型曲线 2.2. 线性化方法线性化方法 令：令：y y = 1/ = 1/y y，x x = e= e - -x x , , 则有则有y y = = + + x x 1.1. 基本形式：基本形式： 3. 3. 图像图像 9 - 28 三峡大学理学院 于 林 数理统计统计 非线性回归 （实例） 【例】为研究生产率与废品率之间的关系， 记录数据如下表。试拟合适当的模型。 废废品率与生产产率的关系 生产产率（周/单单位 ) x 1000200030003500 4000 4500 5000 废废品率（%） y 5.26.56.88.110.210.313.0 9 - 29 三峡大学理学院 于 林 数理统计统计 非线性回归 （实例） 生产率与废品率的散点图生产率与废品率的散点图 9 - 30 三峡大学理学院 于 林 数理统计统计 非线性回归 （实例） 用线性模型：y = 0 1x+ ，有 y = 2.671+0.0018x 用指数模型