回归分析与经验公式拟合

单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-1 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 第9章 回归分析与经验公式拟合 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 教学目标 回归分析是处理变量之间相关关系的一种数理统计方法, 也是广泛用于获得数学表达式的较好方法。本章介绍测量中 常用的一元与多元线性回归以及一元非线性回归的基本方法 。 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-3 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 回归分析的基本概念 一元线性回归分析 多元线性回归分析 非线性回归分析 教学重点和难点 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 第一节 回归分析的基本概念 变量间的关系可分为函数关系和相关关系。本节介绍这 两种关系，并对回归分析的一些基本概念作一个简要的介 绍。 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 一、变量间的关系 (1) 是一一对应的确定关系 (2) 设有两个变量 和 ，变量 随变量 一起变化，并完 全依赖于 ，当变量 某个数值时， 依确定的关系取 相应的值，则称 是 的函数，记为 ，其中 称为自变量，称 为因变量 v如以速度 作匀速运动的物体，走过的距离 与 时间 之间，有如下的函数关系 1、函数关系(确定性关系) 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 2、相关关系 (随机性关系) (1) 变量间关系不能用函数关系精确表达 (3)当变量 取某个数值时，变量 的值可能有几个 (2)一个变量的取值不能由另一个变量惟一确定 v 如人的身高( )与体重( )之间的关系 一、变量间的关系 身高与体重之间并不存在确定的函数关系； 但经过统计分析后可知体重按一定概率落在一个范围内。 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 二、什么是回归分析？ 3、利用所求的关系式，根据一个或几个变量的值，预测 或控制另一个变量的值，并要知道这种预测或控制可 达到的精密度。 主要解决以下几个问题： 1、从一组样本数据出发，确定变量之间的数学关系式 回归方程或经验公式； 2、对这些关系式的可信程度进行各种统计检验，并从影 响某一特定变量的诸多变量中找出哪些变量的影响显 著，哪些不显著； 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 回归模型的类型 回归模型 一元回归多元回归 线性 回归 非线性 回归 线性 回归 非线性 回归 一个自变量 两个及两个以 上自变量 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 回归模型 1、回答 “变量之间是什么样的关系？” 2、方程中运用 1个数字的因变量 1个或多个数字的或分类的因变量 3、主要用于预测或估计 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-12 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 第二节 一元线性回归分析 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-13 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 一、一元线性回归方程 一元线性回归模型概念 1、当只涉及一个自变量时称为一元回归，若因变量 与 自变量 之间为线性关系时称为一元线性回归 2、对于具有线性关系的两个变量，可以用一个线性方程 来表示它们之间的关系 3、描述因变量 如何依赖于自变量 和误差项 的方程称 为回归模型。 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 由实验获得两个变量 和 的一组样本数据 ， ， ，构造如下一元线性回归模型 v 模型中， 是 的线性函数部分加上误差项 v 线性部分反映了由于 的变化而引起 的变化 v 误差项 是随机变量，是独立、等权的正态随机误差 反映了除线性关系之外的随机因素对 的影响 是不能由 和 之间的线性关系所解释的变异性 v 和 称为模型的参数总体回归参数 一、一元线性回归方程 一元线性回归模型方程 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 1、误差项 是一个期望值为的随机变量，即 对于一个给定的 值， 的期望值为 2、对所有的 值， 的方差 都相同 3、误差项 是一个服从正态分布的随机变量，且相互独立。 即 独立性意味着对于一个特定的 值，它所对应的 与其它 值所对应 的不相关 对于一个特定的 值，它所对应的 值与其它 值所对应 的不相关 一、一元线性回归方程 一元线性回归模型基本假定 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 1、描述 的平均值或期望值如何依赖于 的方程称为回归方程 2、简单线性回归方程的形式如下 v 方程的图示是一条直线，因此也称为直线回归方程 v 是回归直线在 轴上的截距，是当 时的期望值 v 是直线的斜率，表示当 每变动一个单位时， 的 平均变动值 一、一元线性回归方程 回归方程概念要点 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 2、用样本统计量 和 代替回归方程中的未知参数 和 ， 这时就得到了经验的回归方程 3、一元线性回归的经验的回归方程 v 是回归直线在 轴上的截距 v 是直线的斜率，它表示当 每变动一个单位时， 的 平均变动值 v 是 的估计值 1、总体回归参数 和 是未知的，必须利用样本数据去估计 经验的回归方程 一、一元线性回归方程 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 和 的计算公式 每一个 确定一个回归值： 残差方程： 矩阵形式： 其中： 当 最小时，正规方程组为： 对于一元线性回归方程： (9-2) 回归方程上的点 实际测量值 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 对于正规方程组： 和 的计算公式 两边同除以 n ： 化简正规方程组： 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 式中： 和 的计算公式 解线性方程组，得： 以后有用 将此式代入(9-2)式， 可得下页所示(9-7)式 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 将代入 (9-7) 这是回归方程的另一种形式 当 时，表示 y 随 x 有线性增大的趋势； 当 时，表示 y 随 x 有线性减小的趋势。 表示一条通过重心 的回归直线 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-22 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 二、回归效果F检验 若测量数据中的数据点较分散，不呈线性，此时的线性回 归方程是没有意义的； 因此，利用最小二乘法所得到的直线是否有显著意义，即 直线是否与两个变量间的实际关系相符，需对回归的效果 做显著性检验； 回归显著性检验方法有： 相关系数 r 检验法、t 检验法、F 检验法 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 偏差平方和的分解： 二、回归效果F检验 测量值 之间的差异来 源于两个方面： v由于自变量 取值的不同造 成的； v除 以外的其它因素(如 对 的非线性影响、测量 误差等)的影响 对一个具体的观测值来说，差异的大小可以通过该实际观 测值与其均值之差来表示： 可分解成两部分 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 偏差平方和的分解： 二、回归效果F检验 三个平方和的关系 两端平方后求和得到(交叉项为零) 总偏差 平方和 残余 平方和 回归 平方和 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 三个平方和的意义 自由度 计算公式 总偏差平方和的意义：反映因变量 的n个观测值与其均值的总偏差 残余偏差 回归偏差 总偏差 指独立观察值的个数 n个观测值yi受平均值 的约束，等于有一个 观测值不是独立的，即失去一个自由度 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 三个平方和的意义 计算公式 残余偏差 回归偏差 总偏差 回归平方和的意义：在总的偏差中 因 和 的线性关系而引起 变化 的大小 自由度 对于y=a+bx，回中只有b是独立变化的，a 决定位置的参数等价于 的约束 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 三个平方和的意义 残余偏差 回归偏差 总偏差 残余平方和的意义：在总的偏离中 除了 对 线性影响之外的其它因 素而引起 变化的大小 自由度 计算公式回归分析的要求就是使残余平方和最 小，即残愈小，回归效果愈好； 若 回愈大，而残愈小，则说明y与x 的线性回归的关系愈密切。 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 回归方程的显著性检验 1、检验自变量和因变量之间的线性关系是否显著 2、具体方法是将回归平方和和残余平方和加以比较，应 用F检验来分析二者之间的差别是否显著 如果是显著的，两个变量之间存在线性关系 如果不显著，两个变量之间不存在线性关系 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 2、构造统计量F，并计算检验 3、在给定显著性水平 下，由分布表查得临界值 检验方法 1、提出假设 H0：线性关系不显著 4、作出决策： 若 ，拒绝 ，认为该回归效果显著。 反之，则不显著。 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 估计残余标准误差 1、表征除了 与 线性关系之外其它因素影响 值偏离 的大小 ； 2、反映实际观测值在回归直线周围的分散状况； 3、从另一个角度说明了回归直线的拟合程度。 由式(9-11)的分母： 故残余标准差为： 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 0.010.050.1 显著否显著否显著否总和 残余 回归 置信限 统计量标准差自由度平方和偏离 方差分析表 进行比较 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 检验步骤 1、依序计算统计量 2、按一定显著水平，自由度 ，查F 分布表 比较后，作出判断结论。 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-33 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 三、回归系数的不确定度与回归方程的稳定性 1、回归系数的不确定度 (1) 回归系数的不确定度是描述回归系数的分散性 (2) 回归系数 和 的标准不确定度的计算公式 (3) 回归系数 和 的协方差的计算公式 式中， 是残余标准差 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 三、回归系数的不确定度与回归方程的稳定性 2、回归方程的稳定性 (1) 是指回归值 的波动大小 波动愈小，回归方程的稳定性愈好 用 标准不确定度 来表示 (2) 回归值 的波动大小的计算公式： 回归值的波动大小不仅与剩余标 准差s有关，而且还取决于试验次 数n及自变量取值范围。 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 3、提高回归方程中各估计量稳定性的方法 (1) 提高观察数据本身的准确度 (2) 尽可能增大观测数据中自变量的取值范围 (3) 增加观测次数 (4) 减小残余误差，即拟定合适回归方程使其尽可能合 乎实际数据的变化规律 三、回归系数的不确定度与回归方程的稳定性 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-36 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 四、回归预测值及其不确定度 1、利用估计的回归方程，对于自变量 的一个给定值 ， 求出因变量 的一个估计值 ，就是回归的预测值 用 的标准不确定度来表述 用 的扩展不确定度来表述 2、预测值 与实际值 之间存在偏差，因此给出预测值时， 还必须给出其不确定度。有以下两种表示方式 其中，扩展不确定度度 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 【例9-1】 试对下表所列实验数据做直线拟合，并作方差分析和预测。 180200145165123110191205 104100141135151180190220 134135144160110130153145 141125190190108110155160 204235190210158130177185 150170161145107115177205 121125165195180240143160 151135154150127135 147155116100115120 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 【解】 直线拟合计算 故有 直线拟合 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 方差分析 0.01 高度显著3350094总和 329057残余 7.50 145.016.8 41037回归 置信限 统计量标准差自由度平方和偏离 【解】 线性关系成立 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 预测 对于 ，查t分布表得 故有 【解】 作为包含因子反映回归值的稳定性 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 回归直线及预测区间【解】 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-42 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 第三节 多元线性回归分析 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-43 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 一、多元线性回归方程 多元线性回归模型概念要点 2、描述因变量 如何依赖于自变量 和误差项 的方程称为多元线性回归模型 3、涉及 个自变量的多元线性回归模型可表示为 是待定的估计量 是n个相互独立且等权的随机误差分量 是 的线性函数加上误差项 说明了包含在 里面但并不能被各个自变量的线 性关系所解释的变异性 1、一个因变量与两个及两个以上自变量之间的回归 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 多元线性回归模型概念要点 4、对于 组实际观测数据 ，多元线性回 归模型可表示为矩阵形式： 式中 一、多元线性回归方程 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 多元线性回归模型基本假定 1、自变量 是确定性变量，不是随机变量； 2、随机误差项 的期望值为，且方差 都相同； 3、误差项 是一个服从正态分布的随机变量，即 且相互独立 一、多元线性回归方程 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 多元线性回归模型正规方程组 一、多元线性回归方程 设最小二乘得出的估计参数B为： 回归方程为： 回归误差： 依据最小二乘法，正规方程组为： 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 多元线性回归模型正规方程组的最小二乘解 一、多元线性回归方程 对于正规方程组为： 回归系数B的最小二乘估计为： 故得多元线性回归方程 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 多元线性回归模型的另一种形式： 称为偏回归系数 表示假定其他变量不变，当每 变动一个单位时， 的平均变动值 一、多元线性回归方程 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 一、多元线性回归方程 用样本统计量 代替回归方程的未知数 即得到估计的回归方程： 是 的估计值 是 的估计值 多元线性回归模型的另一种形式： 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 多元线性回归模型的另一种形式： 一、多元线性回归方程 同样有正规方程组： 其解： 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 一、多元线性回归方程 即： 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 计算过程 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-53 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 二、线性回归效果检验 回归方程的显著性检验 1、检验因变量和所有的自变量之间的是否存在一个显著 的线性关系，也被称为总体的显著性检验 如果是显著的，因变量与自变量之间存在线性关系 如果不显著，因变量与自变量之间不存在线性关系 2、具体方法是将回归平方和和残余平方和加以比较，应 用F检验来分析二者之间的差别是否显著 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 检验的步骤 1、提出假设 线性关系不显著 至少有一个不等于 3、在给定显著性水平 下，由分布表查得临界值 4、作出决策。若 ，拒绝 ，则认为该 回归效果显著。反之，则不显著。 二、线性回归效果检验 2、构造统计量F，并计算检验 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 偏离平方和自由度标准差统计量置信限 回归 残余 总和显著否 方差分析表 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 【例9-2】 根据实际经验知道某变量y受变量x1、x2影响，通过试验获得 一批数据如表9-5(p.185)，试建立y对x1、x2的线性回归方程，并 作方差分析。 【解】(1) 求解回归方程 设欲求的回归方程的形式为： 计算： 多元线性回归的第二种形式 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 【解】 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 【解】 矩阵L为： 逆矩阵L-1 回归系数的最小二乘估计为： 回归方程为： 或： 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 【解】 (2) 方差分析 计算统计量： 查表： 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 【解】 填表 偏离平方和自由度标准差统计量 置信限 =0.01=0.05 回归1.63552 0.16964.82335.533.37 残余4.408126 总和6.043628不显著显著 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-61 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 三、每个自变量在多元回归中所起的作用 1、一个多元线性回归方程是显著的，并不意味着每个自变 量 对因变量的影响都是重要的,可能其中有某 些变量的作用很小。 希望所拟合的回归模型中： 只含有作用显著的自变量， 不含有作用不显著的自变量。 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 2、用偏回归平方和来考察每个特定因素在总回归中所起 的作用 回归平方和 ，反映了所有 个回归自变量对因变量 的总影响 舍弃某 ，其余 个回归自变量可拟合出 元线性回 归方程，其相应的回归平方和 ，它反映了其余 个 回归自变量所起的总作用。 三、每个自变量在多元回归中所起的作用 表示出 单独对回归因变量 的影响 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 3、偏回归平方和的实用计算公式 直接利用定义式计算偏回归平方和非常繁杂 可利用实用公式计算 三、每个自变量在多元回归中所起的作用 回归方程的回归系数 原 元回归的正规方程系数矩阵L的逆矩阵 中的第 列元素 代替： 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 4、分析步骤 (2) 凡是偏回归平方和大的变量，一定是对 有重要影响的 因素。可用残余平方和 对它进行 检验。 计算统计量 三、每个自变量在多元回归中所起的作用 当 时， 则认为变量 对 的影响在水平 上显著 (1) 计算每个自变量的偏回归平方和 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 (3) 偏回归平方和小的变量，不一定不显著。 但偏回归平方和最小的那个变量，肯定是所有变量中对作 用最小的一个，假如此时变量检验结果又不显著，那可以 将该变量剔除。剔除一个变量后，得重新建立 元新回 归方程，计算回归系数和偏回归平方和。 三、每个自变量在多元回归中所起的作用 4、分析步骤 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 在 对 的多元回归中，当取消一个变量 后， 个变量新的回归系数 ，与原来的回归系数 之间有如下关系 5、新老回归系数间的关系 为原 元回归的正规方程系数矩阵L的 逆矩阵 中的元素 三、每个自变量在多元回归中所起的作用 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 【例9-2】 分析例9-2两个自变量在回归中所起的作用 【解】 查F分布表故V1在=0.01水平上显著 故V2在=0.01水平上不显著 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 【例9-2】 分析例9-2两个自变量在回归中所起的作用 【解】 所以，原方程中 x1是影响y的主要因素，x2对y的影响很小 将原方程中的自变量 x2 剔除，对x1的回归系数重新计算： 新的回归方程： 或： 单击此处编辑母版标题样式 单击此处编辑母版副标题样式 * 9-69 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 第四节 非线性回归分析 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 一、化曲线为直线的回归问题 实际问题中，常有两个变量之间为非线性关系； 需要作适当的曲线拟合； 直接用最小二乘法处理： 设： 按： 导出正规方程组： 方程组关于a和b是非线性的，求解困难。 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 线性化途径之二：正交多项式回归法 一、化曲线为直线的回归问题 线性化途径之一：变量变换法 令： 按最小二乘法，求出线性回归方程的回归系数 a、b 对于： 对于： 令： 按最小二乘法，求出线性回归方程的回归系数 a、b 选择函数模型的原则：对原 y 值的残余平方和较小者为好 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 一、化曲线为直线的回归问题 一元非线性化回归要解决的两个问题： 如何将一元非线性回归的问题化为线性回归的问题： 变量变换法、正交多项式回归法等 如何选择较好的数学模型： 对实际物理模型不太了解的情况下，最好多选择几种 函数模型拟合，最后从中比较选优 误差分析与测量不确定度评定 第九章 回归分析与经验公式拟合 曲线拟合为直线拟合的处理步骤 5、比较不同模型拟合所得的原剩余平方和，选最小者即为 所求。 1、选择回归模型。 根据实验数据散点图分布的特点以及所掌握的物理规 律，选择可线化函数的模型。见表9-7 (p.192) 2、作线性化变量变换后，按一元线性回归问题计算待定的 系数、原 y 的剩余平方和。 3、如果对拟合结果不满意，再选择其