第8章_方差分析和回归分析(数应)

1、第八章 方差分析和回归分析,方差分析 回归分析,教学目的和要求： 熟悉单因子方差分析 理解回归分析的基本思想，掌握一元线性回归模型,教学重点和难点: 重点：单因子方差分析和一元线性回归分析 难点：方差分析的运用及线性回归模型的建立和其显著性检验,8.1 方差分析,8.1.1 单因子方差分析,1. 提出问题 设某因子有r个水平，即为 ，在每一水平下各作m次独立重复试验，若记第 个水平下第 j 次重复的实验结果为 ，所有试验的结果可列于表如下：,对这个试验要研究的问题是：r个水平 间有无显著差异.,2、基本假设,（1）第 个水平下的数据 是来自正态总体 的一个样本.,（2） 个方差相同，即,（3）

2、诸数据 都相互独立,在这三个基本假定下，要检验的假设是,方差分析就是在方差相等的条件下，对若干个正态均值是否相等的假设检验.,称为组内平方和或误差平方和，其自由度,称为组间平方和或因子A的平方和，其自由 度,4、方差分析表,5、判断 在 成立的条件下， 对给定的显著水平 ，其拒绝域 为， 其中 可查表,若 ，则可以认为因子A显著，即诸正态均值间有显著差异；,若 ，则说明因子A不显著，即保留原假设,8.1.2 数据结构式及其参数估计,要检验的假设检验可改写为,水平均值 的估计,主效应 的估计,误差方差 的估计,8.2.3重复数不等情形下的方差分析,1、获得数据 设因子A有r个水平 ，并且第r个水

3、平 下重复进行 次试验，可得如下数据,2. 基本假定、平方和分解、方差分析和判断准则都和前面一样，只是因子A的平方和的计算公式略有不同：记 ，则,3. 数据结构式及参数估计式基本同前，需要注意下面两点：,（1）总均值,（2）主效应约束条件为,8.2 线性回归分析,8.2.1 一元情形,以前我们所研究的函数关系是完全确定的，但在实际问题中，常常会遇到两个变量之间具有密切关系却又不能用一个确定的数学式子表达，这种非确定性的关系称为相关关系。通过大量的试验和观察，用统计的方法找到试验结果的统计规律，这种方法称为回归分析.,一元回归分析是研究两个变量之间的相关关系的方法。如果两个变量之间的关系是线性的

4、，这就是一元线性回归问题。一元线性回归问题主要分以下三个方面：,（1）通过对大量试验数据的分析、处理，得到两个变量之间的经验公式即一元线性回归方程.,（2）对经验公式的可信程度进行检验，判断经验公式是否可信.,（3）利用已建立的经验公式，进行预测和控制.,1散点图与回归直线 在一元线性回归分析里，主要是考察随机变量 y 与普通变量 x 之间的关系。通过试验，可得到x、y 的若干对实测数据，将这些数据在坐标系中描绘出来，所得到的图叫做散点图.,例1 在硝酸钠（NaNO3）的溶解度试验中，测得在不同温度x（）下，溶解于100份水中的硝酸钠份数 y 的数据如下：,给出散点图并试建 x 与 y 的经验

5、公式.,解：将每对观察值（xi，yi）在直角坐标系中描出，得散点图. 从图可看出，这些点虽不在一条直线上，但都在一条直线附近.,于是，很自然会想到用一条直线来近似地表示 x 与 y 之间的关系，这条直线的方程就叫做 y对 x 的一元线性回归方程。设这条直线的方程为 其中 a、b 叫做回归系数（表示直线上 y 的值与实际值 yi 不同）,下面是怎样确定 a 和 b ，使直线总的看来最靠近这几个点.,2最小二乘法,在一次试验中，取得 n 对数据（xi，yi），其中 yi 是随机变量 y 对应于 xi 的观察值. 我们所要求的直线应该是使所有 之和最小的一条直线，其中 . 由于绝对值在处理上比较麻烦

6、，所以用平方和来代替，即要求a、b的 值使 最小。利用多元函数求极 值的方法求回归系数 ，得,其中,从而得到一元线性回归方程 ，其中 称为参数 a、b 的最小二乘估计，上述方法叫做最小二乘估计法.,下面计算例1中 y 对 x 的一元线性回归方程. 这里 n=9，（xi，yi）由例1给出，计算出,故所求回归方程为,3. 回归方程的显著性检验,一般的情况下，给定 n 对数组，总是能建立一个方程，因为完全可以按公式做，但是这个方程是否有效，还需作检验，也就是说回归的显著不显著需要检验. 若回归方程中 ，则回归方程变成 不再与 x 有关，因此 是否为零是检验的原假设与备择假设，为了寻求检验的统计量.,

7、我们把总体平方和分解，令,称为剩余平方和 称为回归平方和,再来分析它们的分布,若能求出 的自由度，则 的自由度也就知道了.,为了求 的自由度，只要求出的 数学期望就可. 由于,又 成立条件下,因而,又写成,在 ，若统计量 ，回归显著，否定,4. 相关性检验 在使用由试验数据求出回归方程的最小二乘法之前，并没有判定两个变量之间是否具有线性的相关关系. 因此，即使在平面上一些并不呈现线性关系的点之间，也照样可以求出一条回归直线，这显然毫无意义. 因此，我们要用假设检验的方法进行相关关系的检验，其方法如下：,（1）假设H0：y 与 x 存在密切的线性相关关系,（2）计算相关系数,（3）给定 ，根据自

8、由度 ，查项关系数 表，求出临界值,（4）作出判断：如果 时，接受假设H0，即认为在显著性水平 下，y 与 x 的线性相关关系较显著；,如果 时，则可认为在显著性水平 下，y 与 x 的线性相关关系不显著，即拒绝假设H0 .,5. 预测与控制 在求出随机变量 y 与变量 x 的一元线性回归方程，并通过相关性检验后，便能用回归方程进行预测和控制.,（1）预测 点预测：对给定的x=x0，根据回归方程求得 ，作为 的预测值，这种方法叫做点预测.,区间预测：区间预测就是对给定的 x=x0，利用区间估计的方法求出 y0 的置信区间. 对给定的 x=x0，由回归方程可计算一个回归值,一般地（特别当 n 很

9、大时） 相互独立，而且服从同一正态分布,可以证明，统计量 是 的无偏估计量，其中,从而可近似地认为,于是，我们得到 y0 的95%预测区间为,于是，我们得到 y0 的99%预测区间为,上述预测区间在 n 较大且 较小时适用.,（2）控制 控制是预测的反问题，就是如何控制 x 值使 y 落在指定范围内，也就是给定 y 的变化范围求 x 的变化范围,如果希望 y 在区间（y1，y2）内取值（y1 与y2 已知），则x的控制区间的两个端点 x1、x2可由下述方程解出,当回归系数 时，控制区间为（x1，x2） 当 时，控制区间为（x2，x1）,应当指出下面两点： （1）y的取值范围一般仅限于在已试验过

10、的y的变化范围之内，不能任意外推,（2）对y的指定区间（y1，y2）不能任意小，按上面的方程组计算时，y1、y2必须满足 时，所求的 x 的控制区间才有意义,8.2.2 多元线性回归,实际应用中，很多情况要用到多元回归的方法才能更好地描述变量间的关系，因此有必要在本节对多元线性回归做一简单介绍，就方法的实质来说，处理多元的方法与处理一元的方法基本相同，只是多元线性回归的方法复杂些，计算量也大得多，一般都用计算机进行处理.,1、多元线性回归的模型,设因变量 y 与自变量 之间有关系式,抽样得 n 组观测数据,其中 是自变量 的第 j 个观测值， 是因变量 y 的第 j 个值，得模型的数据结构式,

11、上述模型即称为 k 元正态线性回归模型，其中 及 都是未知待估的参数，对 k 元线性模型，需讨论的问题与一元时相同.,其中,通常称该方程为正规方程组，其中前 k 个方程的系数矩阵记为 ，当 可逆时，正规方程组有解，便可得 的最小二乘估计 .,即,代入模型，略去随机项得经验回归方程为,类似一元可以证明 都是相应的 的无偏估计，且 的无偏估计为,3. 回归方程的显著性检验,与一元的情形一样，上面的讨论是在 y 与 之间呈现线性相关的前提下进行的，所求的经验方程是否有显著意义，还需对 y 与诸 间是否存在线性相关关系作显著性假设检验，与一元类似，对 是否有显著意义，可通过检验,为了找检验H0的检验统计量，也需将总偏差平方和 作分解,这里 . 分别称 为残差平方和、回归平方和，可以证明,取F作H0的检验计量，对给定的水平 ，查 分布表可