简单相关与简单回归

第九章 简单相关与简单回归 本章主要介绍简单相关和简单回归的基本概念；相关系数、回归方程的推导和相应的计算公式；相关系数和回归系数的显著性检验；等级相关；回归分析的用途和注意事项 第一节 概念 复习：数学中的函数关系 自然界中：现象之间的关系 性状之间的关系 依变量和因变量之间的关系： 人的身高与年龄的关系 疫病的发生与消毒的关系 等等 这些关系在取得数据后可以进行量化、也可以用某一个关系式来表示，这就是 相关 和 回归 y f x 2 2 12A a b变量之间的关系有以下几种： 两个变量的关系： 与 简单相关（线性关系） 曲线相关（非线性关系） +多项式 多个变量的关系： 多元相关（线性关系） 与 （非线性关系） 典范相关 与 y 2.、12.、 12.、 第二节 相关关系 一、相关系数的确定 对某一个样品，同时测量其两个指标（或性状），得到两个变量，一个记为 x，另一个记为 y 每一样品就有一对 x和 y，共观测了 而记录了 x， y） 将这 x， y）在一个直角坐标系内描点，并观察这些点的位置、排列和趋向 这些点排列得越整齐，表明这两个变量的关系越紧密，即这两个指标的关系越密切 反之，则表示这两个指标的关系越松散 （A ） 无相关（r = 0 ）0510152025300 5 10 15B ) 正相关（r 0 ）024681012140 5 10 15C ) 负相关（r 0 时， x 增大， y 也增大，即两变量为正相关 b 2 = 1 = 3 = = = 1 = 3 = 1 = 2 = 3 = 如果输入一个 x，希望得到一个 y 的估计值： x 如果输入一个 y，希望得到一个 x 的估计值： y 2 = 1 = 四、回归系数与相关系数的关系 即相关系数是标准化了的回归系数 同理，可得 两者相乘， 即 即为前面讨论过的决定系数 即相关系数是两个方向相反的回归系数的几何平均值 yy y xy x y xx x yx y xx x S S S S s S Pb r r s S S S S S S S y x x yr b b y x x yr b b2 相关系数是一个纯量，没有单位， 回归系数是有单位的： 相关系数没有方向， 回归系数是有方向的： 为 y 对 x 的回归， 为 x 对 y 的回归 相关系数的分布范围为： 回归系数的分布范围为： 两者的关系： 1, 1 , 2y x x yr b by x x yr b b、直线回归的估计标准误 （一）总平方和的剖分 的建立，表示了 x 与 y 的关系及其变化规律 每一个 y 都存在着变异，这一变异的大小可用 y 的离均差平方和 表示 又称为总平方和，即 y a b x 2 22 2 y y y n 2结合每一个 ， 可分为两部分： 其中： 2 2222222y y y y y yy y y y y y y yy y y y 0y y y y y 称为回归平方和，它是由 x 的变化所引起的 y 的变化 它反映了总变异中由于 x 与 y 的线性关系所引起的 y 的变化部分，可用 U 表示 2 2U y y 称为离回归平方和，用 Q 表示，这是建立直线回归方程的依据： 它是实际观测值与预测值之间的离差，是 x 对 y 线性关系以外的一切因素对 y 变异的作用 因此， 22 2 y y b S S b S P 222y y y S S b S P S U S S b S S 2 2y y Q U 2Q y y回归平方和 U 和离回归平方和 Q 的大小可用来检验回归效果的好坏 U 在总平方和中的比例（就是决定系数 ）越大，说明由 x 预测 y 的准确性就越高 即 即总平方和可以剖分成两部分：相关平方和 ，和非相关平方和 2 222221yy y x yy y y yU b S P S r S S S S S S S U S S r S S r S S 22 1y y r S S r S S 2二）直线回归方程的估计标准误 表示了 x 对 y 线性影响之外的一切因素对 y 变异的作用 因此， Q 越大，方程的预测效果就越差，即观测值离回归直线愈远，因此可以用 Q 来估计直线回归的标准误： 2Q y y 2 212 2 2 n n 在上例中： 2 22 6095 3 4 2 7 4 4 47 0 4 3b 220 . 9 5 9 7 0 . 9 2 0 9r 2 22 3151 4 8 7 5 7 0 07 3 1 5 6 0 92 7 9 4 0 5 3 57 x 225354 0 8 . 8 9 2 9700 4 4 4 4 0 8 . 8 9 2 9 3 5 . 1 0 7 1 S U 因此，该例的回归直线估计标准误为： 3 5 . 1 0 7 12 . 6 4 9 872 六、直线回归的假设检验 （一）直线回归关系或回归系数的 本 是对总体 的估计 因此，应对 进行检验，检验该样本直线回归来自无直线回归关系的总体的概率 当这一概率 p，才能认为样本回归方程所代表的总体的确存在着直线回归关系 这就是回归关系的假设检验 设立无效假设 回归系数 b 的标准误 y a b x 0 :0H 0 y a b x进行 上例中： 即我们有 99% 的把握认为这一总体回归是存在的 2d f n2 . 6 4 9 8 7002 . 6 4 9 8 0 . 1 0 0 27000 . 0 1 , 50 . 7 6 4 3 7 . 6 2 8 4 . 0 3 20 . 1 0 0 2 0 p显然，我们可以看出，对相关系数的检验和对回归系数的检验两者是同步的 因此， r 显著， b 必显著；反之 b 显著， r 亦必显著 由于对 r 的检验只需查表即可，比较容易，因此只需对 r 检验即完成检验工作 相关分析和回归分析的一般程序是： 首先作相关分析；对相关系数进行显著性检验；若相关系数显著，进行回归分析 （二）回归关系的方差分析 可分解成回归平方和 U 和离回归平方和 Q 也可分解成回归自由度 和离回归自由度 因此，可用方差分析来检验线性回归关系的显著性 方差分析的公式是： 我们也可以写出相应的方差分析表 2Qd f n 22 S Sd f d f上例中， 由于对回归方程的方差分析其 F 值等于对回归系数进行 t 的平方 因此，对回归关系的方差分析等同于对回归系数的 对回归系数的 等同于对相关系数的 此在实际操作中，只需对相关系数 r 进行显著性检验就可以了 2 2 27 2 5 3 55 8 . 2 3 5 1 7 . 6 33 5 . 1 0 7 1 7 0 0 （ 三）回归系数的置信区间 遵循 的 此，总体 的95%置信区间为： 上例中： 同理： 回归系数也可以写成 的形式 上例： 2d f n1 0 . 0 5 bL b t s2 0 . 0 5 bL b t s1 0 . 7 6 4 3 2 . 5 7 1 0 . 1 0 0 2 0 . 5 0 6 7L 2 0 . 7 6 4 3 2 . 5 7 1 0 . 1 0 0 2 1 . 0 2 1 9L 95%0 . 5 0 6 7 , 1 . 0 2 1 9 99%0 . 3 6 0 3 , 1 . 1 6 8 3 . 7 6 4 3 0 . 1 0 0 2 第四节 直线相关与直线回归分析的应用和注意点 一、相关分析和回归分析的应用 1、应用相关系数和回归分析能更全面地分析问题 2、进行预测预报 3、进行间接估测 4、校正 5、回归分析与方差分析相结合进行协方差分析 二、应用相关系数和回归分析的注意事项 1、变量间是否存在相关，必须结合专业知识和实践经验加以判断 2、两变量间的相关系数如不显著，不等于两变量间无相关，仅说明线性关系不显著，因此必要时应寻找其他类型的相关和回归，如非线性相关 3、相关系数显著，且同时存在 时才能将回归方程用于预测预报 4、估计两变量间的相关时，必须将其余可能对这一相关产生影响的变量严格地控制起来 2 0 r 5、样本量应尽可能大一些，简