ch07相关与回归分析

相关与回归分析 统计学原理 相关与回归的基本概念 相关分析 一元线性回归分析 多元线性回归分析 ( 回归诊断与残差分析 (主要介绍： 相关分析，回归技术，回归诊断方法。 要内容 相关与回归分析 相关与回归的基本概念 相关分析 一元线性回归分析 多元线性回归分析 ( 回归诊断与残差分析 (习目的 1，掌握相关与回归的基本概念 2，掌握相关分析技术 3，掌握一元线性回归方法 4，掌握多元线性回归方法 5，掌握回归诊断方法 相关与回归分析 相关与回归的基本概念 相关分析 一元线性回归分析 多元线性回归分析 ( 回归诊断与残差分析 (相关与回归分析 统计学原理 相关与回归的基本概念 相关分析 一元线性回归分析 多元线性回归分析 ( 回归诊断与残差分析 ( 关与回归的基本概念 确定性关系与相关关系 回归函数与经验方程 相关与回归分析 相关表与相关图 相关关系的种类 相关与回归分析 相关与回归的基本概念 相关分析 一元线性回归分析 多元线性回归分析 ( 回归诊断与残差分析 (返回 定性关系与相关关系 确定性关系也叫函数关系 。 Y (X=X t)， ( 即只要给定一个 X， 就可以确定一个 Y， 的值变化 ， 则变量 Y, 就是一种确定性的函数关系 。 Y (X=X t)是这两个变量之间的函数表达式 。 这个函数表达式 ， 对应着一个具体的因果数学定理 。 相关关系也叫统计关系或者经验关系 。 相关关系的特征是 ， “ 2个以上变量的变化方向大致是规则的 ” ， 变量 Y , 不是一种精确的确定性关系 ， 只是一个经验关系 Y (X=X t) + ； ( 是 (X=X t) 的偏差 ， 且总假定 E ( )= 0。 这种经验关系就是统计相关关系 。 统计相关关系 ， 常常表现为一种统计定律 。 统计定律和相关关系 ， 是相关回归分析的主要研究对象 。 相关与回归分析 相关与回归的基本概念 返回 归函数与经验方程 存在统计相关关系的变量 Y , 有 Y (X=X t) + ； ( 因为 ， E ( )= 0 ， 所以 ， E (Y |X= X t ) (X t) 是给定 X=X 的期望值 ， (X t) 就是 的期望函数 。 它实际反映的是 Y, 因为统计规律 ， 总是可以在日常的实践过程中 ， 不断回归重现 。于是 ， 期望函数 ， 也称为 的回归方程或回归函数 ， 记为 (X=X t) E (Y |X= X t ) ( 回归函数的具体表达式 ， 通常也叫经验函数或者经验公式 。 相关与回归分析 相关与回归的基本概念 返回 关与回归分析 相关与回归分析： 是研究相关关系的一种有力数学工具 。 它是建立在对客观事物进行大量试验和观察的基础上 ， 在不确定的现象中 ， 寻找隐藏的统计规律性的数理统计方法 。 具体步骤是： 第一步 ， 根据研究的目的 ， 通过观察和实验取得资料 。 第二步 ， 整理资料 。 分组编制相关表 ， 以便进行分析 。 第三步 ， 绘制相关图 。 把成对的相关资料 ， 绘成散布图或曲线图 ， 从图形中 ， 初步判断变量之间是否存在相关关系 ， 以及相关的基本形式 。 第四步 ， 相关关系的解析 。 建立回归方程 ， 计算估计标准误差 、相关系数等 ， 以反映变量之间的关系 、 误差大小及密切程度 ，并运用数理统计方法 ， 进行检验和评价 。 相关与回归分析 相关与回归的基本概念 返回 关表与相关图 相关表与相关图 ， 是研究相关关系的直观工具 。 一般在进行详细的定量分析之前 ， 可以先利用它们 ， 对现象之间存在的相关方向 、 形式和密切程度 ， 作大致的判断 。 相关表 ， 是一种反映变量之间相关关系的统计表 。 将某一变量 ，按其取值的大小顺序排列 ， 然后再将与其相关的另一变量的值 ，对应排列 ， 便可得到简单的相关表 。 利用相关表 ， 便可得到相关图 。 相关图又称散布图 。 它是以直角坐标系的横轴代表变量 X， 纵轴代表变量 Y ， 将两个变量的值 ，用坐标点 (Y t) 的形式描绘出来 ， 用来反映两变量之间相关关系的图形 。 相关与回归分析 相关与回归的基本概念 关表与相关图 【 例 7利用某国 1951可支配收入 可整理得相关表与相关图 。 相关与回归分析 相关与回归的基本概念 年份 序号 t 可支配收入 消费 1951 1 952 2 953 3 30 1954 4 955 5 956 6 957 7 958 8 959 9 960 10 350 961 11 962 12 963 13 75 1964 14 965 15 966 16 967 17 968 18 969 19 970 20 7 1 消费 Y 和可支配收入 Y X 0 200 200 600 400 400 600 返回 关关系的种类 按相关的程度可分为完全相关 、 不完全相关 、 不相关 按相关的方向可分为正相关 、负相关 按相关的形式可分为线性相关和非线性相关 按所研究的变量的多少可分为单相关 、 复相关和偏相关 相关与回归分析 相关与回归的基本概念 正线性相关 负线性相关 Y X 0 Y X =1+ 2X. 0 非线性相关 非线性相关 Y X 0 Y X 图 7 2 线性相关与非线性相关 0 返回 关分析 相关系数 相关系数与相关程度 相关系数的检验 等级相关系数及其检验 相关与回归分析 相关与回归的基本概念 相关分析 一元线性回归分析 多元线性回归分析 ( 回归诊断与残差分析 (返回 关系数 相关系数也叫单相关系数 。 它是在线性相关的条件下 ， 用来测定变量 Y , 通常以 表示总体的相关系数 ， 以 表示样本的相关系数 。 存在线性相关的变量总体 (Y , X)， 定义为 ( 式中： ,Y)是变量 的协方差 ， )和 )分别是 的方差 。 对来自总体 (Y , X)的 Y t, X t)， t=1,2,3, ,n， 记 为 ( 其中 =t,样本 (Y t, 协方差 ， 和 Y 的样本标准差 。 样本相关系数 ， 是根据样本观察值计算的 。 相关与回归分析 相关分析 o v,22,)()(),( .)()()(12121, 关系数 总体 值为常数 ， 在很多情况下 ， 是无法直接按定义计算的 ， 只能通过样本相关系数 ， 去估计 值 。 容易证明 ， 样本相关系数 ， 是总体相关系数 的一致估计量 。 可以证明 ， 存在线性相关的变量之间 ， 不论是总体相关系数 ， 还是样本相关系数 ， 均有 0 | 1， 0 | 1。 为便于计算 ， 引进如下符号： ( 相关与回归分析 相关分析 )(1)()()(1)()(1)(1111211212211212 关系数 【 例 7利用某国 1951和可支配收入 计算它们之间的相关系数 。 解：根据相关系数的公式 ， 有 于是 相关与回归分析 相关分析 年份 序号 t 可支配收入 消费 t t t 1951 1 952 2 953 3 30 2900 58098 1954 4 955 5 956 6 957 7 958 8 959 9 960 10 350 22500 105755 113820 1961 11 12359 962 12 26096 136820 1963 13 75 40625 151725 1964 14 965 15 04801 1966 16 38699 1967 17 968 18 16765 1969 19 64749 1970 20 22323 合计 - 471559 2888129 3166305 平均 - 73578 8893166305)(1)(2062888129)(8893471559)(1)(11121122112 9 6 8 1 5 9 9 5 0 6 3 6 7 2 L L返回 关系数与相关程度 如果 |=1， 表明 (Y , X )之间是完全线性相关 ， 完全线性相关 ， 是一种精确的线性函数关系； 如果 |=0， 表明 (Y , X )之间没有关系或者线性无关； 如果 0t/2， 拒绝 表示 Y, 相关与回归分析 相关分析 212 关系数的检验 作统计假设 零假设 =0， 备择假设 0。 计算样本相关系数 的 ， 选择显著性水平 ， 取 =1%或者 =5%。 根据 和自由度 1,求 1-/2(1,F/2(1,， 且 2(1,F/2(1, 2， 拒绝 表示 Y, 相关与回归分析 相关分析 关系数的检验 【 例 7利用某国 1951和可支配收入 ，在 =5%时 ， 是否可以认为 之间存在显著性的线性相关关系 。 解： 作统计假设 =0， 0。 计算样本相关系数 的 已知 =求得 t= 选择显著性水平 ， 取 =5%。 根据 和自由度 求得 t/2( 20因为 |t|=t/2=所以拒绝 示 Y, 相关与回归分析 相关分析 返回 级相关系数及其检验 等级相关系数 （ 又称为顺序相关系数 ） 。 设有 依数量的大小或者品质的优劣 ， 分为 1,2,3, , 以 VX, 以 VY, 则等级相关系数 ( 式中 ， 该公式可由两个等级变量的相关系数 ， 推导而来 。 与相关系数 类似 ， | s| 1。 存在正的等级相关关系 ， 存在负的等级相关 。 s=1， 表明两种现象的等级完全相同 ， 存在完全正相关； s=表明两种现象的等级完全相反 ， 存在完全负相关 。 相关与回归分析 相关分析 )1(61)1()(61 212212, 级相关系数及其检验 等级相关系数检验 。 当样本容量 n 20时 ， 可利用以下的 进行 ( 当总体等级相关系数 s =0时 ， 可以证明： 在给定显著性水平 下 ， 如果 |t| t/2( 接受 表示 Y, |t|t/2( 拒绝 表示 Y, 同样也可以参照样本相关系数 的检验方法 ， 构造新的统计量 检验 ， 或者直接查相关系数表检验 。 相关与回归分析 相关分析 212 级相关系数及其检验 【 例 7某校对学生某专业课程的复习时间和考试成绩进行调查 。 抽查 10同学的有关数据如下表 。 计算复习时间与考试成绩的相关系数和等级相关系数 。 根据以上结果 ， 能否得出复习时间越长考试成绩越高的结论 。 解： 相关与回归分析 相关分析 序号 t 复习时间 考试成绩 VX,t)2 时间 排队等级 VX,t 成绩 排队等级 VX,t 1 3 3 86 3 0 2 4 4 87 4 0 3 1 1 4 1 0 4 2 2 85 2 0 5 5 5 93 6 1 6 8 6 91 5 1 7 10 8 95 8 9 7 94 7 0 9 11 9 95 10 13 10 96 10 0 合计 - 55 - 55 级相关系数及其检验 解：首先对复习时间 按从小到大的顺序确定等级 。 对于 取其应得等级的平均数 。 其次 ， 计算相关系数 。 根据公式 ， 得 =t=在 =5%、 自由度 =条件下 ， 得 t/2(因为 |t|=t/2(表示Y, 难以判断复习时间 之间存在显著的线性关系 。 最后 ， 计算等级相关系数 s。 根据公式 ， 得 s =t s =在=5%、 自由度 =条件下 ， 得 t/2(因为 |t s |=t/2(表示 Y, 存在复习时间越长考试成绩越高的现象 。 相关与回归分析 相关分析 返回 元线性回归分析 标准的一元线性回归模型 一元线性回归模型的估计 一元线性回归模型的检验 误差项 一元线性回归模型的预测 相关与回归分析 相关与回归的基本概念 相关分析 一元线性回归分析 多元线性回归分析 ( 回归诊断与残差分析 (返回 准的一元线性回归模型 总体回归函数 设因变量为 Y， 自变量为 X；若 且服从如下的分布 YN (1+ 2X , 2) ( 式中 1， 2和 2是不依赖于 则方程 Y= 1+ 2X+ u ;u N (0， 2) ( 就称为 一元线性回归模型 （ 或称为相关方程 ） 。 其中 ， 是随机误差项 ， E ( ) = 0。 又由于 的函数 ， E ( YX ) = 1+ 2X ( 的取值决定 ， 因此 ， E (YX )是一个关于 它从平均意义上表达了 的统计规律性 ， 于是 ， E (YX )也可以作为 故 X = 1+ 2X ( 称为总体一元回归估计方程或者回归估计函数， 1， 2是这个回归方程中的回归系数，其图形表现为一条直线。 相关与回归分析 一元线性回归分析 准的一元线性回归模型 误差项 的标准假定 误差项的期望值恒为零 ， 即 E ( t0 ( 误差项的方差是同观察时点 即 tE ( t)= 2 ( 时点不同的误差项之间不相关 ， 即 t, s)=E ( t s )=0;ts ( 1， 2和 确定变量 ） ， 即 X, 不是有统计从属关系的随机变量 。 t, t)=E (t )=0 ( 即 t N (0， 2) ( 以上假定最早是由德国数学家高斯提出来的，也称为高斯假定或者标准假定。 相关与回归分析 一元线性回归分析 图 7 3 总体回归与随机误差 Y X = 1+ 2X. 0 Y= 1+ 2X+u u t 准的一元线性回归模型 满足以上 假定的一元线性回归模型，称为标准的一元线性回归模型。满足 假定的一元线性回归模型，称为标准线性正态回归模型。 应当指出的是 ， 在现实的情况是由于种种原因 ， 以上假定常常不能得到满足 。 其最一般的模型及回归函数为 Y= 1 + 2X +u , X = E ( YX ) = 1+2X ( E (u)=0, E( 2)= 2，Y与 均为非正态分布，我们以下的讨论均以 (为基础，其余变量的解释如前。 相关与回归分析 一元线性回归分析 图 7 3 总体回归与随机误差 Y X = 1+ 2X. 0 Y= 1+ 2X+u u t 准的一元线性回归模型 样本回归函数，就是根据样本资料 (X t)，对总体回归函数进行拟合的估计函数。由于样本 (X t)来源于总体 (Y, X )，因此，样本回归线与总体回归线，有相同的函数形式。由样本关系方程 ( 有样本回归函数 ( 式中 ， 和 它是对 E( t)的估计； 为样本回归系数 ， 是对总体回归系数的 1， 2的估计； t= 亦称残差 ， 是一个可计算的量； 是对 2的估计 。 样本回归函数是总体回归函数的近似反映 。 回归分析的主要任务 ， 就是充分利用样本的信息 ， 采用适当的方法 ， 使得样本回归函数 ， 尽可能接近真实的总体回归函数 。 相关与回归分析 一元线性回归分析 .,3,2,1;)(,0)(; 2221 221 , , . .,3,2,1; 21 返回 元线性回归模型的估计 回归系数的估计 最小二乘法 ， 简记为 它的准则是使 即 ( 由极值条件 ， 有联立方程 ( 整理得正规方程组 ( 相关与回归分析 一元线性回归分析 1221121221)(m ()(),(21(20)(2 元线性回归模型的估计 回归系数的估计 （续） 求解正规方程组 ， 得 ( 利用 ( ， 则最小二乘估计量 ， 又可简写为 ( 相关与回归分析 一元线性回归分析 )()()()(122221)()()()( 元线性回归模型的估计 【 例 7利用某国 1951和可支配收入 立消费对可支配收入的回归估计方程。 解：因为消费 之间是显著线性相关 ， 所以 ， 可以建立Y, Y= 1+ 2X +u , X = E ( YX ) = 1+ 2X 根据最小二乘估计方法 ， 得回归估计方程 X = S =2= ( ( d= 相关与回归分析 一元线性回归分析 元线性回归模型的估计 相关与回归分析 一元线性回归分析 年份 序号 t 可支配收入 消费 t t t X,t t=t 1951 1 952 2 953 3 30 2900 58098 954 4 955 5 956 6 957 7 958 8 959 9 960 10 350 22500 105755 113820 961 11 12359 962 12 26096 136820 963 13 75 40625 151725 964 14 965 15 04801 966 16 38699 967 17 968 18 16765 969 19 64749 970 20 22323 计 210 471559 2888129 3166305 均 73578 元线性回归模型的估计 最小二乘估计量的性质 可以证明 ， 在高斯假定能够得到满足的条件下 ， ( 其方差 ( 回归系数的最小二乘估计量 ， 是最优的线性无偏估计量和一致估计量 。 以上性质 ， 在文献中被称为高斯 马尔可夫定理 。 该定理表明 ， 在高斯假定条件下 ， 最小二乘估计量 ， 是一种最佳的估计方式 。 相关与回归分析 一元线性回归分析 .)(.)( 2211 )()1()(1()( 元线性回归模型的估计 随机误差项的方差估计 数学上可以证明 ， 2的无偏估计 ( 在一元线性回归模型中 ， 残差 1， 2最小二乘估计要求所导出的两个约束条件： ( 因而失去了 2个自由度 ， 所以 ， 残差 n 表明实际观测点与所拟的样本回归线的离差程度越小 ， 即回归线具有较强的代表性；反之 ， 表明实际观测点与所拟合的样本回归的离差程度越大 ， 即回归线的代表性较差 。 因此 ， 相关与回归分析 一元线性回归分析 2)(22)(1221121222 0)(;0)(20;0)(211221211211 元线性回归模型的估计 【 例 7利用例 7例 7 计算其消费对可支配收入回归估计方程的回归估计标准误差 。 解：已知 n=20,(Y)= (2888129, (XY)=3166305, ( 2)= ( (Y)- (XY) = 3166305 = ( 2)/(8= S= (X)=(X)/n= 另外可计算回归系数 1， 2估计值的标准差分别为 ( ( 上述结果如果用 相关与回归分析 一元线性回归分析 12111212 )( 返回 元线性回归模型的检验 回归模型检验的种类 包括理论意义检验 、 一级检验和二级检验 。 理论意义检验 ， 主要涉及参数估计值的符号和取值区间 ，如果它们与实质性科学的理论及其人们的经验不相符 ， 就说明模型不能很好地解释现实的现象 。 一级检验 ， 又称为统计学检验 ， 它是利用统计学的抽样理论 ， 来检验回归方程的可靠性 ， 具体可分为拟合程度评价和显著性检验 。 一级检验 ， 是所有回归分析必须通过的检验 。 二级检验 ， 又称为经济计量学检验 ， 它是对标准线性回归模型中的高斯假定条件能否满足 ， 进行检验 ， 具体包括序列相关 、 异方差性检验等 。 相关与回归分析 一元线性回归分析 元线性回归模型的检验 由于 ( 称为回归平方和 ， 是用回归直线无法解释的部分离差平方和 。 公式两端同除以 则 ( 显然 ， 各个样本观察值与样本回归线靠得愈近 ， 因此 ， 可定义这一比例为可决系数 ( 相关与回归分析 一元线性回归分析 121212 )()(1 122 11 元线性回归模型的检验 可决系数 2， 是对回归模型拟合程度的综合度量指标 ， 2越大 ， 模型拟合程度越高； 2越小 ， 模型拟合程度越差 。 可决系数 2具有如下性质： 0 2 1；当 样本观察值 (X t)都处于回归直线上时 ， ，2=1；当 观察值 (X t)并不全部处于回归直线上时 ， ， 0t /2， 拒绝零假设 表示 Y, 对一元线性回归模