第八章 相关与回归分析.ppt

统计学 STATISTICS 高等学校应用型特色规划教材 清华大学出版社 第八章相关与回归分析 第一节相关与回归分析的基本概念 第三节一元线性回归分析 第四节多元线性回归分析 学习目标 通过对本章的学习 重点掌握回归分析的估计和检验方法 掌握相关分析的种类及三种相关系数的计算方法 在此基础上能够运用相关分析和回归分析的基本方法解释实际社会经济问题 重点与难点 相关系数的计算及其检验 多元线性回归分析 第五节非线性回归分析 第二节相关分析 第一节相关与回归分析的基本概念 一 函数关系 一 相关关系与函数关系 第八章相关与回归分析 函数关系是指现象之间存在着严格的依存关系 亦即当其它条件不变时 对于某一自变量或几个自变量的每一数值 都有因变量的一个的确定值与之相对应 并且这种关系可以用一个确定的数学表达式反映出来 第一节相关与回归分析的基本概念 二 统计关系 一 相关关系与函数关系 第八章相关与回归分析 统计关系不同于函数关系 当重复观测时 观测点不是完全落在统计关系曲线上 而是围绕统计关系曲线散布 统计关系可以表示为确定部分和随机性部分二者之和 这是回归分析的基础 案例分析 相关关系与因果关系 一家研究机构有一项惊人的发现 统计数据显示 脚长的儿童拼写能力比脚短的儿童强 原来他们调查的是一群年龄不同的儿童 脚长的儿童比脚短的儿童年龄大 赶快回去量一下儿子的脚长 我要把脚拉长一点 按涉及变量的多少分为 相关关系的种类 按照表现形式不同分为 按照变化方向不同分为 二 相关分析的种类 第八章相关与回归分析 4 按相关的程度分为 相关关系的种类 5 按变量之间因果关系的方向分为 第八章相关与回归分析 第一节相关与回归分析的基本概念 第八章相关与回归分析 三 相关分析与回归分析 回归分析是关于研究一个叫做因变量的变量对另一个或多个叫做解释变量的依赖关系 相关分析是测度两个变量之间的线性关联度的 并用一些指数 相关系数 表示相关程度 第一节相关与回归分析的基本概念 第八章相关与回归分析 三 相关分析与回归分析 相关分析中x与y对等 回归分析中x与y要确定自变量和因变量 相关分析中x y均为随机变量 回归分析中只有y为随机变量 相关分析测定相关程度和方向 回归分析用回归模型进行预测和控制 区别 第一节相关与回归分析的基本概念 第八章相关与回归分析 三 相关分析与回归分析 联系 相关分析是回归分析的基础和前提 回归分析是相关分析的深入和继续 第一节相关与回归分析的基本概念 第八章相关与回归分析 四 相关表与相关图 一 简单相关表 将某一变量按其取值的大小排列 然后再将与其相关的另一变量的对应值平行排列 便得到简单的相关表 第一节相关与回归分析的基本概念 第八章相关与回归分析 八个同类工业企业的月产量与生产费用 第一节相关与回归分析的基本概念 第八章相关与回归分析 四 相关表与相关图 二 分组相关表 单变量分组表双变量分组表三变量分组表 第一节相关与回归分析的基本概念 第八章相关与回归分析 1 单变量分组表 表某纺织厂工人看管织机台数和时劳动生产率相关表 第一节相关与回归分析的基本概念 第八章相关与回归分析 2 双变量分组表 表居住时间与对百货商场的熟悉程度的双变量分组表 第一节相关与回归分析的基本概念 第八章相关与回归分析 3 三变量分组表 假定对于某项私家车购买意向的调查 最初以教育水平和私家车拥有情况进行分析 对1000人调查的结果用二维列联表表示如 第一节相关与回归分析的基本概念 第八章相关与回归分析 3 三变量分组表 表教育程度和私家车拥有状况的双变量分析 第八章相关与回归分析 从上表中可以看出 文化程度越高的人拥有私家车的比例越高 这和实际情况不太相符 于是我们引入收入变量 作三变量的交叉列表分析 教育程度 收入与私家车拥有状况的三变量分析 正相关 负相关 曲线相关 不相关 第八章相关与回归分析 三 相关图 第八章相关与回归分析 第二节相关分析 一 简单相关系数及其检验 一 简单相关系数的定义 简单相关系数简称相关系数 是测量两个变量之间线性相关的方向和程度的指标 总体相关系数的表达式为 式中 为变量X与变量Y的协方差 为变量Y的方差 为变量X的方差 第八章相关与回归分析 第五节相关分析 一 简单相关系数及其检验 一 简单相关系数的定义 样本相关系数 是总体相关系数 的估计值 简单相关系数通常采用下面的计算公式 相关系数r的取值范围 1 r 1 r 0为正相关 r 0为负相关 r 0表示不存在线性关系 r 1表示完全线性相关 0 r 1表示存在不同程度线性相关 r 0 4为低度线性相关 0 4 r 0 7为显著性线性相关 0 7 r 1 0为高度显著性线性相关 第八章相关与回归分析 第八章相关与回归分析 第五节相关分析 一 简单相关系数及其检验 二 简单相关系数的检验 样本相关系数的检验有两种方法 直接检验法 检验法 相关系数的显著性检验 t检验法 提出假设 目的 检验总体两变量间线性相关性是否显著 步骤 构造检验统计量 第八章相关与回归分析 相关系数的显著性检验 t检验法 根据给定的显著性水平 确定临界值 计算检验统计量并做出决策 确定原假设的拒绝规则 若 则接受H0 表示总体两变量间线性相关性不显著 若 则拒绝H0 表示总体两变量间线性相关性显著 步骤 第八章相关与回归分析 第八章相关与回归分析 例 检验生产量与生产费用之间的线性相关性是否显著 当成立时 则统计量 第八章相关与回归分析 第五节相关分析 二 复相关系数 复相关系数是测量一个变量与其它多个变量之间线性相关程度的指标 为了测定一个变量y与其它多个变量之间的相关系数 可以考虑构造一个关于的线性组合 通过计算该线性组合与之间的简单相关系数作为变量与之间的复相关系数 具体计算过程如下 第一步 用y对 作回归 得 第八章相关与回归分析 第五节相关分析 第二步 计算y和 的简单相关系数 此简单相关系数即为y与 之间的复相关系数 复相关系数的计算公式为 第八章相关与回归分析 第五节相关分析 二 复相关系数 复相关系数与简单相关系数的区别是简单相关系数的取值范围是 1 1 而复相关系数的取值范围是 0 1 这是因为 在两个变量的情况下 回归系数有正负之分 所以在研究相关时 也有正相关和负相关之分 但在多个变量时 偏回归系数有两个或两个以上 其符号有正有负 不能按正负来区别 所以复相关系数也就只取正值 第八章相关与回归分析 当两个变量同时受其它变量影响时 有必要研究当控制其它变量不变时 该两个变量之间的相关关系 这种相关关系被称为偏相关关系 第五节相关分析 三 偏相关系数 计算偏相关系数的原因在于任何两个变量这间的相关关系都可能受其余变量的影响 要考察两个变量之间的纯相关关系 必须排除其余变量的影响 或者说必须使其余变量保持不变 第八章相关与回归分析 第五节相关分析 三 偏相关系数 偏相关系数的计算是以回归分析为基础的 以三个变量的情形为例 此种情况下 的偏相关系数有三个 分别记作 和之间的相关系数 第八章相关与回归分析 第五节相关分析 计算残差 此时 中不再含有 对 的影响 第二步 求 对 的回归估计式 计算残差 此时 中不再含有 对 的影响 第一步 求 对 的回归估计式 第八章相关与回归分析 第五节相关分析 第三步 计算 和 的简单相关系数 由于 和 中都不再包含 的影响 因此 和 的简单相关系数就是 保持不变时 与 之间的相关系数 所以偏相关系数 第八章相关与回归分析 第五节相关分析 三 偏相关系数 可以证明 第八章相关与回归分析 第五节相关分析 三 偏相关系数 类似的 当变量个数多于3个时 求偏相关系数的原则不变 即应先排除其余变量对所考察两个变量的影响 然后求这两个变量之间的简单相关系数 只是变量越多 数学处理以及偏相关系数的表达式就越复杂 第二节一元线性回归分析 第八章相关与回归分析 一 一元线性回归分析随机误差项的基本假定 在回归分析中 最简单最基本的单方程模型为一元线性回归模型 一元线性回归分析的总体回归模型为 为常数项或截距项 为斜率系数 是随机误差项 又称随机干扰项 第二节一元线性回归分析 第八章相关与回归分析 一 一元线性回归分析随机误差项的基本假定 第二 模型的设定误差 在线性回归模型中加入随机误差项是基于以下原因 第一 模型不可能包含所有的解释变量 第三 测量误差的影响 第四 其他随机因素的影响 第二节一元线性回归分析 第八章相关与回归分析 一 一元线性回归分析随机误差项的基本假定 线性回归模型由两部分构成 确定性部分和随机性部分 为确定性部分 称为对于给定值的期望值 可以写为 上式被称为总体线性回归方程 第二节一元线性回归分析 第八章相关与回归分析 一 一元线性回归分析随机误差项的基本假定 满足以下假定的线性回归模型称为古典 或经典 线性回归模型 假定1 回归模型是正确设定的假定2 解释变量是非随机的假定3 随机误差项的均值为零假定4 随机误差项的方差为一个不变的常数 等方差假定 假定5 随机误差项的观测值互不相关 非序列相关假定 假定6 解释变量与随机误差项不相关假定7 随机误差项服从正态分布假定8 没有一个解释变量是其他任何解释变量的完全线性组合 无多重共线性假定 只适用于多元线性回归模型 第二节一元线性回归分析 第八章相关与回归分析 二 一元线性回归模型的估计 最小二乘法的意义在于使 为了得到这些估计值而最为广泛使用的方法就是普通最小二乘法 为样本回归方程 称为回归残差 残差 Residual 第二节一元线性回归分析 第八章相关与回归分析 二 一元线性回归模型的估计 根据微积分的极值定理 对求相应于 的偏导数 并令其等于0 即可求得 b与r的关系 第八章相关与回归分析 第二节一元线性回归分析 第八章相关与回归分析 二 一元线性回归模型的估计 样本回归直线具有下述性质 第一 它通过y和x的样本平均数和确定的那一点 第二 的平均值和的平均值相等 第三 残差的平均值是零 第四 残差和不相关 第五 残差与x不相关 分析 因为工业总产值与能源消耗量之间存在高度正相关关系 所以可以拟合工业总产值对能源消耗量的线性回归方程 例 建立工业总产值对能源消耗量的线性回归方程 第八章相关与回归分析 第八章相关与回归分析 即线性回归方程为 计算结果表明 在其他条件不变时 能源消耗量每增加一个单位 十万吨 工业总产值将增加0 7961个单位 亿元 第二节一元线性回归分析 第八章相关与回归分析 二 一元线性回归模型的估计 在回归分析中 不要试着对常数项进行解释 原因有两点 首先 随机误差项部分地是由于忽略了许多边缘自变量而生成的 这些变量的平均效应被置于常数项中 其次 常数项是当所有自变量与误差项为0时 因变量的值 但是自变量与随机误差项的值几乎从不等于0 因为用作经济分析的变量通常是正的 第二节一元线性回归分析 第八章相关与回归分析 二 一元线性回归模型的估计 2 大样本性质 无偏性 二 一元线性回归模型最小二乘估计量的性质 1 小样本性质 线性 有效性 渐近无偏性 一致性 第二节一元线性回归分析 第八章相关与回归分析 三 一元线性回归模型的拟合程度分析 一 一元线性回归模型的判定系数 第八章相关与回归分析 剩余离差平方和 回归离差平方和 总离差平方和 第二节一元线性回归分析 第八章相关与回归分析 三 一元线性回归模型的拟合程度分析 可以证明 对上式两边分别平方加总后等式仍然成立 即 一 一元线性回归模型的判定系数 可简写为 TSS ESS RSS 第二节一元线性回归分析 第八章相关与回归分析 三 一元线性回归模型的拟合程度分析 判定系数测度了回归直线对观测数据的拟合程度 记为 一 一元线性回归模型的判定系数 判定系数与相关系数的关系 第八章相关与回归分析 判定系数与相关系数的区别 判定系数无方向性 相关系数则有方向 其方向与样本回归系数b相同 判定系数说明变量值的总离差平方和中可以用回归线来解释的比例 相关系数只说明两变量间关联程度及方向 第八章相关与回归分析 第二节一元线性回归分析 第八章相关与回归分析 三 一元线性回归模型的拟合程度分析 估计标准误差是指实际值与估计值的平均离差 其定义公式如下 二 一元线性回归模型的估计标准误 估计标准差越小 则变量间相关程度越高 回归线对Y的解释程度越高 第二节一元线性回归分析 第八章相关与回归分析 四 一元线性回归模型的显著性检验 根据正态分布下最小二乘估计量的性质 可求出的抽样分布为 一 回归系数的显著性检验 回归系数的显著性检验就是要检验自变量对因变量的影响程度是否显著的问题 若总体回归系数 则总体回归线就是一条水平线 说明两个变量之间没有线性关系 即自变量的变化对因变量没有影响 第二节一元线性回归分析 第八章相关与回归分析 四 一元线性回归模型的显著性检验 1 建立原假设假设样本从一个没有线性关系的总体中选出 即 一 回归系数的显著性检验 2 计算检验统计量t值 其中 第二节一元线性回归分析 第八章相关与回归分析 四 一元线性回归模型的显著性检验 4 得出检验结果 一 回归系数的显著性检验 3 确定显著性水平 一般取 0 05 并根据自由度查分布表 找出相应的临界值 表明自变量x对因变量y的影响是显著的 拒绝 若 第二节一元线性回归分析 第八章相关与回归分析 四 一元线性回归模型的显著性检验 二 回归方程总体显著性的F检验 F检验的基本步骤为 1 建立原假设备择假设 由于备择假设和原假设是对立的 所以备择假设为 至少有一个 不为0 2 计算F统计量 第二节一元线性回归分析 第八章相关与回归分析 四 一元线性回归模型的显著性检验 在原假设成立的条件下 F统计量服从第一个自由度为 第二个自由度为的F分布 在一元回归下 F统计量简化为 第二节一元线性回归分析 第八章相关与回归分析 四 一元线性回归模型的显著性检验 3 确定显著性水平a 一般取a 0 05 并根据两个自由度查F分布表 得到相应的临界值 则接受原假设 说明回归方程在整体上不显著 4 得出检验结果 若 则拒绝 说明回归方程在整体上是显著的 若 第八章相关与回归分析 多元线性回归模型的一般表示式为 与多元线性回归模型相对应的总体回归方程为 样本回归模型为 第三节多元线性回归分析 一 多元线性回归模型 一 多元线性回归模型的矩阵表示 样本回归方程为 第八章相关与回归分析 第三节多元线性回归分析 假设为了得到未知参数的估计值 我们对被解释变量和解释变量进行了n次观测 代入多元线性回归模型 可得n个随机模型 一 多元线性回归模型 一 多元线性回归模型的矩阵表示 第八章相关与回归分析 为了使多元线性回归分析和计算更方便 更简洁 可以用矩阵形式表示 第三节多元线性回归分析 一 多元线性回归模型 一 多元线性回归模型的矩阵表示 第八章相关与回归分析 第三节多元线性回归分析 定义 依照矩阵运算法则 上式可表示为 类似的 定义 第八章相关与回归分析 我们把基本假定用矩阵的形式表示出来 第三节多元线性回归分析 一 多元线性回归模型 二 多元线性回归模型的基本假定 1 零均值假定可以表示为 第八章相关与回归分析 第三节多元线性回归分析 2 同方差和无序列相关可以表示为 第八章相关与回归分析 4 解释变量与随机误差项不相关假定可表示为 或 第三节多元线性回归分析 3 随机误差项服从正态分布可以表示为 解释变量之间不存在多重共线性可表示为 如果上成立 至少有k 1 阶子式不为零 表明解释变量之间 也就是要求系数行列式 不存在线性相关关系 等价于 第八章相关与回归分析 由样本回归模型和样本回归方程 可得残差向量为 第三节多元线性回归分析 二 多元线性回归模型的估计 一 参数的普通最小二乘估计 对上式两边分别对 求一阶导数 并令一阶偏导数为零 得 由假定 可以得到参数估计量为 第八章相关与回归分析 第三节多元线性回归分析 二 多元线性回归模型的估计 一 参数的普通最小二乘估计 对上式两边分别对 求一阶导数 并令一阶偏导数为零 得 由假定 可以得到参数估计量为 第八章相关与回归分析 第三节多元线性回归分析 二 多元线性回归模型的估计 二 参数普通最小二乘估计量的性质和分布 在多元线性回归条件下 参数的最小二乘估计仍然具有线性 无偏性和最小方差性 由于 可以看出 具有线性特性 稍加变换 它还是 的线性组合 由此可见 是无偏的 第八章相关与回归分析 在无偏性的基础上 我们可以得到的方差 协方差矩阵 第三节多元线性回归分析 二 多元线性回归模型的估计 二 参数普通最小二乘估计量的性质和分布 第八章相关与回归分析 第三节多元线性回归分析 二 多元线性回归模型的估计 二 参数普通最小二乘估计量的性质和分布 由于 的线性组合 而 假定是服从正态分布的 所以 也是服从正态分布的 即 由于 是不可观测的 所以其方差没有办法计算出来 因此 的方差 协方差矩阵的估计值为 是 只能进行估计 可以证明 第八章相关与回归分析 在多元线性回归模型中 总平方和仍可分解为回归平方和和残差平方和 第三节多元线性回归分析 三 多元线性回归模型的检验 一 拟合优度检验 三个平方和的矩阵表示分别为 第八章相关与回归分析 多元线性回归判定系数仍表示为回归平方和与总平方和之比 即 第三节多元线性回归分析 三 多元线性回归模型的检验 一 拟合优度检验 调整的判定系数 定义为 第八章相关与回归分析 在一元线性回归中 总体回归方程的显著性检验和斜率参数的显著性检验是等价的 这可以从两类检验的原假设上得到说明 但在多元线性回归中 由于存在多个解释变量 参数的显著性检验不再等价于总体回归方程的显著性检验 第三节多元线性回归分析 三 多元线性回归模型的检验 二 总体回归方程的显著性检验 第八章相关与回归分析 第一步 计算检验统计量 第三节多元线性回归分析 三 多元线性回归模型的检验 三 参数的显著性检验 具体作法是 将 进行标准化 标准化后的变量服从标准正态分布 第八章相关与回归分析 则拒绝原假设 认为解释变量 若 第三节多元线性回归分析 三 多元线性回归模型的检验 三 参数的显著性检验 第二步 确定显著性水平 查表确定临界值 对应变量的影响是显著的 在原假设成立的情况下 该统计量服从 个自由度的分布 第八章相关与回归分析 第四节非线性回归分析 一 非线性回归模型的定义 非线性回归分析模型的本质 取决于可否通过某种数量变换或数学变换化成线性回归模型 并从而可进行OLS估计 非线性回归模型可以表示为 其中 是期望函数 是第t个自变量向量 第八章相关与回归分析 4 S型曲线模型 第四节非线性回归分析 二 可线性化的非线性回归模型的估计 1 双曲线模型 2 二次多项式模型 3 半对数和双对数模型 5 其它非线性模型 第八章相关与回归分析 对于不可线性化的非线性回归模型 可采用非线性最小二乘法或非线性极大似然法进行估计 第四节非线性回归分析 三 不可线性化的非线性回归模型的估计 如果只包含一个未知参数 则可写成下面的形式 对于 相对应的残差平方和为 使上式达到最小的 即为非线性最小二乘估计量 第八章相关与回归分析 第四节非线性回归分析 三 不可线性化的非线性回归模型的估计 应该满足以下条件 即 根据极值理论 第八章相关与回归分析 高斯 牛顿法的计算步骤如下 第四节非线性回归分析 第二步 令 将第二步代入第一步得 第八章相关与回归分析 第四节非线性回归分析 三 不可线性化的非线性回归模型的估计 第三步 对上面模型进行最小二乘估计 得到 的第一步估计值 第一次迭代值 第四步 用 代替第一步中的 直到收收敛为止 重复一至四步 第八章相关与回归分析 本章小结 本章介绍了相关与回归分析的各种理论和方法 并对大多数问题给出了实例 相关分析与回归分析的概念是这一章的基础 相关分析与回归分析既有区别又有联系 相关表和相关图是了解相关关系