第9章 相关与回归分析.ppt

统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 统计学第9章相关与回归分析 9 1相关关系9 1 1相关关系的含义9 1 2相关分析的分类9 1 3相关关系的内容9 2相关分析9 2 1相关分析的基本假设9 2 2定性分析9 2 3描述性分析9 2 4定量分析9 2 5相关系数检验 2020年2月25日 上午7时3分 统计学第9章相关与回归分析 9 3回归分析概述9 3 1什么是回归分析9 3 2回归分析与相关分析的区别9 3 3回归分析的内容9 4一元线性回归分析9 4 1一元线性回归模型9 4 2一元线性回归模型的基本假设9 4 3一元线性回归模型的参数估计9 4 4一元线性回归模型的检验 2020年2月25日 上午7时3分 统计学第9章相关与回归分析 9 5多元线性回归分析9 5 1多元线性回归模型及其假设9 5 2多元线性回归模型的参数估计9 5 3多元线性回归模型的检验9 5 4自变量的选择9 6利用回归方程进行预测9 6 1点预测9 6 2区间预测9 7非线性回归分析9 8运用EXCEL进行回归分析 2020年2月25日 上午7时3分 学习目标 相关系数的分析方法 一元线性回归的基本原理和参数的最小二乘估计 回归直线的拟合优度 回归方程的显著性检验 利用回归方程进行估计和预测 用Excel进行回归 9 1相关关系 第9章相关与回归分析 2020年2月25日 上午7时3分 9 1相关关系 9 1 1相关关系的含义 一 经济变量间的统计关系1 函数关系有两个变量x和y 变量y随变量x一起变化 并完全依赖于x 当变量x取某个数值时 y依确定的关系取相应的值 则称y是x的函数 记为y f x 其中x称为自变量 y称为因变量 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 1相关关系 各观测点落在一条线上 x和y是一一对应的确定关系 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 1相关关系 函数关系的例子 某种商品的销售额 y 与销售量 x 之间的关系可表示为y px p为单价 圆的面积 S 与半径之间的关系可表示为S R2 企业的原材料消耗额 y 与产量 x1 单位产量消耗 x2 原材料价格 x3 之间的关系可表示为y x1x2x3 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 1相关关系 2 相关关系变量间关系不能用函数关系精确表达 一个变量的取值不能由另一个变量唯一确定 即当变量x取某个值时 变量y的取值可能有几个 相关关系以y f x u的形式表示 各观测点分布在直线周围 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 1相关关系 相关关系的例子 子女身高 y 与父亲身高 x 之间的关系 收入水平 y 与受教育程度 x 之间的关系 粮食亩产量 y 与施肥量 x1 降雨量 x2 温度 x3 之间的关系 商品的消费量 y 与居民收入 x 之间的关系 商品销售额 y 与广告费支出 x 之间的关系 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 1相关关系 二 相关关系的特点1 相关关系是现象之间真实存在的数量依存关系 2 现象间的数量依存关系是不确定和不严格的 相关关系和函数关系之间既有区别 又有联系 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 1相关关系 9 1 2相关关系的分类 1 按相关关系涉及的变量多少 可分为单相关与复相关 2 按相关关系的表现形式 可分为线性相关和非线性相关 3 按相关的方向 可分为正相关和负相关 4 按变量之间的相关程度 可分为完全相关 不完全相关和不相关 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 1相关关系 9 1 3相关关系的内容相关分析是研究两个或两个以上的变量之间相关程度的大小的一种统计方法 主要内容包括 1 确定现象之间有无关系存在 以及相关关系呈现的形态 2 确定相关关系的密切程度 3 相关系数的检验 统计学 第9章相关与回归分析 9 2相关分析 第9章相关与回归分析 2020年2月25日 上午7时3分 9 2相关分析 9 2 1相关分析的基本假设1 两个变量间是线性关系 2 两个变量都是随机变量 9 2 2定性分析 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 2相关分析 9 2 3描述性分析 一 相关表相关表是根据现象变动样本资料编制出来反映变量间相关关系的统计表 根据样本资料是否分组 相关表可分为简单相关表和分组相关表 简单相关表是资料未曾分组 只将自变量的取值按照从小到大的顺序配合因变量的取值一一对应平等排列起来的表 分组相关表是指将原始资料进行分组而形成的相关表 可分为单变量分组相关表和双变量分组相关表 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 2相关分析 二 散点图利用直角坐标系第一象限 把自变量置于横轴上 因变量置于纵轴上 将两个变量相对应的变量值用坐标点形式描绘出来 用以表明相关关系的图形 称为散点图 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 2相关分析 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 2相关分析 9 2 4定量分析 一 相关系数的计算相关系数 CoefficientofCorrelation 是用来衡量变量之间相关程度的指标 根据变量的多少和属性可以有多种不同的计算方法 衡量两个定量变量之间线性相关程度的常用指标是皮尔逊 Pearson 相关系数 通常以 表示总体的相关系数 以r表示样本的相关系数 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 2相关分析 总体相关系数的定义式是 样本相关系数的定义公式是 或简化为 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 2相关分析 二 相关系数的性质 1 r 1 即r是介于 1到1之间的实数 2 当 r 1时 变量间是为完全线性相关 r 1 为完全正相关 r 1 为完全负相关 3 当0 r 1时 表明变量间存在一定的线性相关关系 r 越趋于1表示关系越密切 r 越趋于0表示关系越不密切 4 r的大小与x y的原点位置及尺度无关 5 r具有对称性 6 r仅仅是两个变量间的线性相关关系的度量 它不能描述变量间的非线性相关关系 7 r 的数值越接近于1 说明两个变量间线性关系显著 并不意味着变量间一定有因果关系 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 2相关分析 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 2相关分析 9 2 5相关系数检验相关系数是总体相关系数真值的样本统计量 因此 相关系数只是总体相关系数的在一定样本分布下的估计值 尤其是当计算相关系数的样本容量较小时 相关系数的数值的变异增大 并且相关系数非常高的样本也有可能来自无相关关系的总体 为了排除这种情况 需要对相关系数进行假设检验 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 2相关分析 检验的步骤是 1 提出假设 H0 H1 02 计算检验的统计量 3 确定显著性水平 并作出决策若 t t 拒绝H0若 t t 不拒绝H0 统计学 第9章相关与回归分析 9 3回归分析概述 第9章相关与回归分析 2020年2月25日 上午7时3分 9 3回归分析概述 9 3 1什么是回归分析由一个或一组非随机变量来估计或预测某一个随机变量的观测值时 所建立的数学模型及进行的统计分析 称为回归分析 如果所建立的模型是线性的 就称为线性回归模型 回归分析的内容 如何确定因变量与自变量之间的回归模型 如何根据样本观测数据 估计并检验回归模型及未知参数 在众多的自变量中 判断哪些变量对因变量的影响是显著的 哪些变量的影响是不显著的 根据自变量的已知值或给定值来估计和预测因变量的值 并给出这种预测或控制的精确程度 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 3回归分析概述 9 3 2相关分析与回归分析的区别1 两者的联系两者都是研究和处理变量之间相关关系的数理统计方法 两者相互补充 密切联系 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 3回归分析概述 2 两者的区别 1 描述的方式不同相关分析主要采用相关系数来度量变量之间的相关关系 通过相关系数数值的大小来度量相关关系的强弱 回归分析要采用通过拟合回归模型来度量变量之间的相关关系 通过回归模型来反映相关关系的具体形式 2 变量的性质不同相关分析中的变量都是随机变量 不必严格区分自变量和因变量 在回归分析中 必须严格区分自变量和因变量 因变量是随机变量 自变量是非随机的确定性变量 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 3回归分析概述 3 变量的地位不同相关分析中变量之间的地位是对等的 可以相互置换的 变量互换后相关系数不变 回归分析中变量之间的地位是不对等 不能相互置换的 置换后成为两个不同的回归方程 4 描述的内容不同相关分析通过相关系数描述 所反映的是变量之间相关关系的方向和大小程度 回归分析借助回归模型不仅描述了变量之间相关关系的方向和大小程度 还刻画了变量之间相关关系的的具体形式 回归模型可以用于预测和控制 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 3回归分析概述 9 3 3回归分析的主要内容回归分析是寻找具有相关关系的变量间的数学表达式并进行统计推断的一种统计方法 主要内容包括 1 进行参数估计 2 进行统计显著性检验 3 进行预测和控制 统计学 第9章相关与回归分析 9 4一元线性回归分析 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 9 4 1一元线性回归模型一元线性回归模型可表示为 y f x u b0 b1x y是x的线性函数 部分 加上误差项 线性部分反映了由于x的变化而引起的y的变化 误差项 是随机变量 反映了除x和y之间的线性关系之外的随机因素对y的影响 是不能由x和y之间的线性关系所解释的变异性 0和 1称为模型的参数 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 9 4 2一元线性回归模型的基本假定为了估计参数 必须对随机项 做出以下假设 1 误差项 是一个期望值为0的随机变量 即E 0 对于一个给定的x值 y的期望值为E y 0 1x 2 对于所有的x 的方差相等 3 任意两个 之间不相关 4 同期的 与x之间不相关 5 误差项 是一个服从正态分布的随机变量 且相互独立 即u N 0 2 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 一元线性回归方程的形式如下 E Y 0 1X方程的图示是一条直线 也称为直线回归方程 0是回归直线在y轴上的截距 是当X 0时Y的期望值 1是直线的斜率 称为回归系数 表示当X每变动一个单位时 Y的平均变动值 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 总体回归参数 0和 1是未知的 必需利用样本数据去估计 用样本统计量和代替回归方程中的未知参数 0和 1 就得到了估计的回归方程 统计学 第9章相关与回归分析 其中 是估计的回归直线在y轴上的截距 是直线的斜率 它表示对于一个给定的x的值 是y的估计值 也表示x每变动一个单位时 y的平均变动值 2020年2月25日 上午7时3分 9 4一元线性回归分析 9 4 3一元线性回归模型的参数估计最小二乘估计 LeastSquareEstimation 是指估计量使因变量的观察值与其估计值的离差平方和最小的方法 即 统计学 第9章相关与回归分析 用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小 2020年2月25日 上午7时3分 9 4一元线性回归分析 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 根据最小二乘法的要求 可得求解和的公式如下 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 9 4 4一元线性回归模型的检验 一 拟合优度检验回归直线与各观测数据的接近程度称为回归直线的拟合优度 goodnessoffit 度量回归直线的拟合优度最常用的指标是决定系数 coefficientofdetermination 又称可决系数 判定系数 该指标是建立在对总离差平方和进行分解的基础之上的 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 因变量y的取值是不同的 y取值的这种波动称为离差 离差来源于两个方面 由于自变量x的取值不同造成的 除x以外的其他因素 如x对y的非线性影响 测量误差等 的影响对一个具体的观测值来说 离差的大小可以通过该实际观测值与其样本均值之差来表示 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 从图上看有 统计学 第9章相关与回归分析 两端平方后求和有 SST SSR SSE 2020年2月25日 上午7时3分 9 4一元线性回归分析 总离差平方和 SST 反映因变量的n个观察值与其均值的总离差 回归平方和 SSR 反映自变量x的变化对因变量y取值变化的影响 或者说 是由于x与y之间的线性关系引起的y的取值变化 也称为可解释的平方和 残差平方和 SSE 反映除x以外的其他因素对y取值的影响 也称为不可解释的平方和或剩余平方和 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 判定系数 R2 可以表示成 统计学 第9章相关与回归分析 反映回归直线的拟合程度 R2的取值范围是 0 1 R2越接近于1 表明回归平方和占总离差平方和的比例越大 回归直线与各观测点越接近 回归直线的拟合程度就越好 在一元线性回归中 相关系数r的平方等于判定系数 符号与自变量x的系数一致 因此可以根据回归结果求出相关系数 2020年2月25日 上午7时3分 9 4一元线性回归分析 估计的标准误差是对各观测数据在回归直线周围分散程度的一个度量值 反映实际观察值在回归直线周围的分散状况 是对误差项的标准差的估计 是在排除了x对y的线性影响后 y随机波动大小的一个估计量 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 二 一元线性回归的显著性检验回归分析中的显著性检验包括两方面的内容 一是对单个自变量回归系数的显著性检验 t检验 二是对整个回归方程 所有自变量回归系数 显著性的整体检验 F检验 在一元线性回归模型中 由于只有一个解释变量X 因此 对 1 0的t检验与对整个方程的F检验是等价的 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 1 回归方程的检验 F检验对多元线性回归方程的显著性检验是从整个方程的角度 检验做作一个整体的全部项自变量是否对因变量存在显著性影响 也称作总体的显著性检验 检验方法是将回归平方和 SSR 同残差平方和 SST 加以比较 应用F检验来分析二者之间的差别是否显著 如果是显著的 因变量与自变量之间存在线性关系 如果不显著 因变量与自变量之间不存在线性关系 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 检验步骤 1 提出假设H0 1 0线性关系不显著H1 1 0线性关系显著 2 计算检验统计量F 统计学 第9章相关与回归分析 3 确定显著性水平 和分子自由度1 分母自由度n 2找出临界值F 4 作出决策 若F F 拒绝H0 2020年2月25日 上午7时3分 9 4一元线性回归分析 2 回归系数的显著性检验 t检验检验步骤 1 提出假设H0 b1 0 没有线性关系 H1 b1 0 有线性关系 2 计算检验的统计量 3 确定显著性水平 并进行决策 t t n 2 拒绝H0 t t n 2 不拒绝H0 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 4一元线性回归分析 统计学 第9章相关与回归分析 双侧检验时的p值 9 5多元线性回归分析 第9章相关与回归分析 2020年2月25日 上午7时3分 9 5多元线性回归分析 9 5 1多元线性回归模型及其假设 一 多元线性回归模型如果因变量y与k个自变量x1 x2 xp之间有线性相关关系 那么他们之间的多元线性总体回归模型可以表示为 统计学 第9章相关与回归分析 式中 b0 b1 b2 bp是参数 是被称为误差项的随机变量 2020年2月25日 上午7时3分 9 5多元线性回归分析 二 多元线性回归模型的基本假定 1 随机误差项的数学期望为0 表明估计的回归方程中不存在系统性误差 SystematicError 2 各随机误差项的方差相等 3 各随机误差项之间的协方差为0 4 自变量与随机误差项之间的协方差为0 5 各随机误差项服从正态分布 即 i N 0 2 6 各解释变量之间不存在显著地线性相关关系 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 5多元线性回归分析 二 多元线性回归方程当以上基本假设成立的前提下 Y的平均值或期望值依赖于自变量X1 X2 Xp的变化而变化 称之为多元线性回归方程 如下 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 5多元线性回归分析 用样本统计量估计回归方程中的参数时得到的方程叫做估计的多元回归方程 一般形式为 统计学 第9章相关与回归分析 是 的估计值 是y的估计值 2020年2月25日 上午7时3分 9 5多元线性回归分析 9 5 2多元线性回归模型的参数估计使因变量的观察值与估计值之间的离差平方和达到最小来求得 即 统计学 第9章相关与回归分析 解之得 用矩阵形式表示为 2020年2月25日 上午7时3分 9 5多元线性回归分析 9 5 3多元线性回归模型的检验 一 拟合优度检验 R2 Test 把回归平方和ESS在总离差平方和TSS中所占的比重定义为多重样本决定系数R2 即 统计学 第9章相关与回归分析 调整的决定系数为 2020年2月25日 上午7时3分 9 5多元线性回归分析 估计的标准误差Sy 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 5多元线性回归分析 二 多元线性回归的显著性检验1 回归方程的显著性检验回归模型总体函数的线性关系是否显著 其实就是判断回归平方和与残差平方和之比值的大小问题 可以通过方差分析的思想 构造F统计量进行检验 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 5多元线性回归分析 检验步骤 1 提出假设H0 1 2 p 0线性关系不显著H1 1 2 p至少有一个不等于02 计算检验统计量F 统计学 第9章相关与回归分析 3 确定显著性水平 和分子自由度p 分母自由度n p 1找出临界值F 4 作出决策 若F F 拒绝H0 2020年2月25日 上午7时3分 9 5多元线性回归分析 2 回归系数显著性检验检验步骤 1 提出假设H0 bi 0 自变量xi与因变量y没有线性关系 H1 bi 0 自变量xi与因变量y有线性关系 2 计算检验的统计量t 统计学 第9章相关与回归分析 3 确定显著性水平 并进行决策 t t 拒绝H0 t t 不能拒绝H0 9 6利用回归方程进行预测 第9章相关与回归分析 2020年2月25日 上午7时3分 9 6利用回归方程进行预测 预测是指根据自变量x的取值估计或预测因变量y的取值 估计或预测的类型有 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 6利用回归方程进行预测 9 6 1点预测对于自变量x的一个给定值x0 根据回归方程得到因变量y的一个估计值 即点估计值有 y的平均值的点估计和y的个别值的点估计 在点估计条件下 平均值的点估计和个别值的的点估计是一样的 但在区间估计中则不同 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 6利用回归方程进行预测 9 6 2区间预测点估计不能给出估计的精度 点估计值与实际值之间是有误差的 因此需要进行区间估计 对于自变量x的一个给定值x0 根据回归方程得到因变量y的一个估计区间 区间估计有两种类型 置信区间估计 confidenceintervalestimate 和预测区间估计 predictionintervalestimate 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 6利用回归方程进行预测 利用估计的回归方程 对于自变量x的一个给定值x0 求出因变量y的平均值的估计区间 这一估计区间称为置信区间 confidenceinterval E y0 在1 置信水平下的置信区间为 式中 为估计标准误差 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 6利用回归方程进行预测 利用估计的回归方程 对于自变量x的一个给定值x0 求出因变量y的一个个别值的估计区间 这一区间称为预测区间 predictioninterval y0在1 置信水平下的预测区间为 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 6利用回归方程进行预测 置信区间 预测区间 回归方程的关系用图形表示 统计学 第9章相关与回归分析 2020年2月25日 上午7时3分 9 6利用回归方程进行预测 影响区间宽度的因素有 置信水平 1 区间宽度随置信水平的增大而增大 数据的离散程度 区间宽度随离散程度的增大而增大 3 样本容量 区间宽度随样本容量的增大而减小 4 用于预测的x0与 x的差异程度 区间宽度随x0与 x的差异程度的增大而增大 统计学 第9章相关与回归分析 9 7非线性回归分析 第9章相关与回归分析 2020年2月25日 上午7时3分 9 7非线性回归分析 在实际的经济管理问题中 许多因变量与自变量之间为非线性回归关系 可以通过对于变量的