统计学 第七章 相关回归分析幻灯片.ppt

第一节相关分析的基本问题第二节相关关系的测度第三节回归分析的基本问题第四节回归分析的模型 第七章相关回归分析 第一节相关分析的基本问题 一 相关关系与函数关系二 相关关系的种类三 相关分析的主要内容 寻找变量间的关系是科学研究的首要目的 变量间的关系最简单的划分即 有关与无关 在统计学上 我们通常这样判断变量之间是否有关 如果一个变量的取值发生变化 另外一个变量的取值也相应发生变化 则这两个变量有关 如果一个变量的变化不引起另一个变量的变化则二者无关 现象之间的相互关系 可以概括为两种不同的类型 一 函数关系 二 相关关系 函数关系是指现象之间存在确定性的数量依存关系 在这种关系中 当某一变量或某些变量取任意一个值时 另一变量都会有一个确定值与之严格对应 并且这种对应关系可以用一个数学表达式来反映 两个变量x与y之间的函数关系一般可以表示为 一 相关关系与函数关系 函数关系 1 是一一对应的确定关系2 设有两个变量x和y 变量y随变量x一起变化 并完全依赖于x 当变量x取某个数值时 y依确定的关系取相应的值 则称y是x的函数 记为y f x 其中x称为自变量 y称为因变量3 各观测点落在一条线上 某种商品的销售额 y 与销售量 x 之间的关系可表示为y px p为单价 圆的面积 S 与半径之间的关系可表示为S R2 例 相关关系 也称统计相关 是指现象之间存在的非确定性的数量依存关系 即现象之间虽然存在着数量依存关系 一个现象数量上发生变化时 另一个现象数量水平也会相应地发生变化 但这种数量变化关系并不是严格一一对应的 当一个变量数值确定时 另 个变量可能有许多个可能的取值与之相对应 这些数值围绕着它们的平均数上下波动 相关关系的数学 般形式为 为随机误差项 用于反映随机因素对y的影响 一 相关关系与函数关系 相关关系1 变量间关系不能用函数关系精确表达2 一个变量的取值不能由另一个变量唯一确定3 当变量x取某个值时 变量y的取值可能有几个4 各观测点分布在直线周围 商品的消费量 y 与居民收入 x 之间的关系商品销售额 y 与广告费支出 x 之间的关系粮食亩产量 y 与施肥量 x1 降雨量 x2 温度 x3 之间的关系收入水平 y 与受教育程度 x 之间的关系父亲身高 y 与子女身高 x 之间的关系 例 按相关关系涉及的变量 或因素 的多少按变量之间相互关系的表现形式按变量之间的相互关系的方法或性质不同按变量之间的相关程度不同 二 相关关系的种类 是一个因变量与一个自变量的相关 也称为一元相关 单相关 是一个因变量与两个或更多个自变量之间的相关 也称为多元相关 复相关 变量之间的关系为线性关系 线性相关 变量之间的关系为非线性关系 非线性相关 当自变量X值增加 因变量Y值也随之增加 这样的相关关系就是正相关 当自变量X的值增加时 因变量Y的值随之而减少 这样的相关关系就是负相关 正相关 负相关 完全相关 当一个现象的数量变化完全由另一个现象的数量变化所确定时 称这两种现象的关系为完全相关 不完全相关 两个现象之间的关系介于完全相关和不相关之间 称为不完全相关 它是相关关系的主要表现形式 完全正线性相关 完全负线性相关 非线性相关 正线性相关 负线性相关 不相关 广义上讲 对两个或两个以上现象之间数量上的不确定性依存关系进行的统计分析 即为相关分析 具体来说 相关分析的内容有 一 判断确定现象之间有无关系以及相关关系的具体表现形式 二 确定相关关系的密切程度 根据变量数据的类型 选择适当的方法 计算出相关系数 三 相关分析的主要内容 三 检验现象统计相关的显著性 包括检验相关关系的存在性 检验相关关系强度是否达到一定水平 检验两对现象相关程度的差异性 估计相关系数的取值 四 广义地说 相关关系分析还包括对相关关系的数学形式加以描述 即拟合回归方程 检验回归方程的合理性 并且应用回归模型进行统计分析与预测和控制 三 相关分析的主要内容 第二节相关关系的测度 一 相关关系一般判断二 相关系数的测定 判断现象之间有没有相关关系 是进行相关分析的前提和出发点 一 定性分析在研究相关关系时 应根据一定的经济理论和实践经验的总结 对社会经济现象进行科学的定性分析 以判断它们之间是否具有相关关系以及相关关系的类型 只有在定性分析的基础上 才能进一步从数量上来测定现象之间的相关关系及相关的密切程度 这是判断相关关系的一种重要方法 也是相关分析的重要前提 一 相关关系一般判断 二 相关表和相关图若经过调查已获得现象的数据资料 可通过编制相关表和绘制相关图来分析数据变动的规律 判断现象之间的相关性 具体方法如下 一 相关关系一般判断 1 简单相关表利用未分组的原始资料 将两个现象的变量值一一对应地填列在同一张表格上 这种表就叫简单相关表 简单相关表适用于资料的项数较少的情况 表7 1销售额与流通费用相关表 图7 2某企业销售额与流通费用的散点图 分析 从表7 1可以直观地看出 随着企业销售额的增加 流通费用呈现增长的趋势 显然 该企业销售额与流通费用之间存在着相关关系 从图7 2可以看到 图中各个点虽不完全在一条直线上 但可以认为 该企业的销售额和流通费用之间有较强的直线相关关系 2 分组相关表当原始资料较多 不再适合采用简单相关表时 可以编制分组相关表 分组相关表就是将原始资料进行分组而编制的相关表 它又可分为单变量分组相关表和双变量分组相关表两种 1 单变量分组表只对自变量进行分组 因变量不分组 只是计算出其次数和平均数 这种表称为单变量分组表 表7 2某市家庭收入与消费支出相关表 图7 3家庭收入与家庭消费支出的相关图 分析 从表7 2和图7 3可以清楚的看到 家庭收入与家庭消费支出之间存在相关关系 家庭消费支出随着家庭收入的增加而增加 并且基本呈现出直线相关的形态 2 双变量分组表将自变量和因变量都进行分组制成的表称为双变量分组表 双变量分组表适用于对大量复杂数据的处理和分析 如下表 从表7 3也可以看出 100户家庭分布在不同的收入和支出区间内 在表中形成一个大致向右上方倾斜的数据分布带 可见家庭收入与消费支出之间有较强的正相关关系 对于单相关情况 相关系数测定方法与相关指标量化级别有关 对于定距变量或定比变量 通常采用皮尔逊线性相关系数公式测量相关密切程度 对于定序变量 通常采用斯皮尔曼等级相关或肯特尔等级相关系数公式测量相关密切程度 对于定类变量 则常常采用列联系数等来测量相关密切程度 二 相关系数的测定 本节主要介绍常用的皮尔逊直线相关系数的具体计算 通过相关图表可以了解现象之间是否具有相关关系 但要想更具体地了解现象之间的相关密切程度 必须进一步测定相关系数 相关系数 概念 是度量变量之間关系強度的一統計量 度量两个变量是否线性相关且相关关系密切程度的指标 称为简单相关系数 若相关系数是根据总体全部数据计算的 称为总体相关系数 记为p 若相关系数是根据样本数据计算的 则称为样本相关系数 记为r 一 直线相关系数的计算对于定距尺度的连续变量x和y 测定它们之间的线性相关关系最常用的方法是采用皮尔逊 Pearson 相关系数 根据资料情况不同 有不同的计算形式 其中的积差法是最基本表达式 1 积差法Pearson相关系数的基本公式可定义为 式中 直线相关系数 变量数列x的标准差 变量数列y的标准差 变量数列x与y的协方差 7 3 据此 式 7 3 可写成下式 7 4 2 相关系数r的简捷计算方法积差法在计算过程中要使用两个数列的平均数 当平均数的小数位很多或除不尽时 计算会比较繁杂且影响最终结果的精确性 因此 计算相关系数常常采用其简捷公式 7 5 r的取值有一定的范围 在 1和 1之间 r的正负号只表示相关的方向 不表示相关程度的大小 号即表示正相关 号表示负相关 相关程度的大小要看相关系数绝对值的大小 越接近于1 表示相关密切程度越强 越接近于0 表示相关密切程度越弱 r 0时 表示不存在线性关系 r 1表示两个变量完全线性相关 当r 1时 就表示变量之间为完全正线性相关 r 1时则表示完全负线性相关 0 r 1表示存在不同程度的线性相关 当r的取值在0 0 3之间时 表示微弱相关 可视为不相关 r的取值在0 3 0 5之间时 表示低度相关 r的取值在0 5 0 8之间时 表示显著相关 也称为中度相关 r的取值在0 8 1之间时 表示高度相关 1 r 0 8时 可视为两个变量之间高度相关2 0 5 r 0 8时 可视为中度相关3 0 3 r 0 5时 视为低度相关4 r 0 3时 说明两个变量之间的相关程度极弱 可视为不相关5 上述解释必须建立在对相关系数的显著性进行检验的基础之上PDF文 4 直线相关系数r的统计检验上述相关系数是基于样本计算的 是对总体相关系数的估计 因此需要对相关系数的显著性进行统计检验 检验的内容包括两部分 一是总体线性相关的存在性检验 即检验总体线性相关系数是否为零 二是总体线性相关差异性检验 检验某一总体线性相关程度是否等于 或者单侧检验大于或小于 某一指定值 以及检验两个相关系数是否来自同一相关总体 本节只讨论第一种情况 线性相关的显著性检验 相关系数的显著性检验 t检验法 目的 检验总体两变量间线性相关性是否显著 步骤 提出假设 构造检验统计量 步骤 根据给定的显著性水平 找到相应的临界值 确定拒绝域 计算检验统计量并做出决策 例 解 相关系数的显著性检验 提出假设 构造检验统计量 根据给定的显著性水平 找到相应的临界值 确定拒绝域 计算检验统计量并做出决策 拒绝域为 结论 则拒绝H0 表示总体两变量间线性相关性显著 最后应该指出 相关分析只能说明两个变量之间的相互依存关系 并不一定代表因果关系 因此 在计算相关系数之前 一般要先做定性分析 否则就有可能因为数据的偶然巧合 得到较高的相关系数 从而把虚假相关视为可信的相关 第三节回归分析的基本问题 一 回归分析的概念二 回归分析的主要内容三 回归分析的特点四 回归分析模型的种类 在社会经济现象中 各种经济变量相互联系 相互制约 通过相关分析 可以分析现象之间相关关系的方向和相关的密切程度 但相关分析不能判断现象之间具体的数量变动依存关系 也不能根据相关系数来估计或预测因变量y可能发生的数值 因此 为了探求经济变量之间的具体数量变动关系 一般在相关分析的基础上再进行回归分析 一 回归分析的概念 回归分析就是对具有相关关系的两个或两个以上变量之间数量变化的一般关系进行测定 确定因变量和自变量之间数量变动关系的数学表达式 以便对因变量进行估计或预测的统计分析方法 回归分析是在相关分析的基础上 进一步研究现象之间的数量变化规律 一 回归分析的概念 1 根据研究目的和现象之间的内在联系 确定自变量和因变量现象之间除了有相关关系 还存在着因果关系 作为原因的变量为自变量 作为结果的变量为因变量 必要时 需要对自变量进行筛选 如采用逐步回归分析 合并 如主成份回归 甚至于选择定性变量 设置虚拟变量等 2 确定回归分析模型的类型及数学表达式 根据现象之间的内在影响机制或通过对具体变量数据描点分析 找出最适合的回归分析模型 再通过计算求出模型的待估参数 得到回归方程 二 回归分析的主要内容 3 对回归分析模型进行评价与诊断 得到具体的回归方程以后 要对其进行统计检验 4 根据给定的自变量数值确定因变量的数值 回归方程可以用于统计估计或预测 即可根据给定的自变量数值估计因变量的数值或置信区间 以及利用回归模型进行回归控制 二 回归分析的主要内容 1 在两个或两个以上变量中 必须根据研究目的确定其中一个为因变量 其余为自变量 2 在相关分析中 两个变量要求都是随机的 而在回归分析中 要求因变量是随机的 而自变量的值则是给定的 三 回归分析的特点 3 若变量之间互为因果 或是没有明显因果关系 则可以求出两个回归方程 4 回归方程有较强的应用性 根据回归方程的参数可以得出变量之间的具体数量变动关系 回归方程也可以用于估计推断 三 回归分析的特点 按照具有相关关系的变量个数划分按照变量间相互关系的形态划分 除上述分类外 根据简单回归和多元回归与直线回归和非直线回归的交叉结合 还可以进一步细分为简单线性回归和简单非线性回归 多元线性回归和多元非线性回归等不同类型 四 回归分析模型的种类 第四节回归分析的模型 一 简单线性回归分析二 多元线性回归模型三 非线性回归分析 一 简单线性回归模型简单线性回归模型在平面坐标图上表现为一条直线 所以也称为简单直线回归方程 简单线性回归方程的理论模型与估计模型可分别写成 理论模型 y是x的线性函数 部分 加上误差项线性部分反映了由于x的变化而引起的y的变化误差项是随机变量反映了除x和y之间的线性关系之外的随机因素对y的影响 是不能由x和y之间的线性关系所解释的变异性 一 简单线性回归分析 估计模型 7 10 在数学分析中 上式中的 为回归参数或待定系数 a b为相应的估计值 a b值确定后 估计的直线方程就确定了 7 10 称为y对x的直线回归方程 一 简单线性回归分析 二 参数估计拟合回归直线的主要任务是估计待定参数a b的值 常用的方法就是最小二乘法 用这种方法求出的回归直线是原始数据的 最佳 拟合直线 二 参数估计 找出最适合样本资料的一条直线 使预测值与观察值的差异最小 预测值或期望值y 与观察值ye y y 由于残差值有正有负 无法正确测量出两者的距离 因此将残差值加以平方 我们的目标是要找出一条线 使每一个观察值与预测值的距离的平方和最小 使 e1 2 e2 2 e3 2 en 2 的值最小 二 参数估计最小二乘法的原理是使实际值y与估计值的离差平方和最小 得估计值为 对斜率b的公式进行数学形式转换 可得到b的另一些表达形式 而 所以 7 20 课练 检查5位同学统计学的学习时间与成绩分数如下表 每周学习时数学习成绩 要求 1 由此计算出学习时数与学习成绩之间的相关系数 2 建立直线回归方程 并对回归系数的经济含义作出解释 一元线性回归模型的检验 1 从前面的讨论中已经知道 用最小二乘法得到的回归直线能够使所有散点到这条直线的垂直距离的平方和最小 但是这并不意味着这条直线已经完美的拟合了这些散点 就像是给方形的窗户装上一个圆形的玻璃 可以用 最小二乘法 找到一块最适合这个窗子的圆形玻璃 但安装了这块圆形玻璃的窗子未必能够完全遮风挡雨 2 因此 在得到回归直线后 还要对它的拟合程度进行严格地考察 只有当这种拟合程度高到一定程度时 才可以对现实作出合理的解释 并用来进行科学的预测 一元线性回归模型的检验 3 也就是说 当某个模型被选用时 我们实际上并不了解该模型是否适用 因此在利用该模型作进一步分析前 对其检验是非常必要的 使用的主要分析方法是我们已经接触过的方差分析法 4 利用方差分析的一些基本概念和方法 我们可以来求 2的点估计值以及在所观测的样本数据中x和y之间的关联程度 一元线性回归模型的检验 回归模型的参数估计出来以后 还必须对其进行检验 如果通过检验发现模型有缺陷 则必须回到模型的设定阶段或参数估计阶段 重新选择因变量和自变量及其函数形式 或者对数据进行加工之后再次估计参数 回归模型的检验包括理论意义检验 一级检验和二级检验 回归模型检验的种类 一元线性回归模型的检验 理论意义检验主要涉及参数估计的符号和取值区间 如果它们与实质性科学的理论以及人们的实践经验不相符 就说明模型不能很好地解释现实的现象 一级检验又称统计学检验 它是利用统计学中的抽样理论来检验样本回归法方程的可靠性 具体又可以分为拟合优度评价和显著性检验 一级检验是对所有现象进行回归分析是都必须通过的检验 二级检验又称经济计量学检验 它是对标准线性回归模型的假定条件能否得到满足进行检验 具体包括序列相关检验 异方差检验 多重共性检验 回归模型检验的种类 回归方程拟合程度的评价 拟合优度 是指回归直线对观测值的拟合程度 即指样本观测值聚集在样本回归线周围的紧密程度 判断模型拟合优度优劣最常用的数量尺度是样本决定系数 又称决定系数 用符号r2表示 它是建立在对总离差平方和进行分解的基础上 利用方差分析的一些基本概念和方法 我们可以来求 2的点估计值以及在所观测的样本数据中x和y之间的关联程度 1 因变量y的取值是不同的 y取值的这种波动称为变差 变差来源于两个方面 由于自变量x的取值不同造成的 除x以外的其他因素 如x对y的非线性影响 测量误差等 的影响 2 对一个具体的观测值来说 变差的大小可以通过该实际观测值与其均值之差来表示 总变差 剩余变差 回归变差 离差平方和的分解 离差平方和的分解 从图上看有 误差平方和的分解 三个平方和的关系 两端平方后求和有 SST SSR SSE1 误差平方和的分解 三个平方和的关系 各个样本观测点与样本回归直线靠的越紧 SSR在SST中所占的比例就越大 因此可定义这一比例为决定系数 即有r2 又称决定系数 它是相关系数的平方 它表明自变量x的方差对因变量y的方差的解释程度 换句话说 它表明y的方差中多大程度由x原因所引起的 判定系数一般用来反映回归方程的拟合程度 回归方程拟合效果越好 表明方程解释部分所占比重越大 SSR与SSE相比的值也越大 F统计量也越大 由于相关系数的平方是 判定系数 它是误差平方和SSE占总离差平方和SST的比重 因此F检验也可通过 判定系数 的假设检验来实现 判定系数r2 1 判定系数具有非负性2 判定系数取值范围在0 r2 13 判定系数是样本观测值的函数 它也是一个统计量4 在一元线性回归模型中 决定系数是单相关系数的平方 判定系数r2的特性 实际值与平均值的总误差中 回归误差与剩余误差是此消彼长的关系 回归误差是从正面测定线性模型的拟合优度 剩余误差是从反面来判定线性模型的拟合优度 统计上定义剩余误