第八章-相关与回归分析.ppt

欢迎使用内蒙古财经学院统计学教学课件 版权所有 内蒙古财经学院统计系保留所有权利 使用协议 本 课件产品 受著作权法及国际条约条款和其它知识产权法及条约的保护 本 课件产品 只提供使用许可协议 而非出售 许可协议的授予 本协议授予您下列权利 您可以在单一计算机上安装使用本 课件产品 的一份副本 其它权利和限制说明 不得对本课件进行反向工程 反编译或反汇编 本课件是被当成一个单一产品而被授予许可协议 不得将各个部分分开在多台计算机上使用 不得出租或租赁本课件 本 课件产品 包括但不限于本 课件产品 中所含的任何图像 动画 录像 录音 音乐 文字和附加程序 随附的印刷材料及本课件的任何副本的产权和著作权 均由内蒙古财经学院统计系拥有 本课件受著作权法及国际条约条款保护 许可终止 您若违返本协议的任一条款 内蒙古财经学院统计系有权利随时终止许可 终止许可之时 您必须立即销毁本课件及文档的所有拷贝 或归还给内蒙古财经学院统计系 适用法律 知识产权保护条例 版权 著作权法 专利法 等等 不同意 同意 第八章相关与回归分析 相关系回归分析的基本概念一元线性回归分析多元线性回归分析非线性回归分析相关分析 第一节相关系回归分析的基本概念 函数关系与相关关系相关关系的种类相关分析与回归分析相关表和相关图 函数关系与相关关系 一 概念函数关系 当一个变量或几个变量能完全决定另一个变量的变化 这种变量间完全表现为一种确定性关系即函数关系 相关关系 把变量间具有密切关联而又不能用函数关系精确表达的关系 称变量间具有不确定性的相关关系 例如 一个保险公司承保汽车5万辆 平均每辆保费收入为1000元 则该保险公司汽车承保总收入为5000万元 如果把承保总收入记为y 承保汽车辆数为x 则y 1000 x x与y两个变量间完全表现为一种确定性关系 即函数关系 如图8 1所示 函数关系与相关关系 区别与联系函数关系与相关关系既有联系 又有区别 首先 函数关系与相关关系 在一定条件下是可以相互转化的 由于观测和实验存在误差时 函数关系往往以相关关系的形式表现出来 当对现象之间的内在联系和规律性了解有了深刻认识时 相关关系也可转化为函数关系 其次 函数关系反映了现象间关系的理想化状态 用数学分析方法研究 相关关系反映了现象之间关系的现实化状态 是借助于统计学中相关与回归分析方法 相关关系的种类 按相关程度划分 按相关方向划分 按相关形式划分 按变量多少划分 按相关性质划分 相关分析与回归分析 概念相关分析 就是用指标来表明现象间相互依存关系的密切程度 回归分析 是根据相关关系的具体形态 选择合适的数学模型 近似表达变量间的平均变化关系 相关分析与回归分析 区别与联系联系 具有共同的研究对象 两种分析方法相互结合和渗透 区别 研究的侧重点和应用面不同 是否区分相关变量为自变量和因变量 相关分析中 相关变量均是随机变量 而回归分析中通常假定自变量是随机的固定变量 说明相关现象的问题不同 相关表和相关图 第二节一元线性回归分析 一元线性回归模型一元线性回归模型的参数估计回归模型的显著性检验一元线性回归模型预测 一元线性回归模型 总体回归函数在回归分析中 一个自变量与一个因变量的线性回归模型称一元线性回归模型 假定因变量Y受自变量 的影响 它们之间存在的线性函数关系有 Yt 1 2 t Ut被称为总体回归函数 式中 1和 2是未知参数 称为回归系数 U是随机误差项 考虑家庭消费支出与课支出配收入两变量间的关系 显然家庭消费支出依赖与可支配收入 因此可以以X代表可支配收入 以Y代表家庭消费支出 并且可以观察到 随着可支配收入变化 家庭消费支出也相应发生变化 但除了可支配收入外 还有许多诸如家庭成员数 年龄构成 消费习惯 地理位置 商品供应条件等因素都会影响家庭消费支出 因此 在给定X值的条件下 所观察到的Y值 只是围绕某些中心值而波动的数值 而Y的所有可能值就形成一个总体 一元线性回归模型 假如有如下总体 表8 1每月可支配收入与消费支出的假设数据 一元线性回归模型 一元线性回归模型 样本回归函数样本回归函数是对总体回归函数的近似反映 一元线性回归模型的样本回归线表示为 Yt 1 2 t 式中 Yt表示Y的估计值 1和 2分别表示 1和 2的估计值 如果用et Yt Yt表示残差 则有Yt 1 2 t et t 1 2 n 称为样本回归函数 一元线性回归模型 误差项的标准假定一元线性回归模型要求满足的基本假定 1 无偏性E Ut 0 2 等方差性Var Ut E Ut2 2 3 独立性COV Ut US E UtUS 0 t s 4 正态性Ut N 0 2 6 自变量与随机项线性无关 一元线性回归模型的参数估计 回归系数的最小二乘估计最小二乘法是求解具有最小估计误差的估计量的数学方法 依最小二乘法所得的估计量 1和 2称为最小二乘估计量 它使残差平方和Q e2t Yt Yt 2 Yt 1 2 t 2为最小值 根据微分学求极值的原理 使Q达到最小值 Q对 1和 2的偏导必须等于零 即得到标准方程 Yt n 1 2 t tYt 1 t 2 t2 一元线性回归模型的参数估计 解方程得 一元线性回归模型的参数估计 总体方差的估计一元线性回归模型包括了另一个未知参数 即总体随机误差项的方差 2 用最小二乘残差项代替随机误差项来估计 2 可以证明 2的无偏估计S2为 S2 et2 n 2 Yt Yt 2 n 2 S越小表明观测值与样本回归线的离差程度越小 即回归线具有较强的代表性 反之 其代表性较差 一元线性回归模型的参数估计 最小二乘估计量的性质最小二乘估计是最优线性无偏估计量和一致估计量 即 无偏性E 1 1 E 2 2 最小方差性 回归模型的显著性检验 拟合优度评价拟合优度是指观测值聚集在样本回归线周围的紧密程度 判断回归模型拟合优度优劣常用的指标是可决系数 根据总离差平方和分解式 可以导出可决系数 2 2 SSR SSE 1 SSE SST 可决系数是对回归模型拟合程度的综合度量 2越大 模型拟合程度越高 2越小 则模型对样本的拟合程度越差 回归模型的显著性检验 可决系数的特性 1 2具有非负性 2 可决系数的取值范围为0 2 1 当观测值都位于回归线上时 SSE 0 则 2 1 当观测值不全部位于回归线上时 SSE 0 则 2 1 当回归直线没有解释任何离差时 y的总离差全部归于残差平方和时 SSE SST 则 2 0 3 可决系数是个统计量 回归模型的显著性检验 显著性检验 t检验 在一元线性回归模型中 t检验与F检验是等价的 回归系数t检验 因为 1和 2是正态随机变量y的线性组合 则有 1 N 1 2 1 2 N 2 2 2 如果 2未知 用其无偏估计量S2去代替 当n为小样本时 根据t分布定理 统计量t i i S i t n 2 检验程序 设H0 2 0 H1 2 0 或 2 0 2 0 计算t统计量 当显著水平为 时 如果t的绝对值大于临界值的绝对值 则拒绝H0 说明y和 之间存在显著线性相关 反之 则接受H0 说明y和 之间不存在显著的线性相关 1与 2检验方法相同 一元线性回归模型预测 回归预测基本公式 Yt 1 2 t预测误差 预测误差主要有两种 模型本身造成的误差 回归系数估计值与真值不同造成的误差 即 et Yt Yt 1 1 2 2 t Ut可以证明 E et 0Var et 2 1 1 n t 2 即在标准假定能够满足的情况下 Yt 1 2 t Ut是Yt的最佳预测方程 t 2 一元线性回归模型预测 区间预测在标准假定条件下 et服从正态分布 即et N 0 Var et 其中Var et 2 1 1 n t 2 当 2未知时 t 2用无偏估计量S2代替 则有Set S 1 1 n t 2 Set表示预测标准误差的估计值 根据t分布定理t Yt Yt Set t n 2 t 2又根据抽样分布定理可知 Yt的 1 a 的预测区间为 Y t 2 n 2 Set 当n足够大时 Y的 1 的预测区间为 Y Z 2 S 第三节多元线性回归分析 多元线性回归模型多元线性回归模型的估计多元线性回归模型的检验和预测多元线性回归预测 多元线性回归模型 两个和两个以上自变量对一个因变量的数量变化关系 称为多元线性回归分析 表现这一数量关系的数学表达式 称为多元线性回归模型 总体回归函数 Yt 1 2 2t k kt Ut t 1 2 n 样本回归函数 Yt 1 2 2t k kt et t 1 2 n 多元回归分析模型要求满足的基本假定 同于一元回归模型基本假定 自变量之间不能具有较强的线性关系 多元线性回归模型的估计 回归系数最小二乘估计最小二乘法要求 Q et2 Yt Yt 2 Yt 1 2 2t k kt 2为最小值 将Q对 1 2 k求偏系 并令其等于零 得k个方程 Yt n 1 2 2t k kt 2tYt 1 2t 2 2t2 k 2t kt ktYt 1 kt 2 2t kt k 2kt求解方程组得 1 2 k 多元线性回归模型的估计 总体方差的估计多元性回归模型中随机误差项的方差是利用S2 et2 n k 式中 S2是 2的无偏估计 S越小表明样本回归方程的代表性越强 反之 代表性越差 最小二乘估计量的特性回归系数的最小二乘估计量是最优线性无偏估计量和一致估计量 多元线性回归模型的检验和预测 拟合程度的评价在多元回归分析中 常用的评价指标是修正自由度的可决系数R2 多元线性回归模型的检验和预测 显著性检验回归系数的显著性检验 多元模型中回归系数的检验同样采用t检验 其原理和基本步骤与一元回归模型中的t检验基本相同 t统计量计算公式 t j j S j j 1 2 k 式中 j是回归系数的估计值 S j是 j的标准差的估计值 多元线性回归模型的检验和预测 回归方程的显著性检验 多元回归模型进行显著性检验 是在方差分析的基础上利用F检验进行 检验程序 设H0 2 3 k 0 计算F统计量 即F SSR K 1 F K 1 n K SSE n K 当显著水平为 时 如果F F1 则拒绝H0 说明Y与K个 之间存在显著线性相关 反之 接受H0 说明Y与K个 之间不存在显著线性相关 多元线性回归预测 多元线性回归预测基本原理同于一元线性回归预测 第四节非线性回归分析 非线性回归分析必须解决的两个问题非线性函数形式的确定非线性回归模型的估计 非线性回归分析必须解决的两个问题 如何确定非线性函数的具体形式如何估计函数中的参数 非线性函数形式的确定 抛物线函数Y a b C 2双曲线函数Y a b 1 幂函数Y a 1b1 2b2 KbK指数函数Y ab对数函数Y a bln S形曲线函数Y L 1 ae b L a b 0 多项式方程Y b0 b1 b2 2 bK K 非线性回归模型的估计 非线性回归函数 可通过适当的变换 使其线性化 然后利用线性回归分析的方法进行估计和检验 常用的线性变换方法有 倒数变换半对数变换双对数变换多项式变换 第五节相关分析 单相关系数及其检验复相关系数和偏相关系数相关指数 单相关系数及其检验 相关系数定义相关系数是测定两个变量之间线性相关程度和相关方向的指标 总体相关系数的定义式 COr Y Y 单相关系数及其检验 式中 COr Y 表示变量 和Y的协方差 和 Y 分别为变量 和Y的标准差 样本相关系数的定义式 i Yi Y i 2 Yi Y 2 n Y Y Y Y n 2 2 n Y2 Y 2 2 2 Y2 Y 2 相关系数与可决系数 在简单线性回归分析中 回归系数 2的符号与 的符号相同 则有 2 2 Y Y 2 相关系数与可决系数 相关系数与可决系数相关系数 的性质 1 1 如果 1 则表明 与Y完全线性相关 当 1时称完全正相关 当 1时称完全负相关 当 0时 说明 与Y之间无线性关系 当00时 2 0 与Y为正相关 0时 2 0 与Y为负相关 是对变量之间线性相关关系的度量 0时 并不意味着 与Y间不存在其他类型的关系 相关系数与可决系数 相关系数与可决系数的关系联系 回归方程的拟合程度取决于变量间的相关程度 故 2 区别 可决系数是就回归模型而言 相关系数是就两个变量而言 可决系数介于0 2 1之间 具有非负性 相关系数介于 1 1之间 可正可负 2 相关系数与可决系数 相关系数与可决系数设样本来自一个正态总体 若其 0 则统计量t n 2 1 2 t n 2 t分布可用于检验总体相关系数 是否等于零 检验程序 设H0 0 H1 0 当显著水平为 时 若 t t 2 则拒绝H0 表明 在统计上是显著的 反之 接受H0 表明 在统计上是不显著的 复相关系数和偏相关系数 复相关系数复相关系数是反映一个变量Y与其他K个变量 2 3 K间线性相关程度的指标样本复相关系数的定义式 R Yt Y Yt Y 或R R2 SSR SST Yt Y 2 Yt Y 2 复相关系数和偏相关系数 复相关系数介于0和1之间 即0 R 1 如果R 1表明Y与 2 3 K之间存在严密的线性关