统计学06相关与回归分析

1、1.1 函数关系与相关关系函数关系与相关关系 1.2 相关关系的种类内容相关关系的种类内容 1.3 相关分析及其相关分析及其 1.4 回归与回归分析回归与回归分析 1.5 相关分析与回归分析关系相关分析与回归分析关系 第第一一节节 第六章第六章 相关与回归分析相关与回归分析 基基 本本 概概 念念 2021-7-122 1.1 函数关系与相关关系函数关系与相关关系 函数关系：函数关系： xD x 每每一一 相关关系：相关关系： Yy f 唯唯一一 法法则则 y 联联系系 x 确定确定 一一定定范范围围 一一定定分分布布 2021-7-123 1.1 函数关系与相关关系函数关系与相关关系 140

2、130120110100 185170150140120 165150135135115 155130125115105 140130120110100 125120115 95 95 115110100 90 85 95100 95 85 80 800700600500400 收入收入 消费消费 i x i y 185170150140120 165150135135115 155130125115105 140130120110100 125120115 95 95 115110100 90 85 95100 95 85 80 800700600500400 收入收入 消费消费 i x i

3、 y i y 消消 费费 与与 收收 入入 的的 关关 系系 现现 收收 集集 了了 有有 关关 消消 费费 和和 收收 入入 的的 资资 料料 （ 共共 计计 35户户 家家 庭庭 ） 并并 将将 它它 们们 分分 组组 列列 表表 如如 下下 ： 2021-7-124 60 80 100 120 140 160 180 200 300400500600700800900 1.1 函数关系与相关关系函数关系与相关关系 人均消费人均消费 人均人均 收入收入 2021-7-125 1.2 相关关系的种类相关关系的种类 偏相关偏相关 复相关复相关 单相关单相关 非线性相关非线性相关 线性相关线性相

4、关 负相关负相关 正相关正相关 不相关不相关 不完全相关不完全相关 完全相关完全相关 类类 别别分类标志分类标志 变量多少变量多少 相关形式相关形式 相关方向相关方向 相关程度相关程度 2021-7-126 1.3 相关分析和回归分析相关分析和回归分析 相关分析相关分析 研究具有相关关系变量的变研究具有相关关系变量的变 动方向和密切程度的统计分析方法动方向和密切程度的统计分析方法 。 较小较小 较大较大 r 现现象象间间依依存存关关系系强强 现现象象间间依依存存关关系系弱弱 r 相相关关系系数数 2021-7-127 1.3 相关分析及其内容相关分析及其内容 相关分析相关分析 研究具有相关关系

5、变量的变动研究具有相关关系变量的变动 方向和密切程度的统计分析方法方向和密切程度的统计分析方法 。 基本内容基本内容： 1. 直观判断变量间是否存在相关关系及其直观判断变量间是否存在相关关系及其 形态形态统计图（散点图）。统计图（散点图）。 2. 定量确定变量定量确定变量相关系数（线性）。相关系数（线性）。 2021-7-128 1.4 回归与回归分析回归与回归分析 回归回归在数量分析方法中在数量分析方法中“回归回归” 泛指变量间的一般数量关系，在相关泛指变量间的一般数量关系，在相关 分析中，将反映现象间相关关系的直分析中，将反映现象间相关关系的直 线或者曲线称为回归直线或回归曲线，线或者曲线

6、称为回归直线或回归曲线， 将回归直线或回归曲线的方程称为回将回归直线或回归曲线的方程称为回 归方程。归方程。 2021-7-129 1.4 回归与回归分析回归与回归分析 回归分析回归分析在相关分析的基础上，在相关分析的基础上， 根据变量间的相关关系的形态，寻求根据变量间的相关关系的形态，寻求 一个数学模型（数学表达式），来近一个数学模型（数学表达式），来近 似的表达变量间的平均变化关系。似的表达变量间的平均变化关系。 2021-7-1210 1.4 回归与回归分析回归与回归分析 回归分析的分类：回归分析的分类： 按照变量多少按照变量多少 简单回归和复回归。简单回归和复回归。 按照相关形态按照相

7、关形态 线性回归和非线性回归。线性回归和非线性回归。 2021-7-1211 1.5 相关分析与回归分析的关系相关分析与回归分析的关系 自、因变量划分不同，自、因变量划分不同， 回归方程也不同回归方程也不同 变量间的关系是对等变量间的关系是对等 相关分析的深入和继续相关分析的深入和继续回归分析的前提和基础回归分析的前提和基础 因变量是随机变量因变量是随机变量自、因变量自、因变量随机变量随机变量 建立数学模型建立数学模型平均变平均变 化关系化关系 判定相关关系及密切程判定相关关系及密切程 度度 区区 别别 联联 系系 回归分析回归分析相关关系相关关系 相关分析与回归分析联系相关分析与回归分析联系

8、 2021-7-1212 1.5 相关分析与回归分析的关系相关分析与回归分析的关系 注意注意： 1.进行相关和回归分析时要坚持定性分进行相关和回归分析时要坚持定性分 析和定量分析相结合的原则，在定性析和定量分析相结合的原则，在定性 分析的基础上开展定量分析。分析的基础上开展定量分析。 2.只有当变量间存在高度相关时，才进只有当变量间存在高度相关时，才进 行回归分析寻求其相关的具体形式。行回归分析寻求其相关的具体形式。 第第二二节节简单线性相关分析简单线性相关分析 第六章 相关与回归分析 2.1 相关系数的计算公式相关系数的计算公式 2.2 相关系数的特征及判别标准相关系数的特征及判别标准 2.

9、3 相关系数的检验相关系数的检验 2021-7-1214 2.1 相关系数的计算公式相关系数的计算公式 2211 1 yy n xx n yy xx n r 相相关关系系数数： 本本样样 相相关关系系数数： 体体总总 YVarXVar Y XCov ， Y X 的协方差的协方差、 X 的标准差的标准差 Y 的标准差的标准差 相关系数计算公式：相关系数计算公式： 2021-7-1215 r LL L yyxx xy 2 2 2 2 y y n x x n yx yx n yy xx yy xx 22 22 11 1 yy n xx n yy xx n 2.1 相关系数的计算公式相关系数的计算公式

10、 2021-7-1216 2.2 相关系数的特征及判别标准相关系数的特征及判别标准 ；取值范围取值范围 r 111 。间不存在线性相关关系间不存在线性相关关系、 完全（正、负）相关；完全（正、负）相关；、 之间存在负相关关系；之间存在负相关关系；、 之间存在正相关关系；之间存在正相关关系；、 y x r y x r y x r y x r 0 1 0 02 。度量度量只是对线性相关关系的只是对线性相关关系的 r 3 2021-7-1217 2. 相关关系密切程度的划分相关关系密切程度的划分 高度相关高度相关 显著相关显著相关 低度相关；低度相关； 无直线相关；无直线相关； 8.05.03 5.

11、03.02 3.01 r r r r 8.04 2.2 相关系数的特征及判别标准相关系数的特征及判别标准 2021-7-1218 【例例】根据下列数据，计算变量根据下列数据，计算变量 x 、y 的的 相关系数。相关系数。 序序 号号 人均收入人均收入恩格尔系数恩格尔系数 序序 号号 人均收入人均收入恩格尔系数恩格尔系数 xyxy 12800.68366700.602 23200.67577900.544 33700.66288800.490 45300.64999100.505 56500.5671010500.436 2.2 相关系数的特征及判别标准相关系数的特征及判别标准 2021-7-1

12、219 2.2 相关系数的特征及判别标准相关系数的特征及判别标准 -201.4210.0675121062821005.8136470 0.4361050 0.505910 0.490880 0.544790 0.602670 0.567650 0.649530 0.662390 0.675320 0.683280 yx -58.5559 -20.0669 -21.2729 -5.3339 0.4761 -0.0429 -7.9209 -20.7399 -30.6399 -37.3299 0.02111209 0.00582169 0.00833567 0.00139129 0.0004284

13、9 0.00020449 0.00458329 0.00651249 0.00877969 0.01034289 -0.1453 -0.0763 -0.0913 -0.0373 0.0207 -0.0143 0.0677 0.0827 0.00937 0.1017 162409 69169 54289 20449 529 9 13689 66049 106929 134689 403 363 233 143 23 3 -117 -257 -327 -367 xx 2 xx yy 2 yy xx yy %.y x 135858130647 ，元元 2021-7-1220 . . r 067512

14、10628210 421201 97810978051034.0. -201.4210.06751216282105.813647010 xx L yy L xy L x y 2 xx 2 yy yy xx n 1 解解法法 2.2 相关系数的特征及判别标准相关系数的特征及判别标准 2021-7-1221 4814300 1102500 828100 774400 624100 448900 422500 280900 152100 102400 78400 3.446609 0.190096 0.255025 0.240100 0.295936 0.362404 0.321489 0.421

15、201 0.438244 0.455625 0.466489 3559.59 457.80 459.55 431.20 429.76 403.34 368.55 343.97 258.18 216.00 191.24 5.813 0.436 0.505 0.490 0.544 0.602 0.567 0.649 0.662 0.675 0.683 6470 1050 910 880 790 670 650 530 390 320 280 yx 2 x 2 y yx 2.2 相关系数的特征及判别标准相关系数的特征及判别标准 2021-7-1222 97810978051034.0. 3559.5

16、93.44660948143005.813647010 x y 2 x 2 y y x n 2 解解法法 22 81354466093106470481430010 8135647159355910 . . r 2.2 相关系数的特征及判别标准相关系数的特征及判别标准 2021-7-1223 2021-7-1224 例题（相关系数计算） 2021-7-1225 2021-7-1226 yx n xy 1 yyxx 2 yy 2 2 1 y n y 2 xx 2 2 1 x n xLxx 含含 义义 Lxy Lyy 换换 算算 公公 式式因子因子 换换 算算 因因 子子 的的 计计 算算 2.2

17、 相关系数的特征及判别标准相关系数的特征及判别标准 第第三三节节一元线性回归分析一元线性回归分析 第六章第六章 相关与回归分析相关与回归分析 3.1 一元线性回归模型的建立一元线性回归模型的建立 3.2 一元线性回归模型的参数估计一元线性回归模型的参数估计 3.3 一元线性回归拟合优度的评价一元线性回归拟合优度的评价 3.4 回归估计标准误差回归估计标准误差 3.5 显著性检验（略）显著性检验（略） 3.6 一元线性回归模型预测一元线性回归模型预测 2021-7-1228 第3节 一元线性回归分析 一、回归分析概念一、回归分析概念 回归分析通过一个变量或一些变量的变化解释另一变量的变回归分析通

18、过一个变量或一些变量的变化解释另一变量的变 化。化。 其主要内容和步骤是：其主要内容和步骤是： 首先根据理论和对问题的分析判断，将变量分为自变量和因首先根据理论和对问题的分析判断，将变量分为自变量和因 变量；变量； 其次，设法找出合适的数学方程式（即回归模型）描述变量其次，设法找出合适的数学方程式（即回归模型）描述变量 间的关系；由于涉及到的变量具有不确定性，接着还要对回间的关系；由于涉及到的变量具有不确定性，接着还要对回 归模型进行统计检验；统计检验通过后，归模型进行统计检验；统计检验通过后， 最后是利用回归模型，根据自变量去估计、预测因变量。最后是利用回归模型，根据自变量去估计、预测因变量

19、。 2021-7-1229 二、回归分析与相关分析联系与区别二、回归分析与相关分析联系与区别 相关分析，是研究两个或两个以上随机变量之间相互依存关相关分析，是研究两个或两个以上随机变量之间相互依存关 系的紧密程度。相关分析研究的都是随机变量，并且不分自系的紧密程度。相关分析研究的都是随机变量，并且不分自 变量与因变量；变量与因变量； 回归分析，是研究某一随机变量（因变量）与其他一个或几回归分析，是研究某一随机变量（因变量）与其他一个或几 个普通变量（自变量）之间的数量变动的关系。回归分析研个普通变量（自变量）之间的数量变动的关系。回归分析研 究的变量要定出自变量与因变量，并且自变量是确定的普遍

20、究的变量要定出自变量与因变量，并且自变量是确定的普遍 变量，因变量是随机变量。变量，因变量是随机变量。 这两种分析的联系是，它们是研究现象之间相互依存关系的这两种分析的联系是，它们是研究现象之间相互依存关系的 两个不可分割的方面。在实际工作中，一般先进行相关分析，两个不可分割的方面。在实际工作中，一般先进行相关分析， 由相关系数或相关指数的大小决定是否需要进行回归分析。由相关系数或相关指数的大小决定是否需要进行回归分析。 2021-7-1230 一元线性回归模型一元线性回归模型 2021-7-1231 2021-7-1232 0 20 40 60 80 可支配收入可支配收入 消费消费 支出支出

21、 120 100 80 60 40 20 0 1 2 98999288756260452518可支配收入可支配收入 78706560534240302015消费支出消费支出 x . y 3595189461 3.1 一元线性回归模型的建立一元线性回归模型的建立 2021-7-1233 ！ 0 回归系数的确定：回归系数的确定： y y ii y x 11 ， y x ii ， y x nn ， x y 21 x y 0 i y y y ii 残差残差 残残差差平平方方和和 最最小小的的直直线线 y yQ ii 2 2 21 x y ii 3.2 一元线性回归模型的参数估计一元线性回归模型的参数估

22、计 2021-7-1234 参数、的最小二乘法估计(OLS估计) 2021-7-1235 3.2 一元线性回归模型的参数估计一元线性回归模型的参数估计 最小二（平方）乘法：最小二（平方）乘法： x y , Q ii 2 21 21 0 0 x x y Q i 2 2 2 1 x y Q i 2 2 1 1 y x n 21 yx x x 2 2 1 :整理得整理得 2021-7-1236 y x n 21 yx x x 2 2 1 D D 2 2 2 2 x xn yxxyn 3.2 一元线性回归模型的参数估计一元线性回归模型的参数估计 2021-7-1237 n x n y x y 221

23、x y 21 又又 x y 21 x y 21 n x x n y y 3.2 一元线性回归模型的参数估计一元线性回归模型的参数估计 2021-7-1238 x y n x n y x x n yx yx n 221 2 2 2 两两 组组 计算公式计算公式 最小二（平方）乘法：最小二（平方）乘法： x y , Q ii 2 21 21 2 xx yy xx 3.2 一元线性回归模型的参数估计一元线性回归模型的参数估计 2021-7-1239 2021-7-1240 3.3 一元线性回归拟合程度的评价一元线性回归拟合程度的评价 拟合程度拟合程度 样本观察值聚集在样本回归线周样本观察值聚集在样本

24、回归线周 围的紧密程度。围的紧密程度。 常用指标：常用指标： 可决系数可决系数（决定系数决定系数、判定系数判定系数） 2021-7-1241 可决系数可决系数（决定系数决定系数、判定系数判定系数） 2 2 1 yy e yy L e 2 1 yy yy r 2 2 2 2 2 1 yy y y 3.3 一元线性回归拟合程度的评价一元线性回归拟合程度的评价 2021-7-1242 yy i y x 11 ， y x ii ， y x nn ， x ba y x y 0 y i y ii y y y y i yy y y yy iiii 残差残差 回归误差回归误差 总离差总离差 3.3 一元线性回

25、归拟合程度的评价一元线性回归拟合程度的评价 2021-7-1243 yy i 2 总离差平方和：总离差平方和： yy y y iii 2 yy y y iii 2 2 yy y y iii 2 yy y y iii 0 2 22 y y yy yy iiii 总总离离差差平平方方和和 残残差差平平方方和和 回回归归平平方方和和 SSR SST SSE 3.3 一元线性回归拟合程度的评价一元线性回归拟合程度的评价 2021-7-1244 r 2 2 22 y y yy yy iiii 2 2 2 2 1 yy y y yy yy i ii i i L e yy y y yy yy r yy i

26、ii i i 2 2 2 2 2 2 11 r 2 3.3 一元线性回归拟合程度的评价一元线性回归拟合程度的评价 2021-7-1245 可决系数与相关系数的关系可决系数与相关系数的关系： 1. 非负性非负性: r 2 大于等于零；大于等于零； 2. 相关系数的平方等于可决系数相关系数的平方等于可决系数； 3. 相关系数的相关系数的绝对值绝对值等于可决系数等于可决系数 的算术平方根；的算术平方根； 4. 相关系数的相关系数的符号符号与与 Lxy 相同。相同。 3.3 一元线性回归拟合程度的评价一元线性回归拟合程度的评价 2021-7-1246 22 2304100231115151604003

27、651615 230416015200463415 r 42301516015 x yn 4463200123110016365400 2 x 2 y yx 计算可决系数：计算可决系数： 9414.0913449941. 0 22 9114499410 . r %. . 63889373278860 3.3 一元线性回归拟合程度的评价一元线性回归拟合程度的评价 2021-7-1247 估计标准差的计算估计标准差的计算 2021-7-1248 估计标准误差的计算估计标准误差的计算 2021-7-1249 回归方程的检验回归方程的检验 2021-7-1250 2021-7-1251 2021-7-

28、1252 2021-7-1253 回归系数的检验回归系数的检验 2021-7-1254 2021-7-1255 2021-7-1256 2021-7-1257 3.6 一元线性回归模型预测一元线性回归模型预测 1. 点预测点预测： x y 21 计计算算： ff xy 21 给给定定值值自自变变量量的的值值： f x x ff yx , 2021-7-1258 3.6 一元线性回归模型预测一元线性回归模型预测 2. 区间预测区间预测： 要解决两个问题：要解决两个问题： y ,x f f ？ .区区间间中中心心1 区区间间半半径径 . 2 2021-7-1259 3.6 一元线性回归模型预测一元

29、线性回归模型预测 y ,x f f .：中中心心1 fe Snt 2 2 ：半半径径 . 2 预预测测区区间间： y , y ff 2. 区间预测区间预测： xx xx n S S f efe 2 2 1 1 2021-7-1260 3.6 一元线性回归模型预测一元线性回归模型预测 xf x y x y 21 ff y x, 2021-7-1261 3.6 一元线性回归模型预测一元线性回归模型预测 ：大大样样本本当当样样本本容容量量较较大大时时 预预测测区区间间： y , y ff 正正态态分分布布分分布布 t 1 e f efe S xx xx n SS 2 2 1 12 有有： S Z e

30、 2. 区间预测区间预测： 2021-7-1262 x y 3.6 一元线性回归模型预测一元线性回归模型预测 x y 21 x y 21 x y 21 xf ff y , x 2021-7-1263 总总 结结 一元线性回归分析的条件一元线性回归分析的条件 yx n yx y x 22 2021-7-1264 2 2 21 x n x xx Lxx 2 2 21 y n y yy Lyy yx n yx yy xx Lxy 1 总总 结结 换算关系换算关系 ： 2021-7-1265 总总 结结 一元线性回归分析的条件一元线性回归分析的条件 y x n yyxx yy xx 22 2021-7

31、-1266 总总 结结 计计 算算 公公 式式 汇汇 总总 x y 21 x y , L L xx xy 212 根据数据计算六个元素，根据数据计算六个元素， （1）求回归方程：）求回归方程： 2021-7-1267 总总 结结 计计 算算 公公 式式 汇汇 总总 （2）求相关（可决）系数：）求相关（可决）系数： r LL L r yyxx xy 2 ； 评价。评价。对方程进行拟合程度的对方程进行拟合程度的 分析，分析，对变量进行相关程度的对变量进行相关程度的 2 r r 2021-7-1268 总总 结结 计计 算算 公公 式式 汇汇 总总 （3）求回归估计标准误差：）求回归估计标准误差：

32、2 2 n e S e yy L r e 22 1 2021-7-1269 总总 结结 计计 算算 公公 式式 汇汇 总总 （4）区间估计：）区间估计： ：点点估估计计 xx f 给给定定 f ff Y xbay 2021-7-1270 总总 结结 计计 算算 公公 式式 汇汇 总总 （4）区间估计：）区间估计： xx f efe L xx n SS 2 1 1 fe S nt 2 2 y , y Y ff f ： 2021-7-1271 总总 结结 计计 算算 公公 式式 汇汇 总总 （4）区间估计：）区间估计： 时时：大大样样本本较较大大当当 n e S Z y , y Y ff f ：

33、简简化化形形式式 2021-7-1272 例例 【例例】根据收集根据收集 的的15 户家庭的人均月户家庭的人均月 收入（收入（x）和人均月食品支出）和人均月食品支出( y )的资料的资料 （如下表）：（如下表）： 1.建立一元线性回归方程；建立一元线性回归方程； 2.计算相关系数计算相关系数 r 和可决系数和可决系数 r2； 3.计算回归估计标准误差计算回归估计标准误差 Se 4.进行回归预测。进行回归预测。 2021-7-1273 例例 2021-7-1274 【1】数据换算：数据换算： 2 2 21 x n x xx L xx 2 2 21 y n y yy L yy yx n yx yy

34、 xx L xy 1 4 23015 16015 x yn 4 463 2001 231 10016 365 400 2 x 2 y yx 2 2 xxnLn xx 40065515160154003651615 2 2 2 yynLn yy 6005732304100231115 2 yxxynLn xy 2008212230416015200463415 L L . L . L xy xx 904999079188 333336930431 例例 2021-7-1275 42301516015 x yn 282120057360015655400 xx Ln yy Ln xy Ln x .

35、 y 180208799 xx xy xx xy nL nL L L 2 21800192061800 40065515 2008212 . . x y 21 元元 . . . 8799 960987199 15 16015 192061800 15 2304 【2】计算回归系数确定回归方程：计算回归系数确定回归方程： 例例 2021-7-1276 42301516015 x yn 282120057360015655400 xx Ln yy Ln xy Ln r %. . 14949114499410 60057340065515 2008212 yyxx xy yyxx xy nLnL L

36、n LL L 【2】计算相关系数和可决系数：计算相关系数和可决系数： 变量变量 x、y 之间具有高度的正相关。之间具有高度的正相关。 例例 2021-7-1277 42301516015 x yn 282120057360015655400 xx Ln yy Ln xy Ln 9414499110.r % r63.88886327938.0 2 【2】计算相关系数和可决系数：计算相关系数和可决系数： 可见，回归方程的拟合程度高。可见，回归方程的拟合程度高。 例例 2021-7-1278 42301516015 x yn 282120057360015655400 xx Ln yy Ln xy

37、Ln e S yy Lr e 22 1 【3】计算回归估计标准误差：计算回归估计标准误差： 元元 . . . 28180780728518 215 6258193464 6258193464 15 600573 91344994101 2 . . 例例 2021-7-1279 S e 元元2858.18 6930431 2 xx 16015 x 有有关关数数据据： 若人均收入为若人均收入为 2000 元，计算置信度为元，计算置信度为 95的月食品支出的预测区间。的月食品支出的预测区间。 x f 人人元元0002 %P95 162215 2 .t 已已知知： 例例 2021-7-1280 x f

38、 人人元元0002 代入回归方程：代入回归方程： 求区间中心：求区间中心：作点预测作点预测 1 x . . y 2061800687199 . . . y f 元元28460 00022061800687199 元元 . , y , x ff 284600002 例例 2021-7-1281 先求区间半径：先求区间半径：作区间预测作区间预测 2 693043115 1 18285.18 2 S fe fe St 215 205. 0 Y f86.5528.46086.5528.460 ，： 元元 86.55859.2516. 2 元元 , 14.51642.404 元

39、元 859.25 例例 2021-7-1282 ( ) 516.14 404.42 =55.86 x . . y 2180087299 200200 250250 300300 350350 400400 450450 500500 550550 60060080080010001000 12001200 14001400 16001600 18001800 20002000 22002200 人均食品支出人均食品支出 人均人均 收入收入 ( 2000, 460.28 ) 例例 2021-7-1283 S e 元元26476142.18 若人均收入为若人均收入为 2000 元，计算置信度为元，

40、计算置信度为 95 的月食品支出的预测区间。的月食品支出的预测区间。 284600002. , y,x ff SZ e Y f80.3528.46080.3528.460 ，： 76264.1896.1 元元 80.359798.35 961950.Z .ZF 元元 , 08.49648.424 例例 2021-7-1284 1.4 回归与回归分析回归与回归分析 回归回归在数量分析方法中在数量分析方法中“回归回归” 泛指变量间的一般数量关系，在相关泛指变量间的一般数量关系，在相关 分析中，将反映现象间相关关系的直分析中，将反映现象间相关关系的直 线或者曲线称为回归直线或回归曲线，线或者曲线称为回归直线或回归曲线， 将回归直线或回归曲线的方程称为回将回归直线或回归曲线的方程称为回 归方程。归方程。 2021-7-1285 1.4 回归与回归分析回归与回归分析 回归分析的分类：回归分析的分类： 按照变量多少按照变量多少 简单回归和复