多维数据的数字特征及相关分析.ppt

1 1 3多维数据的数字特征及相关分析 2 1 3多维数据的数字特征及相关分析 基本内容 均值协方差Pearson相关系数Spearman相关系数 p维总体均值向量协方差矩阵相关系数矩阵随机向量的性质多维正态分布 观测数据协方差Pearson相关矩阵Spearman相关矩阵proccorr过程实现 1 3 1二维数据的数字特征及相关系数 1 3 3多维数据的数字特征及相关矩阵 1 3 2多维总体的数字特征 相关矩阵及多维正态分布 3 1 3多维数据的数字特征及相关分析 均值协方差Pearson相关系数Spearman相关系数 1 3 1二维数据的数字特征及相关系数 4 复习 数据的分布 直方图 经验分布函数 QQ图 茎叶图 5 一 二维总体的数字特征及相关系数 1 3 1二维数据的数字特征及相关系数 6 二维数字特征的性质 当X与Y相互独立时 3 2 1 1 3 1二维数据的数字特征及相关系数 7 二 观测数据协方差 相关系数 检验 样本协方差 样本协方差矩阵 样本均值 样本方差 1 3 1二维数据的数字特征及相关系数 观测矩阵 1 3 1二维数据的数字特征及相关系数 总体 X Y T 样本 8 Pearson相关系数 Pearson相关系数矩阵 注 1 Pearson相关系数反映两随机变量线性相关强弱 散点图见书图1 11 2 由Schwarz不等式知 1 3 1二维数据的数字特征及相关系数 二 观测数据协方差 相关系数 检验 3 n充分大时 9 当 X Y T为二维正态 二维随机变量相关性检验 观测数据 假设检验 统计量 认为 t 过大 拒绝假设 认为X与Y相关 检验p值 给定 当 拒绝H0 认为X与Y相关 否则 不相关 1 3 1二维数据的数字特征及相关系数 二 观测数据协方差 相关系数 检验 10 1 秩统计量 三 Spearman相关系数 秩统计量 例观测值 0 8 3 1 1 1 5 24 2 如 0 8 3 1 0 8秩统计量2 1 3或3 1 2记为2 51 2 5 秩统计量 规定 相同观测值 秩统计量取排序的平均值 1 3 1二维数据的数字特征及相关系数 11 注 当X Y相关性较强 两组秩统计量相关性也较强 2 Spearman相关系数 秩统计量分别为 Spearman相关系数 1 3 1二维数据的数字特征及相关系数 12 基于Spearman相关系数的假设检验 统计量 检验P值 1 3 1二维数据的数字特征及相关系数 13 四 SAS系统proccorr过程 1 3 1二维数据的数字特征及相关系数 14 四 SAS系统proccorr过程 解 程序dataexamp1 9 inputxy cards 689716389270112568265931911210162123212031530375334622735221305584142292733217185537036287265740 run proccorrdata examp1 9pearsonspearmancov 方差描述性过程 输出Pearson Spearman相关矩阵 协方差阵 run 1 3 1二维数据的数字特征及相关系数 15 例1 9结果输出CORR过程2变量 xy协方差矩阵S 自由度n 1 19xyx570 45007845 0789y7845 0789112404 2632简单统计量变量N均值标准偏差中位数最小值最大值x2033 8500023 8841027 000005 0000070 00000y20477 50000335 26745342 0000082 000001125 Spearman相关系数 N 20当H0 Rho 0时 Prob r xyx1 00000 0 97366p 0001y0 973661 00000 0001 Pearson相关系数 N 20当H0 Rho 0时 Prob r xyx1 00000 0 97971相关性显著p 0001y0 979711 0001 1 3 1二维数据的数字特征及相关系数 16 结果分析 1 利用proccorr过程 得 2 数据的Pearson相关系数 3 数据的Spearman相关系数 检验p值均 X与Y的相关性高度显著 1 3 1二维数据的数字特征及相关系数 17 1 3多维数据的数字特征及相关分析 观测数据协方差Pearson相关矩阵Spearman相关矩阵proccorr过程实现 1 3 2多维总体的数字特征 相关矩阵及多维正态分布 18 1 3 2多维总体数字特征 相关矩阵及正态分布 一 p维总体的数字特征 相关系数矩阵 分布函数 p维总体 连续总体概率密度 均值向量 总体协方差矩阵 19 总体相关矩阵 1 3 2多维总体数字特征 相关矩阵及正态分布 20 二 随机向量的性质 1 A 常量矩阵 常向量 则 2 B 常量矩阵 1 3 2多维总体数字特征 相关矩阵及正态分布 21 三 多维正态分布 1 二维正态分布及性质 其中 1 3 2多维总体数字特征 相关矩阵及正态分布 22 2 p维正态分布 p维正态分布 密度 协方差阵 均值向量 1 3 2多维总体数字特征 相关矩阵及正态分布 23 1 线性组合为正态分布 2 分量为正态分布 3 分量独立不相关 3 多维正态分布性质 1 3 2多维总体数字特征 相关矩阵及正态分布 24 1 3多维数据的数字特征及相关分析 观测数据协方差Pearson相关矩阵Spearman相关矩阵proccorr过程实现 1 3 3多维数据的数字特征及相关矩阵 25 一 样本观测数据的协方差 相关矩阵 p维总体 数据的协方差 方差 均值向量 样本协方差矩阵 样本观测数据矩阵 1 3 3多维数据的数字特征及相关分析 26 1 3 3多维数据的数字特征及相关分析 Pearson相关系数矩阵 Spearman相关系数矩阵 27 注意 1 原数据的相关系数矩阵即为标准化数据协方差阵 标准化数据矩阵 2 n充分大时 有 对Xj数据标准化 得标准化数据矩阵 每行为标准化后样品观测向量 1 3 3多维数据的数字特征及相关分析 28 例1 10测20个3个生理指标 体重 X1 腰围 X2 脉搏 X3 3个训练指标 引体向上 X4 仰卧起坐 X5 跳跃 X6 次数 数据见书表1 2 解 程序 二 SAS系统proccorr过程 dataexam1 10 inputx1 x6 cards 1913650516260 156335415225731383368211043 proccorrdata exam1 10covpearsonspearman 调用Corr过程 输出协方差 Pearson Spearman相关系数矩阵 varx1 x6 run 1 3 3多维数据的数字特征及相关分析 29 1 计算观测数据均值向量 协方差阵 Pearson相关阵 CORR过程6变量 x1x2x3x4x5x6简单统计量变量N均值标准偏差中位数最小值最大值x120178 6000024 69051176 00000138 00000247 00000 x22035 400003 2019735 0000031 0000046 00000 x32056 100007 2103755 0000046 0000074 00000 x4209 450005 2862811 500001 0000017 00000 x520145 5500062 56658122 5000050 00000251 00000 x62070 3000051 2774754 0000025 00000250 00000 1 3 3多维数据的数字特征及相关分析 30 样本协方差矩阵S 自由度 19 样本个数 1x1x2x3x4x5x6x1609 6210568 80000 65 11578 50 86316 761 71578 286 50526x268 80000010 252632 8 147368 9 347368 129 336842 31 442105x3 65 115789 8 14736851 9894745 742105101 52105312 915789x4 50 863158 9 3473685 74210527 944737230 107895134 384211x5 761 715789 129 33684101 521053230 1078953914 576322146 98421x6 286 505263 31 44210512 915789134 384212146 984212629 37895 1 3 3多维数据的数字特征及相关分析 31 Pearson相关系数矩阵RPearson相关系数 N 20当H0 Rho 0时 Prob r x1x2x3x4x5x6x11 00000 0 87024 0 36576 0 38969 0 49308 0 22630相关性好p12 00010 11280 08940 02720 3374x20 870241 00000 0 35289 0 55223 0 64560 0 19150 00010 12700 01160 00210 4186x3 0 36576 0 352891 000000 150650 225040 034930 11280 12700 52610 34010 8838x4 0 38969 0 552230 150651 000000 695730 495760 08940 01160 52610 00070 0262x5 0 49308 0 645600 225040 695731 000000 669210 02720 00210 34010 00070 0013x6 0 22630 0 191500 034930 495760 669211 000000 33740 41860 88380 02620 0013 1 3 3多维数据的数字特征及相关分析 32 Spearman相关系数 N 20当H0 Rho 0时 Prob r x1x2x3x4x5x6x11 000000 81423 0 37070 0 38020 0 57774 0 19902 00010 10760 09820 00760 4002x20 814231 00000 0 23770 0 54190 0 72473 0 19940 00010 31290 01360 00030 3993x3 0 37070 0 237701 000000 136620 179240 098410 10760 31290 56570 44960 6798x4 0 38020 0 541900 136621 000000 656200 322630 09820 01360 56570 00170 1653x5 0 57774 0 724730 179240 656201 000000 695210 00760 00030 44960 00170 0007x6 0 19902 0 199400 098410 322630 695211 000000 40020 39930 67980 16530 0007 2 Spearman相关矩阵 1 3 3多维数据的数字特征及相关分析 33