多维数据的数字特征及相关分析课件

11.3多维数据的数字特征及相关分析基本内容均值协方差Pearson相关系数Spearman相关系数

p维总体均值向量协方差矩阵相关系数矩阵随机向量的性质多维正态分布

观测数据协方差

Pearson相关矩阵

Spearman相关矩阵proccorr过程实现1.3.1二维数据的数字特征及相关系数1.3.3多维数据的数字特征及相关矩阵1.3.2多维总体的数字特征、相关矩阵及多维正态分布11.3多维数据的数字特征及相关分析基本内容均值p维总体21.3多维数据的数字特征及相关分析均值协方差Pearson相关系数Spearman相关系数

1.3.1二维数据的数字特征及相关系数21.3多维数据的数字特征及相关分析均值1.3.1二维3复习：数据的分布直方图、经验分布函数、QQ图、茎叶图nnijiaxaxaaxa)()(11)1(0-3复习：数据的分布直方图、经验分布函数、QQ图、茎叶图nni4

一.二维总体的数字特征及相关系数

1.3.1二维数据的数字特征及相关系数4一.二维总体的数字特征及相关系数1.3.1二维数5

二维数字特征的性质当X与Y相互独立时，（3）

（2）（1）1.3.1二维数据的数字特征及相关系数5二维数字特征的性质当X与Y相互独立时，（3）（2）（16二．观测数据协方差、相关系数、检验

——样本协方差——样本协方差矩阵——样本均值——样本方差1.3.1二维数据的数字特征及相关系数观测矩阵—1.3.1二维数据的数字特征及相关系数总体(X,Y)T，样本

6二．观测数据协方差、相关系数、检验——样本协方差——样本7—Pearson相关系数—Pearson相关系数矩阵注:1.Pearson相关系数反映两随机变量线性相关强弱,散点图见书图1.11.

2.由Schwarz不等式知1.3.1二维数据的数字特征及相关系数二．观测数据协方差、相关系数、检验

3.n充分大时，7—Pearson相关系数—Pearson相关系数矩阵注:18当(X,Y)T

为二维正态二维随机变量相关性检验观测数据

假设检验

统计量,认为|t|过大,拒绝假设,认为X与Y相关.检验p值

给定，当，拒绝H0.认为X与Y相关;否则,不相关.1.3.1二维数据的数字特征及相关系数二．观测数据协方差、相关系数、检验

8当(X,Y)T为二维正态二维随机变量相关性检验观测数据91．秩统计量

三．Spearman相关系数秩统计量:

例观测值-0.8，-3.1，1.1，-5.24.2如-0.8，-3.1，-0.8秩统计量

2,1,3或3,1,2记为2.51，2.5秩统计量规定：相同观测值，秩统计量取排序的平均值。1.3.1二维数据的数字特征及相关系数91．秩统计量三．Spearman相关系数秩统计量:10注：当X,Y相关性较强,两组秩统计量相关性也较强

2．Spearman相关系数秩统计量分别为

Spearman相关系数：

1.3.1二维数据的数字特征及相关系数10注：当X,Y相关性较强,两组秩统计量相关性也较强2．S11基于Spearman相关系数的假设检验统计量检验P值1.3.1二维数据的数字特征及相关系数11基于Spearman相关系数的假设检验统计量检验P值112

四．SAS系统proccorr过程1.3.1二维数据的数字特征及相关系数12四．SAS系统proccorr过程1.3.1二维13

四．SAS系统proccorr过程解：程序dataexamp1_9;inputxy@@;cards;689716389270112568265931911210162123212031530375334622735221305584142292733217185537036287265740;run;proc

corrdata=examp1_9pearsonspearman

cov;/*方差描述性过程,输出Pearson,Spearman相关矩阵,协方差阵*/run;1.3.1二维数据的数字特征及相关系数13四．SAS系统proccorr过程解：程序1.14例1.9结果输出

CORR过程

2变量：xy

协方差矩阵S，自由度n-1=19xyx570.45007845.0789y7845.0789112404.2632

简单统计量

变量N均值标准偏差中位数最小值最大值

x2033.8500023.8841027.000005.0000070.00000y20477.50000335.26745342.0000082.000001125

Spearman相关系数,N=20

当H0:Rho=0时，Prob>|r|xyx1.00000

=0.97366p<.0001y0.973661.00000<.0001

Pearson相关系数,N=20

当H0:Rho=0时，Prob>|r|xyx1.00000=0.97971

相关性显著

p<.0001y0.979711<.00011.3.1二维数据的数字特征及相关系数14Spearman相关系数,N=2015结果分析：

（1）利用proccorr过程，得

（2）数据的Pearson相关系数（3）数据的Spearman相关系数

检验p值均

X与Y的相关性高度显著.1.3.1二维数据的数字特征及相关系数15结果分析：（1）利用proccorr过程，得（2161.3多维数据的数字特征及相关分析观测数据协方差

Pearson相关矩阵

Spearman相关矩阵proccorr过程实现1.3.2多维总体的数字特征、相关矩阵及多维正态分布161.3多维数据的数字特征及相关分析观测数据协方差1.3171.3.2多维总体数字特征、相关矩阵及正态分布

一.p维总体的数字特征、相关系数矩阵分布函数p维总体

连续总体概率密度均值向量：总体协方差矩阵：171.3.2多维总体数字特征、相关矩阵及正态分布一.18总体相关矩阵：1.3.2多维总体数字特征、相关矩阵及正态分布18总体相关矩阵：1.3.2多维总体数字特征、相关矩阵及正19二．随机向量的性质

（1）A—常量矩阵，常向量,则（2）B—常量矩阵1.3.2多维总体数字特征、相关矩阵及正态分布19二．随机向量的性质（1）A—常20三．多维正态分布

1．二维正态分布及性质其中

1.3.2多维总体数字特征、相关矩阵及正态分布20三．多维正态分布1．二维正态分布及性质其中1.3.212.p维正态分布——p维正态分布，密度

—协方差阵—均值向量1.3.2多维总体数字特征、相关矩阵及正态分布212.p维正态分布——p维正态分布，密度—协方差阵—均22(1)线性组合为正态分布(2)分量为正态分布

(3)分量独立不相关

3.多维正态分布性质1.3.2多维总体数字特征、相关矩阵及正态分布22(1)线性组合为正态分布(2)分量为正态分布(3)分量231.3多维数据的数字特征及相关分析观测数据协方差

Pearson相关矩阵

Spearman相关矩阵proccorr过程实现1.3.3多维数据的数字特征及相关矩阵231.3多维数据的数字特征及相关分析观测数据协方差1.324

一．样本观测数据的协方差、相关矩阵p维总体：

数据的协方差、方差均值向量样本协方差矩阵——样本观测数据矩阵1.3.3多维数据的数字特征及相关分析24一．样本观测数据的协方差、相关矩阵p维总体：均值向量251.3.3多维数据的数字特征及相关分析Pearson相关系数矩阵Spearman相关系数矩阵251.3.3多维数据的数字特征及相关分析Pearson相26

注意:1.原数据的相关系数矩阵即为标准化数据协方差阵.

标准化数据矩阵：2.n充分大时，有

对Xj数据标准化,得标准化数据矩阵；每行为标准化后样品观测向量1.3.3多维数据的数字特征及相关分析26注意:1.原数据的相关系数矩阵即为标准化数据协方差27例1.10

测20个3个生理指标:体重(X1)、腰围(X2)、脉搏(X3);3个训练指标:引体向上(X4)、仰卧起坐(X5)、跳跃(X6)次数.数据见书表1.2:解:程序：

二．SAS系统proccorr过程data

exam1_10;inputx1-x6;cards;1913650516260156335415225731383368211043;proccorr

data=exam1_10covpearsonspearman;/*调用Corr过程,输出协方差,Pearson,Spearman相关系数矩阵*/varx1-x6;run;1.3.3多维数据的数字特征及相关分析27例1.10测20个3个生理指标:体重(X1)、腰围(X28(1)计算观测数据均值向量、协方差阵、Pearson相关阵

CORR过程

6变量：

x1x2x3x4x5x6

简单统计量

变量N均值标准偏差中位数最小值最大值

x120178.6000024.69051176.00000138.00000247.00000x22035.400003.2019735.0000031.0000046.00000x32056.100007.2103755.0000046.0000074.00000x4209.450005.2862811.500001.0000017.00000x520145.5500062.56658122.5000050.00000251.00000x62070.3000051.2774754.0000025.00000250.000001.3.3多维数据的数字特征及相关分析28(1)计算观测数据均值向量、协方差阵、Pearson相29样本协方差矩阵S

自由度

=19=样本个数-1

x1x2x3x4x5x6x1

609.6210568.80000-65.11578-50.86316-761.71578-286.50526x2

68.80000010.252632-8.147368-9.347368-129.336842-31.442105x3-65.115789-8.14736851.9894745.742105101.52105312.915789x4

-50.863158-9.3473685.74210527.944737230.107895134.384211x5

-761.715789-129.33684101.521053230.1078953914.576322146.98421x6-286.505263-31.44210512.915789134.384212146.984212629.378951.3.3多维数据的数字特征及相关分析29样本协方差矩阵S自由度=19=样本个数-11.330Pearson相关系数矩阵R

Pearson相关系数,N=20

当H0:Rho=0时，Prob>|r|x1x2x3x4x5x6x11.00000=0.87024-0.36576-0.38969-0.49308-0.22630

相关性好

p12<.00010.11280.08940.02720.3374x20.870241.00000-0.35289-0.55223-0.64560-0.19150

<.00010.12700.01160.00210.4186x3-0.36576-0.352891.000000.150650.225040.034930.11280.12700.52610.34010.8838x4-0.38969-0.552230.150651.000000.695730.495760.08940.01160.52610.00070.0262x5-0.49308-0.645600.225040.695731.000000.669210.02720.00210.34010.00070.0013x6-0.22630-0.191500.034930.495760.669211.000000.33740.41860.88380.02620.00131.3.3多维数据的数字特征及相关分析30Pearson相关系数矩阵R1.3.3多维数据的数字特31

Spearman相关系数,N=20

当H0:Rho=0时，Prob>|r|

x1x2x3x4x5x6x11.000000.81423-0.37070-0.38020-0.57774-0.19902

<.00010.10760.09820.00760.4002x20.814231.00000-0.23770-0.54190-0.72473-0.19940<.00010.31290.01360.00030.3993

x3-0.37070-0.237701.000000.136620.179240.098410.10760.31290.56570.44960.6798x4-0.38020-0.541900.136621.000000.656200.322630.09820.01360.56570.00170.1653x5-0.57774-0.724730.179240.656201.000000.695210.00760.00030.44960.00170.0007

x6-0.19902-0.199400.098410.322630.695211.000000.40020.39930.67980.16530.0007（2）Spearman相关矩阵1.3.3多维数据的数字特征及相关分析3132由Pearson相关系数矩阵输出结果，取显著水平，则（3）分析各指标间的相关性检验值均满足p>0.1，接受原假设，认为各相应随机变量对相关性很小，认为0.类似,Pearsman相关系数矩阵的下列检验值p>0.11.3.3多维数据的数字特征及相关分析32由Pearson相关系数矩阵输出结果，取显著水平333334概念总结（纸质作业）：1.一位数据的数字特征哪些？写出公式,说明作用.2.说出数据的几种图形表示法，正态性的检验方法（统计量、检验p值、判断）.3.写出多维数据的数字特征、多维总体的数字特征及性质、多维正态分布密度.

作业1.51.634概念总结（纸质作业）：作业1.51.6351.3多维数据的数字特征及相关分析基本内容均值协方差Pearson相关系数Spearman相关系数

p维总体均值向量协方差矩阵相关系数矩阵随机向量的性质多维正态分布

观测数据协方差

Pearson相关矩阵

Spearman相关矩阵proccorr过程实现1.3.1二维数据的数字特征及相关系数1.3.3多维数据的数字特征及相关矩阵1.3.2多维总体的数字特征、相关矩阵及多维正态分布11.3多维数据的数字特征及相关分析基本内容均值p维总体361.3多维数据的数字特征及相关分析均值协方差Pearson相关系数Spearman相关系数

1.3.1二维数据的数字特征及相关系数21.3多维数据的数字特征及相关分析均值1.3.1二维37复习：数据的分布直方图、经验分布函数、QQ图、茎叶图nnijiaxaxaaxa)()(11)1(0-3复习：数据的分布直方图、经验分布函数、QQ图、茎叶图nni38

一.二维总体的数字特征及相关系数

1.3.1二维数据的数字特征及相关系数4一.二维总体的数字特征及相关系数1.3.1二维数39

二维数字特征的性质当X与Y相互独立时，（3）

（2）（1）1.3.1二维数据的数字特征及相关系数5二维数字特征的性质当X与Y相互独立时，（3）（2）（140二．观测数据协方差、相关系数、检验

——样本协方差——样本协方差矩阵——样本均值——样本方差1.3.1二维数据的数字特征及相关系数观测矩阵—1.3.1二维数据的数字特征及相关系数总体(X,Y)T，样本

6二．观测数据协方差、相关系数、检验——样本协方差——样本41—Pearson相关系数—Pearson相关系数矩阵注:1.Pearson相关系数反映两随机变量线性相关强弱,散点图见书图1.11.

2.由Schwarz不等式知1.3.1二维数据的数字特征及相关系数二．观测数据协方差、相关系数、检验

3.n充分大时，7—Pearson相关系数—Pearson相关系数矩阵注:142当(X,Y)T

为二维正态二维随机变量相关性检验观测数据

假设检验

统计量,认为|t|过大,拒绝假设,认为X与Y相关.检验p值

给定，当，拒绝H0.认为X与Y相关;否则,不相关.1.3.1二维数据的数字特征及相关系数二．观测数据协方差、相关系数、检验

8当(X,Y)T为二维正态二维随机变量相关性检验观测数据431．秩统计量

三．Spearman相关系数秩统计量:

例观测值-0.8，-3.1，1.1，-5.24.2如-0.8，-3.1，-0.8秩统计量

2,1,3或3,1,2记为2.51，2.5秩统计量规定：相同观测值，秩统计量取排序的平均值。1.3.1二维数据的数字特征及相关系数91．秩统计量三．Spearman相关系数秩统计量:44注：当X,Y相关性较强,两组秩统计量相关性也较强

2．Spearman相关系数秩统计量分别为

Spearman相关系数：

1.3.1二维数据的数字特征及相关系数10注：当X,Y相关性较强,两组秩统计量相关性也较强2．S45基于Spearman相关系数的假设检验统计量检验P值1.3.1二维数据的数字特征及相关系数11基于Spearman相关系数的假设检验统计量检验P值146

四．SAS系统proccorr过程1.3.1二维数据的数字特征及相关系数12四．SAS系统proccorr过程1.3.1二维47

四．SAS系统proccorr过程解：程序dataexamp1_9;inputxy@@;cards;689716389270112568265931911210162123212031530375334622735221305584142292733217185537036287265740;run;proc

corrdata=examp1_9pearsonspearman

cov;/*方差描述性过程,输出Pearson,Spearman相关矩阵,协方差阵*/run;1.3.1二维数据的数字特征及相关系数13四．SAS系统proccorr过程解：程序1.48例1.9结果输出

CORR过程

2变量：xy

协方差矩阵S，自由度n-1=19xyx570.45007845.0789y7845.0789112404.2632

简单统计量

变量N均值标准偏差中位数最小值最大值

x2033.8500023.8841027.000005.0000070.00000y20477.50000335.26745342.0000082.000001125

Spearman相关系数,N=20

当H0:Rho=0时，Prob>|r|xyx1.00000

=0.97366p<.0001y0.973661.00000<.0001

Pearson相关系数,N=20

当H0:Rho=0时，Prob>|r|xyx1.00000=0.97971

相关性显著

p<.0001y0.979711<.00011.3.1二维数据的数字特征及相关系数14Spearman相关系数,N=2049结果分析：

（1）利用proccorr过程，得

（2）数据的Pearson相关系数（3）数据的Spearman相关系数

检验p值均

X与Y的相关性高度显著.1.3.1二维数据的数字特征及相关系数15结果分析：（1）利用proccorr过程，得（2501.3多维数据的数字特征及相关分析观测数据协方差

Pearson相关矩阵

Spearman相关矩阵proccorr过程实现1.3.2多维总体的数字特征、相关矩阵及多维正态分布161.3多维数据的数字特征及相关分析观测数据协方差1.3511.3.2多维总体数字特征、相关矩阵及正态分布

一.p维总体的数字特征、相关系数矩阵分布函数p维总体

连续总体概率密度均值向量：总体协方差矩阵：171.3.2多维总体数字特征、相关矩阵及正态分布一.52总体相关矩阵：1.3.2多维总体数字特征、相关矩阵及正态分布18总体相关矩阵：1.3.2多维总体数字特征、相关矩阵及正53二．随机向量的性质

（1）A—常量矩阵，常向量,则（2）B—常量矩阵1.3.2多维总体数字特征、相关矩阵及正态分布19二．随机向量的性质（1）A—常54三．多维正态分布

1．二维正态分布及性质其中

1.3.2多维总体数字特征、相关矩阵及正态分布20三．多维正态分布1．二维正态分布及性质其中1.3.552.p维正态分布——p维正态分布，密度

—协方差阵—均值向量1.3.2多维总体数字特征、相关矩阵及正态分布212.p维正态分布——p维正态分布，密度—协方差阵—均56(1)线性组合为正态分布(2)分量为正态分布

(3)分量独立不相关

3.多维正态分布性质1.3.2多维总体数字特征、相关矩阵及正态分布22(1)线性组合为正态分布(2)分量为正态分布(3)分量571.3多维数据的数字特征及相关分析观测数据协方差

Pearson相关矩阵

Spearman相关矩阵proccorr过程实现1.3.3多维数据的数字特征及相关矩阵231.3多维数据的数字特征及相关分析观测数据协方差1.358

一．样本观测数据的协方差、相关矩阵p维总体：

数据的协方差、方差均值向量样本协方差矩阵——样本观测数据矩阵1.3.3多维数据的数字特征及相关分析24一．样本观测数据的协方差、相关矩阵p维总体：均值向量591.3.3多维数据的数字特征及相关分析Pearson相关系数矩阵Spearman相关系数矩阵251.3.3多维数据的数字特征及相关分析Pearson相60

注意:1.原数据的相关系数矩阵即为标准化数据协方差阵.

标准化数据矩阵：2.n充分大时，有

对Xj数据标准化,得标准化数据矩阵；每行为标准化后样品观测向量1.3.3多维数据的数字特征及相关分析26注意:1.原数据的相关系数矩阵即为标准化数据协方差61例1.10

测20个3个生理指标:体重(X1)、腰围(X2)、脉搏(X3);3个训练指标:引体向上(X4)、仰卧起坐(X5)、跳跃(X6)次数.数据见书表1.2:解:程序：

二．SAS系统proccorr过程data

exam1_10;inputx1-x6;cards;1913650516260156335415225731383368211043;proccorr

data=exam1_10covpearsonspearman;/*调用Corr过程,输出协方差,Pearson,Spearman相关系数矩阵*/varx1-x6;run;1.3.3多维数据的数字特征及相关分析27例1.10测20个3个生理指标:体重(X1)、腰围(X62(1)计算观测数据均值向量、协方差阵、Pearson相关阵

CORR过程

6变量：

x1x2x3x4x5x6

简单统计量

变量N均值标准偏差中位数最小值最大值

x120178.6000024.69051176.00000138.00000247.00000x22035.400003.2019735.0000031.0000046.00000x32056.100007.2103755.0000046.0000074.00000x4209.450005.2862811.500001.0000017.00000x520145.5500062.56658122.5000050.00000251.00000x62070.3000051.2774754.0000025.00000250.000001.3.3多维数据的数字特征及相关分析28(1)计算观测数据均值向量、协方差阵、Pearson相63样本协方差矩阵S

自由度

=19=样本个数-1

x1x2x3x4x5x6x1

609.6210568.80000-65.11578-50.86316-761.71578-286.50526x2

68.80000010.252632-8.147368-9.347368-129.336842-31.442105x3-65.115789-8.14736851.9894745.742105101.52105312.915789x4

-50.863158-9.3473685.74210527.944737230.107895134.384211x5

-761.715789-129.33684101.521053230.1078953914.576322146.98421x6-286.505263-31.44210512.915789134.384212146.984212629.378951.3.3多维数据的数字特征及相关分析29样本协方差矩阵S自由度=19=样本个数-11.364Pearson相关系数矩阵R

Pearson相关系数,N=20

当H0:Rho=0时，Prob>|r|x1x2x3x4x5x6x11.00000=0.87024-0.36576-0.38969-0.49308-0.22630

相关性好

p12<.00010.11280.08940.02720.3374x20.870241.00000-0.35289-0.55223-0.64560-0.19150

<.00010.12700.01160.00210.4186x3-0.36576-0.352891.000000.150650.225040.034930.11280.12700.52610.34010.8838x4-0.38969-0.552230.150651.000000.695730.495760.08940.01160.52610.00070.0262x5-0.49308-0.645600.225040.695731.000000.669210.02720.00210.34010.00070.0013x6-0.22630-0.191500.034