数据分布及检验

1、第2章 数据描述性分析,2020/7/11,数据描述性分析,2.2数据分布 一元数据分布检验 多维数据的特征与分布检验,第二章,直方图与QQ图能直观 描述数据的分布 如何判定数据是否服从 正态分布? 若不服从正态分布，可 能服从怎样的分布.,2.2.1 一元数据分布检验 1.直方图密度函数的拟合 2.经验分布函数-分布函数的拟合 3.QQ图 4.总体分布的正态性检验,4,2020/7/11,1.样本值排序,1.直方图密度函数的拟合及检验,将样本观测值从小到大排序，去掉重复值，得到,2.2.1一元数据分布检验,2.做分组区间,3.计算频率,5,2020/7/11,1.直方图密度函数的拟合及检验,

2、4.画直方图,如高为 则矩形面积fi为数据落入该区间频率,边缘曲线作为总体密度的估计,5.参数分布拟合检验,由直方图形状,确定密度曲线类型；在限定参数分布中,利用数据估计参数,选出最接近的密度曲线拟合直方图,再作检验,2.2.1一元数据分布检验,6,2020/7/11,附加有正态密度曲线的频数直方图命令histfit，格式 histfit(X) 或histfit(X,nbins) % X为样本数据向量，返回频数直方图和正态曲线； nbins指定bar的个数，缺省为X中数据个数平方根 绘制频率直方图命令ecdf(ecdfhist)，调用格式 f,xc=ecdf(X) ; %调用ecdf函数，计算

3、X顺序统计量xc处分布函数值f ecdf(f,xc,nbins) % 绘制X频率直方图和正态曲线,MATLAB绘制频数直方图命令hist(histfit)，调用格式, hist(X,n) 或 hist(X) %绘制数据x频数直方图，n-分组个数，缺省n=10,7,2020/7/11,name常见分布名称，如norm指正态分布 X样本数据 A,B,C-分布参数 如Y=pdf(norm,X ,mu,sigma)表示求均值mu,标准差sigma的正态分布随机变量在X处的概率密度函数,8,2020/7/11,概率密度、分布函数、拟概率分布函数值,分布函数,密度函数,拟概率分布函数,9,2020/7/1

4、1,例1 (1)生成服从标准正态分布N(0,1)的50个样本点;作出样本频数直方图；(3)作理论分布密度曲线图,将二者绘制一起; (2)求N(0,1)在x=1,0.5,1,2处的密度函数、分布函数值，概率P(-202),解:（1）产生服随机数，做样本直方图、概率密度曲线,X = random(normal,0,1,1, 50); %产生服从标准正态分布随机数50个 format short %数据转为短格式,5位定点十进制数 X histfit(X,20) %做出样本频数直方图，拟合正态分布曲线 xlabel(0,1正态分布随机数); %为X轴加标签 ylabel (频数); %为纵轴加标签

5、legend(频数直方图,密度曲线图) %为图形加标注框,10,2020/7/11,X =-0.8637 0.0774 -1.2141 -1.1135 -0.0068 1.5326 -0.7697 0.3714 -0.2256 1.1174 -1.0891 0.0326 0.5525 1.1006 1.5442 0.0859 -1.4916 -0.7423 -1.0616 2.3505 -0.6156 0.7481 -0.1924 0.8886 -0.7648 -1.4023 -1.4224 0.4882 -0.1774 -0.1961 1.4193 0.2916 0.1978 1.5877

6、-0.8045 0.6966 0.8351 -0.2437 0.2157 -1.1658 -1.1480 0.1049 0.7223 2.5855 -0.6669 0.1873 -0.0825 -1.9330 -0.4390 -1.7947,结果,注:矩形柱高为样本落入该区间频数,11,2020/7/11,(2)求N(0,1)在x=1,0.5,1,2处的密度函数、分布函数值，概 率P(-20=2)，下侧0.90分位数。,x=0,0.5,1,2; %定义向量x y=normpdf(x,0,1) %求N(0,1)密度函数在x处值 F=normcdf(x,0,1) %求N(0,1)分布函数在x的值

7、P=normcdf(2,0,1)-normcdf(-2,0,1) %求概率P(-2x=2) u=norminv(0.90,0,1) % N(0,1)下侧0.90分位数 输出结果： y =0.3989 0.3521 0.2420 0.0540 F = 分布函数值F(x)=PX=x 0.5000 0.6915 0.8413 0.9772 P =0.9545 概率P(-1X=2)=F(2)-F(-2) u =1.2816 下0.90分位数P(X=u)=0.90,12,2020/7/11,X = random(normal,0,1,1, 50); %产生N(0,1)随机数50个 f,xc=ecdf(X

8、) %调用ecdf函数计算X的顺序统计量xc处分布函数值f ecdfhist(f,xc,20); %绘制频率直方图，区间数20个 xlabel(0,1正态分布随机数); %为X轴加标签 ylabel(f(x); %为纵轴加标签 x=-3:0.1:3; %产生一个新的横坐标向量x y=normpdf(x,mean(X),std(X); %计算均值mean(X),标准差std(X)的正态分布在向量x处的密度函数值 hold on plot(x,y,k,LineWidth,2) %绘制N(mean(X),std(X)密度曲线,设置线条黑色实线,线宽2 legend(频率直方图, 正态分布密度曲线,L

9、ocation, Northwest); %添加标注框，设框位置在图形左上角,法2 利用ecdf函数绘制频率直方图及密度曲线图,13,2020/7/11,f =分布函数值 0 0.0200 0.0400 0.0600 0.0800 0.1000 0.1200 0.1400 0.1600 0.1800 0.2000 0.2200 0.2400 0.2600 0.2800 0.3000 0.3200 0.3400 0.3600 0.3800 0.4000 0.4200 0.4400 0.4600 0.4800 0.5000 0.5200 0.5400 0.5600 0.5800 0.6000 0.

10、6200 0.6400 0.6600 0.6800 0.7000 0.7200 0.7400 0.7600 0.7800 0.8000 0.8200 0.8400 0.8600 0.8800 0.9000 0.9200 0.9400 0.9600 0.9800 1.0000 xc =X的顺序统计量值 -1.8359 -1.8359 -1.8054 -1.6989 -1.4694 -1.0570 -1.0360 -1.0257 -0.9087 -0.9047 -0.9047 -0.8759 -0.8608 -0.8223 -0.7841 -0.6045 -0.5700 -0.5583 -0.46

11、77 -0.3158 -0.3114 -0.2883 -0.2841 -0.2339 -0.2099 -0.1249 -0.1178 -0.0942 -0.0867 0.1034 0.1136 0.1922 0.3086 0.3199 0.3232 0.3362 0.3501 0.4286 0.5632 0.6076 0.6992 0.7847 0.7873 0.8810 0.9407 0.9594 1.0360 1.4790 1.8586 1.8779 2.4245,14,2020/7/11,频率直方图,15,2020/7/11,-经验分布函数,2.2.1一元数据分布检验,2.经验分布函数分

12、布函数的拟合及检验, cdfplot(X) %作样本X的经验分布函数图形 h = cdfplot(X) %h表示曲线的环柄 h,stats = cdfplot(X) %结构体变量stats有5个字段，对应最小、大值、均值、中位数与标准差,MATLAB经验(累积)分布函数图形命令cdfplot:,例2 生成服从标准正态分布N(0,1)的50个样本点，作出样本的经验分布函数图，并与理论分布函数比较.,解： figure; %新建图形窗口 X=normrnd (0,1,50,1); %生成服从N(0,1)的50个样本点 h,stats=cdfplot(X); %作样本经验分布函数图，返回句柄h和结构

13、体变量stats hold on %保留上一幅图，当前图可以画在同一个轴上 plot(-3:0.01:3, normcdf(-3:0.01:3,0,1), r) %作图形，横坐标数据从-3到3，间隔0.01，纵标为标准正态N(0,1)理论分布函数(x)，与上一图绘制在一个图中,50个正态分布的样本点 X =-0.8637 0.0774 -1.2141 -1.1135 0.1873,输出结果： h =3.0013 曲线的环柄 stats = min: -1.8740 %样本最小值 max: 1.6924 %最大值 mean: 0.0565 %平均值 median: 0.1032 %中间值 std

14、: 0.7559 %样本标准差,图1.9 标准正态分布及50个样本点的经验分布函数图,程序2： figure; %新建图形窗口 X=normrnd (0,1,50,1); %生成服从N(0,1)的50个样本点 h,stats=cdfplot(X); %作样本经验分布函数图,返回句柄h和结构体变量stats set(h,color,b,Linewidth,2); %设置线条颜色蓝色，线宽2 x=-3:0.2:3; %产生新的横坐标向量 y=normcdf(x,stats.mean,stats.std); %计算均值stats,mean,标准差stats.std的正态分布在向量x处分布函数值 ho

15、ld on %保留上一幅图，当前图可以画在同一个轴 plot(x,y,:r,Linewidth,2); %绘制正态分布分布函数曲线，横坐标x，纵标y，线条红色虚线，线宽2 legend(经验分布函数,理论正态分布函数,Location,Northwest); %添加标注框，设框位置在图形左上角,20,2020/7/11,分布函数拟合曲线图,21,2020/7/11,3.QQ图考察和正态等分布接近情况,QQ图:,5.峰度为正,2.2.1一元数据分布检验,判断数据是否来源于分布F(x),QQ图计算步骤,23,2020/7/11,MATLAB绘制QQ图命令qqplot:,qqplot(X); xla

16、bel(标准正态分布分位数); %为X轴加标签 ylabel(样本分位数); %为Y轴加标签样本分位数 说明： 横坐标为样本分位数，纵坐标为指定分布的理论分位数(下)。 每个样本数据对应一个+号，图中有参考直线，图中的+ 号 偏离偏离参考线越多，说明样本数据越不服从指定分布,24,2020/7/11,例2 100名女生的血清蛋白含量数据:(1)作直方图，拟合正态分布曲线；(2)经验分布图; (3)作正态QQ图；(4)判断数据是否来自正态总体.,2.2.1一元数据分布检验,74.3 78.8 68.8 78.0 70.4 80.5 80.5 69.7 71.2 73.5 79.5 75.6 75

17、.0 78.8 72.0 72.0 72.0 74.3 71.2 72.0 75.0 73.5 78.8 74.3 75.8 65.0 74.3 71.2 69.7 68.0 73.5 75.0 72.0 64.3 75.8 80.3 69.7 74.3 73.5 73.5 75.8 75.8 68.8 76.5 70.4 71.2 81.2 75.0 70.4 68.0 70.4 72.0 76.5 74.3 76.5 77.6 67.3 72.0 75.0 74.3 73.5 79.5 73.5 74.7 65.0 76.5 81.6 75.4 72.7 72.7 67.2 76.5 72

18、.7 70.4 77.2 68.8 67.3 67.3 67.3 72.7 75.8 73.5 75.0 72.7 73.5 73.5 72.7 81.6 70.3 74.3 73.5 79.5 70.4 76.5 72.7 77.2 84.3 75.0 76.5 70.4,25,2020/7/11,拟合密度,2）拟合:从图看接近正态总体,由极大似然估计得,（1）直方图：作直方图,拟合正态分布曲线,1）分组区间：,2.2.1一元数据分布检验,26,2020/7/11, A=74.3 78.8 68.8 78.0 70.4 80.5 80.5 69.7 71.2 73.5 79.5 75.6 7

19、5.0 78.8 72.0 72.0 72.0 74.3 71.2 72.0 75.0 73.5 78.8 74.3 75.8 65.0 74.3 71.2 69.7 68.0 73.5 75.0 72.0 64.3 75.8 80.3 69.7 74.3 73.5 73.5 75.8 75.8 68.8 76.5 70.4 71.2 81.2 75.0 70.4 68.0 70.4 72.0 76.5 74.3 76.5 77.6 67.3 72.0 75.0 74.3 73.5 79.5 73.5 74.7 65.0 76.5 81.6 75.4 72.7 72.7 67.2 76.5 7

20、2.7 70.4 77.2 68.8 67.3 67.3 67.3 72.7 75.8 73.5 75.0 72.7 73.5 73.5 72.7 81.6 70.3 74.3 73.5 79.5 70.4 76.5 72.7 77.2 84.3 75.0 76.5 70.4; hist(A,20); % 绘制X频数直方图，分组区间20个 histfit(A,20); % 绘制数据X直方图和拟合的密度曲线，分组区间20个 xlabel(血清蛋白); % 为X轴加标签 ylabel(频率); % 为Y轴加标签频率 legend(频率直方图,正态密度曲线,Location,NorthWest) %

21、添加标注框，并设置标注框的位置在图形窗口的左上角,2.2.1一元数据分布检验,27,2020/7/11,（2）作经验分布图,figure; % 新建一个图形窗口 % 绘制经验分布函数图，返回图形句柄和结构体变量stats,结构体变量有5个字段，对应最小值、最大值、平均值、中位数和标准差 h,stats=cdfplot(A); 结果 h =1164.0 stats = min: 64.30 最小值64.30 max: 84.30 最大值84.3 mean: 73.66 样本均值73.66 median: 73.50 中位数73.50 std: 3.9401 标准差3.9401,2.2.1一元数据

22、分布检验,28,2020/7/11,x=60:1:85; %产生一个新的横坐标向量x %以下计算均值为stats.mean,标准差为stats.std的正态分布在向量x处分布函数值 y=normcdf(x, stats.mean, stats.std); hold on %保留上一幅图，当前图可以画在同一个轴上 plot(x,y,:r,LineWidth,2); %绘制正态分布函数曲线，并设置线条为红色虚线，线宽为2 legend(经验分布函数,理论正态分布, Location,NorthWest); %添加标注框,设置标注框的位置在图形窗口左上角,29,2020/7/11,经验分布函数图和拟

23、合的正态分布函数图,拟合正态分布参数估计 N(73.66,3.942),图 n=100 蛋白含量的经验分布函数 及拟合,30,2020/7/11,正 态 分 布 QQ 图,（3）作正态概率图/正态QQ图,2.2.1一元数据分布检验,qqplot(A); xlabel(标准正态分布分位数); % 为X轴加标签 ylabel(样本分位数); % 为Y轴加标签样本分位数,normplot(A); xlabel(样本数据分位数); % 为X轴加标签 ylabel(正态分布概率); % 为Y轴加标签样本分位数,正态概率图,31,2020/7/11,（4）盒图： 100位女生血清蛋白含量的盒型图,boxp

24、lot(X);,上截断点 82.7,上四分位数 75.8,下四分位数 71.2,中位数 73.5,下截断点 64.3,最小值 64.3异常值,最大值 84.3异常值,中位数73.5=三均值均值73.66，差别不大，数据基本对称。有两个异常值,4.总体分布的正态性检验,进行参数估计和假设检验时，通常假定总体服从正态分布，虽然许多情况下这个假定是合理的，但要以此为前提进行重要的参数估计或假设检验，或者人们对它有较大怀疑时，有必要对这个假设进行检验。 进行总体正态性检验的方法很多，针对MATLAB统计工具箱中提供的程序，简单介绍几种方法.,（2.2.3）,（1）Jarque-Bera检验(简称JB检

25、验) 利用正态分布的偏度g1和峰度g2，构造一个含g1，g2且自由度为2的卡方分布统计量JB，,JB检验步骤：,p,35,2020/7/11,显著性水平和拒绝域,0,a,拒绝H0,统计量,1 - ,置信水平,临界值,36,2020/7/11,%显著性水平alpha(默认0.05)下对输入向量X进行JB检验; H-检验结果，如H=1，拒绝原假设，认为X不服从正态分布; H=0，接受原假设，认为X服从正态分布。 P-输出接受假设概率值,PCV拒绝假设，否则接受原假设。 H=jbtest(X) %JB检验，显著性水平默认=0.05； 注：此法要求X为大样本，对小样本用lillisrest函数,MAT

26、LAB中(Jarque-Berate)检验命令jbtest，调用格式 H,P,JBSTAT,CV = jbtest(X,alpha),37,2020/7/11,例2中 100名女生的血清蛋白含量数据, 判断数据是否来自正态总体.,2.2.1一元数据分布检验,74.3 78.8 68.8 78.0 70.4 80.5 80.5 69.7 71.2 73.5 79.5 75.6 75.0 78.8 72.0 72.0 72.0 74.3 71.2 72.0 75.0 73.5 78.8 74.3 75.8 65.0 74.3 71.2 69.7 68.0 73.5 75.0 72.0 64.3 7

27、5.8 80.3 69.7 74.3 73.5 73.5 75.8 75.8 68.8 76.5 70.4 71.2 81.2 75.0 70.4 68.0 70.4 72.0 76.5 74.3 76.5 77.6 67.3 72.0 75.0 74.3 73.5 79.5 73.5 74.7 65.0 76.5 81.6 75.4 72.7 72.7 67.2 76.5 72.7 70.4 77.2 68.8 67.3 67.3 67.3 72.7 75.8 73.5 75.0 72.7 73.5 73.5 72.7 81.6 70.3 74.3 73.5 79.5 70.4 76.5 7

28、2.7 77.2 84.3 75.0 76.5 70.4,38,2020/7/11,%100名女生蛋白数据正态性检验程序 X=74.3 78.8 68.8 78.0 70.4 80.5 80.5 69.7 71.2 73.5 79.5 75.6 75.0 78.8 72.0 72.0 72.0 74.3 71.2 72.0 75.0 73.5 78.8 74.3 75.8 65.0 74.3 71.2 69.7 68.0 73.5 75.0 72.0 64.3 75.8 80.3 69.7 74.3 73.5 73.5 75.8 75.8 68.8 76.5 70.4 71.2 81.2 75

29、.0 70.4 68.0 70.4 72.0 76.5 74.3 76.5 77.6 67.3 72.0 75.0 74.3 73.5 79.5 73.5 74.7 65.0 76.5 81.6 75.4 72.7 72.7 67.2 76.5 72.7 70.4 77.2 68.8 67.3 67.3 67.3 72.7 75.8 73.5 75.0 72.7 73.5 73.5 72.7 81.6 70.3 74.3 73.5 79.5 70.4 76.5 72.7 77.2 84.3 75.0 76.5 70.4; H,P,JBSTAT,CV = jbtest(X,0.05),结果 H

30、=0 P =0.5000 JBSTAT =0.0614 小 CV =5.4314,说明：h=0,不拒绝总体服从正态分布；P=0.500.05显著性水平，表示接受正分布假设；JB统计量观测值为JBSTAT=0.0614接受假设临界值CV=5.4314； 因而接受总体服从正态分布的原假设。,（2）Kolmogorov-Smirnov检验(简称KS检验),kstest函数用作单样本KS检验。通过样本经验分布函数与给定分布函数比较，推断该样本是否来自给定分布函数的总体 假设H0：X的分布函数为G(x)，构造统计量,假设H0为真，Dn应较小，如观测值D0过大，拒绝H0.,注：这个检验需要给定G(x)，当

31、用于正态性检验时通常假设H0：总体服从标准正态分布.,（2.2.4）,Matlab KS检验命令kstest，调用格式 %生成cdf矩阵，第一列表示随机变量X可能取值，可以是样本值x，第二列指定分布函数F(x)的值 cdf=X,normcdf(X,mu,sigma) %生成cdf矩阵,指定均值mu,标准差sigma的正态分布 h,p,ksstat,cv = kstest(x,cdf,alpha) 输入:调用kstest 函数，指定显著性水平alpha，检验X是否服从由cdf指定的分布； 输出:变量包含检验中结果h/检验P值/统计量观测值ksstat/临界值cv,特别 h = kstest(x)

32、 %默认命令,检验样本服N(0,1), alpha=0.05 h = kstest(x,cdf) %KS检验x服从cdf给出经验分布函数值,输出结果： 如果h=1表示拒绝正态分布假设H0：XN(mu,sigma2)； 指定显著水平alpha，检验的p值pcv拒绝正态假设 cdf是一个两列矩阵，第一列包含可能的x值，第二列是假设累积分布函数G(x)值。,（3）Lilliefors检验,是改进K-S检验并用于一般正态性检验,通过样本经验分布函数与给定分布函数比较,推断样本是否来自给定分布函数的总体,构造统计量,（2.2.5）,Lilliefors检验MATLAB命令lillietest，调用格式

33、H,P,LSTAT,CV = lillietest(X,alpha),输入：alpha-显著性水平，0.01和0.2之间,缺省为0.05. 输出: H-测试结果，H=1接受X服从正态分布；若H=1,拒绝H0; P-接受假设的概率值，PCV拒绝H0,注意：Li检验无需给出分布函数值,44,2020/7/11,例3 某班31名学生，某门课程考试成绩如下：25 45 50 54 55 61 64 68 72 75 75 78 79 81 83 8484 84 85 86 86 86 87 89 89 89 90 91 91 92 100（1）在显著性水平0.05下，利用JB检验法检验总体是否源于正态

34、分布；(2)利用KS检验法检验总体是否源于正态分布；;(3)Lilliefors检验法检验总体是否源于正态分布(4)作直方图,经验分布图,拟合正态分布曲线;作正态QQ图,45,2020/7/11,解：（1）JB程序检验总体是否来自正态分布： X=25 45 50 54 55 61 64 68 72 75 75 78 79 81 83 84 84 84 85 86 86 86 87 89 89 89 90 91 91 92 100; H,P,JBSTAT,CV = jbtest(X,0.05),结果： H =1拒绝正态假设 P =0.0099小于0.05，拒绝正态假设 JBSTAT =11.47

35、44大于临界值CV=4.4466，拒绝正态假设,46,2020/7/11,X=25 45 50 54 55 61 64 68 72 75 75 78 79 81 83 84 84 84 85 86 86 86 87 89 89 89 90 91 91 92 100; h,stats=cdfplot(X); %给出分布函数h,及结构化变量值stats(包含样本均值mean,样本标准差std） cdf=X; normcdf(X,stats.mean,stats.std); %生成cdf矩阵，第一列样本数据X，第二列给出均值stats.mean，方差为样本方差stats.std的正态分布函数值 H,

36、P,KSSTAT,CV = kstest(X,cdf) %调用kstest函数，检验成绩是否服从cdf指定的正态分布,(2)KS检验法程序,47,2020/7/11,结果：,样本X 分布函数 84.0000 0.6688 84.0000 0.6688 85.0000 0.6902 86.0000 0.7110 86.0000 0.7110 86.0000 0.7110 87.0000 0.7311 89.0000 0.7691 89.0000 0.7691 89.0000 0.7691 90.0000 0.7870 91.0000 0.8040 91.0000 0.8040 92.0000 0

37、.8201 100.0000 0.9185,样本X 分布函数 25.0000 0.0010 45.0000 0.0288 50.0000 0.0548 54.0000 0.0869 55.0000 0.0968 61.0000 0.1734 64.0000 0.2233 68.0000 0.3010 72.0000 0.3890 75.0000 0.4592 75.0000 0.4592 78.0000 0.5308 79.0000 0.5545 81.0000 0.6014 83.0000 0.6468 84.0000 0.6688,H=0 接受正态假设H0 P=0.16470.05 接受H

38、0 KSSTAT=0.1952统计量 CV=0.2379 临界值 KSSTATCV 接受H0,cdf =cdf矩阵输出结果,48,2020/7/11,（3）Lilliefors检验方法 命令： H= lillietest(X) %默认检验 H,P,LSTAT,CV = lillietest(X,0.05) %显著水平0.05下检验，并输出 结论： H =1 拒绝正态假设 P =0.00400.05 拒绝正态假设 LSTAT =0.19520.1564 拒绝正态假设 CV =0.1564,两种检验结论不同,49,2020/7/11,hist(X) %画频数直方图histfit(X) %画频数直方

39、图和拟合密度曲线boxplot(X) %绘制盒型图cdfplot(X) %绘制经验分布函数图normplot(X) %绘制正态QQ图u=mean(X) %求样本均值M=median(X) %求中位数pd=skewness(X) %计算偏度fd=kurtosis(X) %求峰度,（4）绘制相关图形,50,2020/7/11,结论:偏度pd= -1.3270 0；粗尾非正态从直方图和盒型图看，数据左偏；X的QQ图散点不在一条线附近;认为数据不来源与正态分布总体。,M=84 u = 76.7097 中位数M均值u 有特小值25,KS检验受到异常值的影响,1. 二维总体(数据)的数字特征,2.2.2

40、多维数据的特征与分布检验,2.多维总体的数字特征,3.多维正态分布,4.多维数据的数字特征,1. 二维总体（数据)的数字特征,2.2.2 多维数据的特征与分布检验,二维总体,二维数字特征的性质,当X与Y相互独立时，,（3）,（2）,（1）,2.2.2 多维数据的特征与分布检验,二维数据的数字特征,样本协方差,样本 协方差矩阵,样本均值,样本方差,观测矩阵,总体(X,Y)T，样本,注:1. 相关系数反映随机变量X,Y线性相关强弱.,样本相关系数,样本相关系数矩阵 （Pearson),2.n充分大,当(X,Y)T 为二维正态时,观测数据,假设检验,统计量,认为|t|过大,拒绝假设,认为X与Y相关.

41、,检验p值,给定 ，当 ，拒绝H0.认为X与Y相关;否则,不相关.,二维随机变量相关性检验,2.p维总体的数字特征、相关系数矩阵,分布函数,p维总体,连续总体概率密度,均值向量：,总体相关矩阵：,总体协方差矩阵：,随机向量的性质,（1）A 常量矩阵， 常向量,则,（2）B 常量矩阵,左乘右转置,2.2.2 多维数据的特征与分布检验,3.多维数据的数字特征,p维总体G=(X1,X2,Xp)，抽取容量n样本，第i个样本观测值X（i）=(xi1,xi2,xip)(i=1,2,n),(2.2.6),-样本数据矩阵,(1) 样本均值向量,记Xj的观测值（即X中的第j列）的均值为,(2.2.7),-p元样

42、本均值向量,X的第j个列向量,2.2.2 多维数据的特征值与分布检验,(2) 样本协方差矩阵,称Sjk为样本数据矩阵X的第j列与第k列的协方差.,-样本协方差矩阵,- Xj的方差,2.2.2 多维数据的特征值与分布检验,(3)样本相关系数矩阵,X第j列与第k列相关系数,-样本相关系数矩阵,显然|rjk|1,说明:样本相关系数矩阵与协方差矩阵关系,（4）样本标准化矩阵,-样本矩阵X的标准化矩阵,令,可以证明：X*的协方差矩阵S*等于X的相关系数矩阵R,2.2.2 多维数据的特征值与分布检验,（5）R矩阵,X的第j列与第k列的R系数定义为,-矩阵X的R矩阵,显然 |rjk|1,可以证明 即X的标准

43、化矩阵的R矩阵等于其相关系数矩阵.,2.2.2 多维数据的特征值与分布检验,-对应元素相乘相加,样本协方差矩阵命令cov，调用格式 S=cov(X),其中X为样本矩阵.当X为向量时, S表示X的方差； 当X为矩阵,S为X协方差矩阵，S对角线元素是X每列方差,Sij为X第i列和第j列的协方差值.,样本相关系数矩阵命令corrcoef，调用格式 R= corrcoef (X),输出R的对角线元是1，Rij为X的第i列和第j列的相关系数.,（5）Matlab命令：,2.2.2 多维数据的特征与分布检验,标准化矩阵命令zscore, 调用格式： Z= zscore (X) 其中X为样本矩阵，输出Z是标

44、准化矩阵。,计算R矩阵程序:,X=data; %输入样本数据矩阵X for i=1: size(X,1) %返回矩阵X的行数 for j=1: size(X,2) %返回矩阵X的列数 RX(i,j)=2*dot(X(:,i),X(:,j)./sum(X(:,i).2)+ sum(X(:,j).2); % 计算R矩阵（i,j）元素 end end RX %输出R（X）,2.2.2 多维数据的特征值与分布检验,68,2020/7/11,例4 31位男生的身高、体重数据如右, （1）求样本均值向量； （2）求样本协方差、相关系数、R矩阵； （3）将数据标准化,69,2020/7/11,程序： M=m

45、ean(X); %求均值向量 S=cov(X); %求样本协方差矩阵 R= corrcoef (X); %求样本相关系数矩阵 Z= zscore (X); %数据标准化 for i=1: size(X,1) %返回矩阵X的行数 for j=1: size(X,2) %返回矩阵X的列数 RX(i,j)=2*dot(X(:,i),X(:,j)./(sum(X(:,i).2)+ sum(X(:,j).2); % 计算R矩阵（i,j）元素 end end M,S,R,Z,RX,70,2020/7/11,结果： M =样本均值向量 176.6452 70.7097 S =样本协方差矩阵 24.4366

46、33.6602 33.6602 118.0796 R =样本相关系数矩阵 1.0000 0.6266 0.6266 1.0000 RX =R矩阵 1.0000 0.6892 0.6892 1.0000,Z =标准化数据 0.6787 0.2108 0.6787 -0.8015 1.0832 -0.6175 0.8810 -0.2494 0.6787 0.6709 -0.3328 0.3948 0.4764 0.4868 0.8810 0.9470 0.0718 1.4071 -1.7489 -0.8015 2.4993 0.8550 1.0832 1.7752 -1.3443 -0.5254

47、-0.5351 -0.2494 0.2741 0.7629,-0.3328 -0.5254 -0.1305 -0.4334 -0.3328 -0.9856 -0.3328 -0.5254 1.0832 2.6955 0.2741 0.3948 0.6787 0.8550 0.6787 0.5789 -0.5351 -1.4457 -0.1305 0.3948 -0.7374 -0.9856 -0.9397 -0.5254 -0.1305 0.1187 -1.3443 -0.5254 -2.5580 -1.4457 -0.5351 -1.9058,注：R=cov(Z),二维正态分布及性质,其中,

48、4. 多维正态分布的概念与性质,设p元总体 的密度函数为：,称X服从p维正态分布，记为XNp(,),称为总体均值向量，称为总体协方差矩阵.,多维正态分布,多维正态分布性质：,(1) 多维正态分布的边缘分布服从正态分布，反之不真；,(2) 正态随机向量的线性函数仍然服从正态分布.,若XNp(,)，A为sp阶常数矩阵,d为s维常数向量,则,(3)正态分布的随机向量间相互独立与不相关等价.,多维总体QQ图检验法: 检验样本数据矩阵X是否来自p维正态总体G,(2) 计算样品点X(t)到 的马氏平方距离,(1) 计算样品均值向量 和协方差矩阵,(3) 对马氏平方距离从小到大排序,(4) 计算 及 ，其中

49、 满足,(5) 马氏平方距离分位数为横标，2分位数为纵标做n个点平面散点图，得到分布Q-Q图:,(6)若点散布在过原点斜率为1的直线上,接受数据来自正态分布总体假设；否则拒绝正态分布假设.,X=data; N,p=size(X); % X的行数N及列数p d=mahal(X,X); % 计算马氏平方距离 d1=sort(d); % 马氏平方距离从小到大排序 pt=1:N-0.5/N; % 计算pt=(t-0.5)/n x2=chi2inv(pt,p); % 计算 plot(d1,x2, *,0:m,0:m, -r) %作图,范围0,m,0,m,m是正整数,散点* 号, -r 表示红色,QQ图检验方法matlab程序：,例4 为了研究某种疾病，对一批人同时检测4项指标脂蛋白(X1)，甘油三酯(X2)，脂蛋白(X3)，前 脂蛋白(X4).该数据是否服从四维正态分布？,解:将表2.6中数据粘帖到MATLAB软件编辑窗口,用A表示数据，程序如下：,clear A= ;,表2-6 4项指标检测数据,X=A(:,1:4);A(:,5:8);A(:,9:12); % 分别提取A的1-4,5-8,9-12列，拼接为60*4矩阵，得到60个样本的矩阵 N,p=size(X