典型相关分析(1).ppt

1、统计本科应用多元分析,Canonical Correlation Analysis,典型相关分析,第四军医大学卫生统计学教研室 宇传华,一、引言,第四军医大学卫生统计学教研室 宇传华,1. 两个随机变量Y与X 简单相关系数 2. 一个随机变量Y与一组随机变量X1,X2, Xp 多重相关(复相关系数) 3. 一组随机变量Y1，Y2，Yq与另一组随机变量X1，X2，Xp 典型(则)相关系数,（一）何时采用典型相关分析,典型相关是简单相关、多重相关的推广；或者说简单相关系数、复相关系数是典型相关系数的特例。,第四军医大学卫生统计学教研室 宇传华,典型相关是研究两组变量之间相关性的一种统计分析方法。也

2、是一种降维技术。 由Hotelling (1935, 1936)最早提出，Cooley and Lohnes (1971)、 Kshirsagar (1972)和 Mardia, Kent, and Bibby (1979) 推动了它的应用。,第四军医大学卫生统计学教研室 宇传华,实例（X与Y地位相同）,第四军医大学卫生统计学教研室 宇传华,1985年中国28 省市城市男生(1922岁)的调查数据。记形态指标身高(cm)、坐高、体重(kg)、胸围、肩宽、盆骨宽分别为X1，X2，X6；机能指标脉搏(次/分)、收缩压(mmHg) 、舒张压(变音)、舒张压(消音)、肺活量(ml)分别为Y1，Y2，Y

3、5。现欲研究这两组变量之间的相关性。,第四军医大学卫生统计学教研室 宇传华,第四军医大学卫生统计学教研室 宇传华,简单相关系数矩阵,第四军医大学卫生统计学教研室 宇传华,简单相关系数公式符号,Corr（X）R11,Corr（Y）R22,Corr（Y，X）R21,Corr（X，Y）R12,第四军医大学卫生统计学教研室 宇传华,简单相关系数描述两组变量的相关关系的缺点,只是孤立考虑单个X与单个Y间的相关，没有考虑X、Y变量组内部各变量间的相关。 两组间有许多简单相关系数（实例为30个），使问题显得复杂，难以从整体描述。（复相关系数也如此）,第四军医大学卫生统计学教研室 宇传华,（二）典型相关分析的

4、思想,采用主成分思想寻找第i对典型(相关)变量（Ui，Vi）：,典型相关系数 典型变量系数或典型权重,第四军医大学卫生统计学教研室 宇传华,X*1，X*2，X*p和Y*1，Y*2，Y*q分别为X1，X2，Xp和Y1，Y2，Yq的正态离差标准化值。 记第一对典型相关变量间的典型相关系数为： CanR1Corr（U1，V1）（使U1与V1 间最大相关） 第二对典型相关变量间的典型相关系数为： CanR2Corr（U2，V2）（与U1、V1 无关； 使U2与V2 间最大相关） 第五对典型相关变量间的典型相关系数为： CanR5Corr（U5，V5） （与U1、V1 、 U4、V4无关； U5与V5

5、间最大相关） 有： 1CanR1CanR2CanR50,第四军医大学卫生统计学教研室 宇传华,典型相关变量的性质,第四军医大学卫生统计学教研室 宇传华,（三）典型相关分析示意图,X1,Y1,Y2,Y3,Y4,Y5,X2,X3,X4,X5,X6,X,Y,U1 U2 U3 U4 U5,V1 V2 V3 V4 V5,CanR1 CanR2 CanR3 CanR4 CanR5,第四军医大学卫生统计学教研室 宇传华,二、典型相关系数及其检验,第四军医大学卫生统计学教研室 宇传华,（一）求解典型相关系数的步骤,求X，Y变量组的相关阵R= 求矩阵A、B 可以证明A、B有相同的非零特征根 3. 求A或B的i（

6、相关平方）与CanRi，i1,m 4. 求A、B关于i的特征根向量即变量系数,第四军医大学卫生统计学教研室 宇传华,（二）典型相关系数计算实例,求X，Y变量组的相关阵R=,第四军医大学卫生统计学教研室 宇传华,Corr（X）R11,Corr（Y）R22,Corr（Y，X）R21,Corr（X，Y）R12,第四军医大学卫生统计学教研室 宇传华,2. 求矩阵A、B,第四军医大学卫生统计学教研室 宇传华,A矩阵(pp),第四军医大学卫生统计学教研室 宇传华,B矩阵(qq),第四军医大学卫生统计学教研室 宇传华,3. 求矩阵A、B的（相关系数的平方）,A、B有相同的非零特征值,第四军医大学卫生统计学教

7、研室 宇传华,B矩阵求（典型相关系数的平方）,第四军医大学卫生统计学教研室 宇传华,5个与典型相关系数,第四军医大学卫生统计学教研室 宇传华,4. 求A、B关于i的变量系数（求解第1典型变量系数）,第四军医大学卫生统计学教研室 宇传华,求解第2典型变量系数,第四军医大学卫生统计学教研室 宇传华,求解第5典型变量系数,第四军医大学卫生统计学教研室 宇传华,5组（标准化）典型变量系数(X),第四军医大学卫生统计学教研室 宇传华,5组（标准化）典型变量系数(X),第四军医大学卫生统计学教研室 宇传华,由标准化典型变量系数获得原变量X对应的粗典型变量系数,粗典型变量系数可由标准典型变量系数与相应的标准

8、差之比获得。,第四军医大学卫生统计学教研室 宇传华,5组（标准化）典型变量系数(Y),第四军医大学卫生统计学教研室 宇传华,（三）典型相关系数的特点,两变量组的变量单位改变，典型相关系数不变，但典型变量系数改变。（无论原变量标准化否，获得的典型相关系数不变） 第一对典则相关系数较两组变量间任一个简单相关系数或复相关系数之绝对值都大，即CanR1max(|Corr(Xi,Yj)|) 或CanR1max(|Corr(X,Yj)|) max(|Corr(Xi,Y)|),第四军医大学卫生统计学教研室 宇传华,（四）校正典型相关系数（Adjusted Canonical Correlation）,为了使

9、结果更加明了，增加大值或小值，减少之间大小的值，将典型变量系数旋转，可得到校正的典型相关系数。 缺点：1.可能影响max（U1,V1）； 2. 影响（U1,V1）与其他典型变量间的独立性。,第四军医大学卫生统计学教研室 宇传华,（五）典型相关系数的标准误,第四军医大学卫生统计学教研室 宇传华,（六）E1H的特征值（见典型判别、MANOVA，E误差项，H组间变异）,Eigenvalues of Inv(E)*H = CanRsq/(1-CanRsq),Eigenvalue Difference Proportion Cumulative 1 3.2422 2.0510 0.6546 0.6546

10、 2 1.1912 0.8379 0.2405 0.8951 3 0.3533 0.2097 0.0713 0.9665 4 0.1436 0.1212 0.0290 0.9955 5 0.0225 0.0045 1.0000,第四军医大学卫生统计学教研室 宇传华,（七）典型相关系数的假设检验,全部总体典型相关系数均为0 部分总体典型相关系数为0,第四军医大学卫生统计学教研室 宇传华,1. 全部总体典型相关系数为0,第四军医大学卫生统计学教研室 宇传华,F近似检验（SAS结果）,Test of H0: The canonical correlations in the current row

11、and all that follow are zero Likelihood Approximate Ratio F Value Num DF Den DF Pr F 1 0.06798466 2.24 30 70 0.0030 2 0.28840509 1.38 20 60.649 0.1686 3 0.63195301 0.80 12 50.561 0.6504 4 0.85521598 0.54 6 40 0.7729 5 0.97803479 0.24 2 21 0.7920,第四军医大学卫生统计学教研室 宇传华,F近似检验（计算公式）,第四军医大学卫生统计学教研室 宇传华,多变量统

12、计量与F近似检验,Multivariate Statistics and F Approximations Statistic Value F Value Num DF Den DF Pr F Wilks Lambda 0.06798 2.24 30 70 0.0030 Pillais Trace 1.71651 1.83 30 105 0.0133 Hotelling-Lawley Trace 4.95277 2.62 30 35.396 0.0032 Roys Greatest Root 3.24221 11.35 6 21 .0001 NOTE: F Statistic for Roys

13、 Greatest Root is an upper boun.,第四军医大学卫生统计学教研室 宇传华,多变量统计量的计算公式,第四军医大学卫生统计学教研室 宇传华,2. 部分总体典型相关系数为0仅对较小的典型相关作检验,第四军医大学卫生统计学教研室 宇传华,卡方近似检验,第四军医大学卫生统计学教研室 宇传华,部分总体F近似检验（计算公式）,第四军医大学卫生统计学教研室 宇传华,三、典型结构分析,第四军医大学卫生统计学教研室 宇传华,与原变量间的相关程度和典型变量系数有关。,典型变量与原变量的亲疏关系,原变量与自已的典则变量 原变量与对方的典则变量之间的相关系数。,第四军医大学卫生统计学教研室

14、 宇传华,原变量在典型变量上的负荷 (即原变量与典型变量间的相关系数),第四军医大学卫生统计学教研室 宇传华,负荷矩阵的表达,左上角的矩阵 X1=0.9050U1-0.0806U2+0.3777U3-0.1487U4+0.0887U5 X2=0.8616U1+0.0112U2+0.4152U3-0.0360U4+0.2412U5 X6,右下角的矩阵 Y1= -0.4130 V1-0.0848V2+0.7353V3+0.4530V4+0.2764V5 Y2=0.4533V1+0.8452V2+0.0968V3+0.1433V4+0.2240V5 .Y5,第四军医大学卫生统计学教研室 宇传华,各典

15、型变量的意义解释,第四军医大学卫生统计学教研室 宇传华,等于该变量与自己这方典则变量的相关系数与典则相关系数的乘积,原变量与对方典型变量的相关,第四军医大学卫生统计学教研室 宇传华,原变量与对方典型变量的相关,右上角和左下角反映了原变量和对方的典型变量间关系，为利用对方的典型变量来预测原变量(回归)提供依据,第四军医大学卫生统计学教研室 宇传华,四、典型变量的冗余分析（Canonical Redundancy Analysis）,第四军医大学卫生统计学教研室 宇传华,该方法由Stewart and Love 1968; Cooley and Lohnes 1971; van den Wolle

16、nberg 1977)发展。 以原变量与典型变量间相关为基础。 通过计算X、Y变量组由自己的典型变量解释与由对方的典型变量解释的方差百分比与累计百分比，反映由典型变量预测原变量的程度。,第四军医大学卫生统计学教研室 宇传华,X原变量的相关被典型变量解释的百分比,第四军医大学卫生统计学教研室 宇传华,Y原变量的相关被典型变量解释的百分比,第四军医大学卫生统计学教研室 宇传华,U1，U2，U5并没有完全概括X变量的全部信息（97.24），而V1，V2，V5 却概括了Y变量的全部信息（100）； V1，V2，V5中仅蕴含X变量信息的48.44%，而U1，U2，U5中仅蕴含Y变量信息的43.96%。,

17、实例冗余分析的解释,第四军医大学卫生统计学教研室 宇传华,五、基于典型变量的回归,第四军医大学卫生统计学教研室 宇传华,SAS输出结果,Squared Multiple Correlations Between the VAR Variables and the First M Canonical Variables of the WITH Variables M 1 2 3 4 5 X1 0.6260 0.6296 0.6668 0.6696 0.6697 X2 0.5674 0.5674 0.6124 0.6126 0.6139 X3 0.6697 0.6846 0.6852 0.6960

18、 0.6960 X4 0.3701 0.4253 0.5010 0.5138 0.5142 X5 0.0141 0.1684 0.1687 0.1758 0.1878 X6 0.0452 0.1511 0.1515 0.2217 0.2251 Squared Multiple Correlations Between the WITH Variables and the First M Canonical Variables of the VAR Variables M 1 2 3 4 5 Y1 0.1303 0.1342 0.2754 0.3012 0.3028 Y2 0.1571 0.54

19、54 0.5479 0.5505 0.5516 Y3 0.3366 0.3612 0.3626 0.3634 0.3745 Y4 0.2503 0.2512 0.2582 0.3129 0.3175 Y5 0.6390 0.6391 0.6438 0.6493 0.6516,第四军医大学卫生统计学教研室 宇传华,用对方典型变量V解释原X变量的确定系数,第四军医大学卫生统计学教研室 宇传华,用对方典型变量U解释原Y变量的确定系数,第四军医大学卫生统计学教研室 宇传华,七、典型判别的思想,第四军医大学卫生统计学教研室 宇传华,设有分别来自q2个总体的q份样本，每份样本都有关于X1，X2，Xp的观察

20、值，p q，样本量为ni，i=1，2，q。现欲以此为训练样本，从中学习出判别规则。,第四军医大学卫生统计学教研室 宇传华,定义q-1个类别变量Y1，Y2，Yq-1，它们取值0或1，而且规定q个类别与Y1，Y2，Yq-1的取值对应如下:,第四军医大学卫生统计学教研室 宇传华,第i对标准化典型变量与典型判别函数,第四军医大学卫生统计学教研室 宇传华,典型判别的步骤,第四军医大学卫生统计学教研室 宇传华,八、简单实例计算,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,1. 计算简单相关矩阵,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,2. 计

21、算A、B矩阵,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,3. 计算A、B矩阵的特征值i ，即得典型相关系数的平方,A、B有相同的非零特征值 分别为：0.623096，0.006679,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,4. 计算典型相关系数及其标准误,典型相关系数的标准误分别为： 0.076935，0.202761,典型相关系数为： 0.789364，0.081723,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,5. E-1H的特征值,分别为：1.6532, 0.0067,第四军医大学卫生统计

22、学教研室 宇传华,简单实例（P293页9.2题）计算,6.似然比统计量及其F检验（即典型相关系数的假设检验）,Test of H0: The canonical correlations in the current row and all Eigenvalues of Inv(E)*H that follow are zero = CanRsq/(1-CanRsq) Likelihood Approximate Eigenvalue Difference Proportion Cumulative Ratio F Value Num DF Den DF Pr F 1 1.6532 1.646

23、5 0.9959 0.9959 0.37438667 6.66 4 42 0.0003 2 0.0067 0.0041 1.0000 0.99332139 0.15 1 22 0.7042,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,7. 典型相关系数的多变量统计量及其假设检验,Multivariate Statistics and F Approximations Statistic Value F Value Num DF Den DF Pr F Wilks Lambda 0.37438667 6.66 4 42 0.0003 Pillais Trace 0.

24、62977475 5.06 4 44 0.0019 Hotelling-Lawley Trace 1.65991998 8.60 4 24.198 0.0002 Roys Greatest Root 1.65319646 18.19 2 22 .0001 NOTE: F Statistic for Roys Greatest Root is an upper bound. NOTE: F Statistic for Wilks Lambda is exact.,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,8.求A、B关于i的特征向量，即典型变量系数,Canonic

25、al Correlation Analysis Standardized Canonical Coefficients for the VAR Variables u1 u2 x1 0.5667 -1.3604 x2 0.5069 1.3838 Standardized Canonical Coefficients for the WITH Variables v1 v2 y1 0.5184 -1.7857 y2 0.5233 1.7842,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,矩阵A的第1特征值为0.623096,第四军医大学卫生统计学教研室 宇传华,简单

26、实例（P293页9.2题）计算,典型变量的表达式,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,9.典型结构分析（可观察典型变量的意义）,u1 u2 x1 0.9390 -0.3439 x2 0.9231 0.3845 v1 v2 y1 0.9596 -0.2814 y2 0.9604 0.2788 v1 v2 x1 0.7412 -0.0281 x2 0.7287 0.0314 u1 u2 y1 0.7575 -0.0230 y2 0.7581 0.0228,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,10.冗余分析（对方典型变量可解

27、释的信息）,Canonical Redundancy Analysis Standardized Variance of the VAR Variables Explained by Their Own The Opposite Canonical Variables Canonical Variables Canonical Variable Cumulative Canonical Cumulative Number Proportion Proportion R-Square Proportion Proportion X 1 0.8669 0.8669 0.6231 0.5402 0.5402 2 0.1331 1.0000 0.0067 0.0009 0.5411 Y 1 0.9215 0.9215 0.6231 0.5742 0.5742 2 0.0785 1.0000 0.0067 0.0005 0.5747,第四军医大学卫生统计学教研室 宇传华,简单实例（P293页9.2题）计算,11.基于典型变量回归的确定系数,Squared Multiple Correlations Between the VAR Variables and the First M Canonical Variables of the WITH