典型相关分析的实例

1、精选ppt1Canonical Correlation Analysis精选ppt2一、引言一、引言 精选ppt3 1. 两个随机变量Y与X 简单相关系数2. 一个随机变量Y与一组随机变量X1,X2, Xp 多重相关(复相关系数)3. 一组随机变量Y1，Y2，Yq与另一组随机变量X1，X2，Xp （一）何时采用典型相关分析（一）何时采用典型相关分析精选ppt4 典型相关典型相关是研究是研究两组变两组变量量之间相关性的一种统计分析之间相关性的一种统计分析方法。也是一种降维技术。方法。也是一种降维技术。 由由Hotelling (1935, 1936)Hotelling (1935, 1936)最

2、早最早提出，提出，Cooley and Lohnes (1971)Cooley and Lohnes (1971)、 Kshirsagar (1972)Kshirsagar (1972)和和 Mardia, Mardia, Kent, and Bibby (1979) Kent, and Bibby (1979) 推动了它推动了它的应用。的应用。 精选ppt5实例（X与Y地位相同） X X1 1, , X X2 2, , , , X Xp pY Y1 1, , Y Y2 2, , , , Y Yq q1 1临床症状临床症状所患疾病所患疾病2 2原材料质量原材料质量相应产品质量相应产品质量3 3

3、居民营养居民营养健康状况健康状况4 4生长发育（肺活量）生长发育（肺活量）身体素质（跳高）身体素质（跳高）5 5人体形态人体形态人体功能人体功能精选ppt6 1985年中国年中国28 省市城市男生省市城市男生(1922岁岁)的调查数据。记的调查数据。记形态指标形态指标身高身高(cm)、坐高、体重、坐高、体重(kg)、胸围、胸围、肩宽肩宽、盆骨宽分别为盆骨宽分别为X1，X2，X6；机能指标机能指标脉搏脉搏(次次/分分)、收缩压、收缩压(mmHg) 、舒张压、舒张压(变音变音)、 舒张压舒张压(消消音音)、肺活量、肺活量(ml)分别为分别为Y1，Y2，Y5。现欲研究这两组变量之间的相关。现欲研究这

4、两组变量之间的相关性。性。 精选ppt7 精选ppt8简单相关系数矩阵简单相关系数矩阵 精选ppt9简单相关系数公式符号简单相关系数公式符号CorrCorr（X X）R R1111CorrCorr（Y Y）R R2222CorrCorr（Y Y，X X）R R2121CorrCorr（X X，Y Y）R R12121221RR精选ppt10简单相关系数简单相关系数描述两组变量的相关关系的缺点描述两组变量的相关关系的缺点 只是孤立考虑单个只是孤立考虑单个X与单个与单个Y间的相关间的相关，没有考虑，没有考虑X、Y变量组内部各变量间的变量组内部各变量间的相关。相关。两组间有许多简单相关系数（实例为两

5、组间有许多简单相关系数（实例为30个），使问题显得复杂，难以从整体描个），使问题显得复杂，难以从整体描述。述。精选ppt11（二）典型相关分析的思想（二）典型相关分析的思想(,)iiiCorr U V采用主成分思想寻找第i对典型典型( (相关相关) )变变量量（Ui，Vi）：*1122,*1 122,1,2,min( , )iiii ppiiii qqUa Xa XaXa XVb Yb Yb Yb Yimp qm ，典型相关系数典型相关系数典型变量系数或典型权重典型变量系数或典型权重 ba、精选ppt12 X*1，X*2，X*p和Y*1，Y*2，Y*q分别为X1，X2，Xp和Y1，Y2，Yq的

6、正态离差标准化值。记第一对典型相关变量第一对典型相关变量间的典型相关系数为： Corr（U1，V1）（使U1与V1 间最大相关） 第二对典型相关变量第二对典型相关变量间的典型相关系数为： Corr（U2，V2）（与U1、V1 无关； 使U2与V2 间最大相关）. 第五对典型相关变量第五对典型相关变量间的典型相关系数为： Corr（U5，V5） （与U1、V1 、 U4、V4无关； U5与V5 间最大相关）有： 1251250精选ppt13典型相关变量的性质典型相关变量的性质 1,1,(1)(,)( ,)0,0,2(,)0,i 1CanR301ijijijiiijijCorr U UCorr V

7、 VijijijCorr U VijUV典型相关系数（ ）【除前面（）个之外的最大者】、 的均数为 ，方差为。精选ppt14 1 X1 X2 X3 2 1 2 Y1 Y2 b11 b22 c11 c21 b23 b13 b21 b12 c12 c22 11 22 典型变量典型相关系数 1与2是三个X变项的线性组合。 1与2代表两个Y变项的线性组合。典型加权系数（三）典型相关分析示意图（三）典型相关分析示意图精选ppt15二、典型相关系数及其检验二、典型相关系数及其检验 精选ppt1622211211RRRR 求X，Y变量组的相关阵 R= ； 求矩阵 A、B 可以证明A、B有相同的非零特征根；1

8、1111222211122211112()()()()ARRRRBRRRR精选ppt173. 求A或B的i（相关系数的平方）与 ， i1,m，即 ；4. 求A、B关于i的特征根向量即变量加权系数。i2ii精选ppt18 求X，Y变量组的相关阵 R=22211211RRRR精选ppt19CorrCorr（X X）R R1111CorrCorr（Y Y）R R2222CorrCorr（Y Y，X X）R R2121CorrCorr（X X，Y Y）R R1212精选ppt2011111222211122211112()()()()ARRRRBRRRR精选ppt210.5298 0.5298 0.4

9、586 0.4586 0.3053 0.3053 0.3986 0.3986 -0.2919 -0.2919 -0.1778 -0.1778 -0.0912 -0.0912 -0.0701 -0.0701 -0.1669 -0.1669 -0.1939 -0.1939 -0.0007 -0.0007 -0.0168 -0.0168 0.2274 0.2274 0.2739 0.2739 0.5489 0.5489 0.0840 0.0840 0.5238 0.5238 0.4468 0.4468 0.0966 0.0966 0.0376 0.0376 0.0510 0.0510 0.3877

10、0.3877 -0.2523 -0.2523 -0.1759 -0.1759 -0.0915 -0.0915 -0.0979 -0.0979 -0.0669 -0.0669 -0.0377 -0.0377 0.0061 0.0061 -0.0806 -0.0806 0.0949 0.0949 0.1421 0.1421 0.1757 0.1757 -0.0210 -0.0210 0.2171 0.2171 0.3142 0.3142 精选ppt220.2611 -0.0560 -0.0337 -0.0551 -0.0312 -0.0053 0.5572 0.1009 0.0034 -0.054

11、3 -0.0632 -0.0843 0.0859 0.0013 0.1743 -0.1175 -0.0007 0.1183 0.2550 0.1490 -0.1052 0.1390 0.3531 0.2912 0.5573 精选ppt230IBIAA A、B B有相同的非零特征值有相同的非零特征值精选ppt240.2611-0.2611- -0.0560 -0.0560 -0.0337 -0.0337 -0.0551 -0.0551 -0.0312 -0.0312 -0.0053 -0.0053 0.5572 -0.5572 - 0.1009 0.1009 0.0034 0.0034 -0.0

12、543 -0.0543 -0.0632 -0.0632 -0.0843 -0.0843 0.0859 0.0859 - - 0.0013 0.0013 0.1743 0.1743 -0.1175 -0.1175 -0.0007 -0.0007 0.1183 0.1183 0.2550 0.2550 - - 0.1490 0.1490 -0.1052 -0.1052 0.1390 0.1390 0.3531 0.3531 0.2912 0.2912 0.5573 0.5573 - - 精选ppt250.76430.76430.5436 0.5436 0.2611 0.2611 0.1256 0.

13、1256 0.02200.0220 11223344550.87420.73730.51100.35440.1482精选ppt26 。）的方差为（此外，还应满足的矩阵为：关于第一特征根如矩阵17643. 03142. 02171. 00210. 01757. 01421. 00948. 00806. 00061. 003770. 00669. 00979. 00915. 01759. 02523. 03877. 00510. 00376. 00966. 04468. 05238. 00840. 05489. 02739. 02274. 00168. 00007. 01939. 01669. 0

14、0701. 00912. 01778. 02919. 03986. 03053. 04586. 05298. 07643. 0A*616*1111161514131211161514131211XaXaUaaaaaaaaaaaaaAa精选ppt27 。）的方差为（此外，还应满足的矩阵为：关于第一特征根如矩阵15436. 03142. 02171. 00210. 01757. 01421. 00948. 00806. 00061. 003770. 00669. 00979. 00915. 01759. 02523. 03877. 00510. 00376. 00966. 04468. 05238

15、. 00840. 05489. 02739. 02274. 00168. 00007. 01939. 01669. 00701. 00912. 01778. 02919. 03986. 03053. 04586. 05298. 05436. 0A*626*1212262524232221262524232221XaXaUaaaaaaaaaaaaaAa精选ppt28 。）的方差为（此外，还应满足的矩阵为：关于第一特征根如矩阵1022. 03142. 02171. 00210. 01757. 01421. 00948. 00806. 00061. 003770. 00669. 00979. 009

16、15. 01759. 02523. 03877. 00510. 00376. 00966. 04468. 05238. 00840. 05489. 02739. 02274. 00168. 00007. 01939. 01669. 00701. 00912. 01778. 02919. 03986. 03053. 04586. 05298. 0022. 0A*656*1515565554535251565554535251XaXaUaaaaaaaaaaaaaAa精选ppt29U1U2U3U4U5X1X10.5852 0.5852 -1.1443 -1.1443 0.7823 0.7823 0.

17、0352 0.0352 -0.8298 -0.8298 X2X2 -0.2175 -0.2175 0.0189 0.0189 0.6032 0.6032 0.1289 0.1289 1.5590 1.5590 X3X30.5288 0.5288 1.6213 1.6213 -0.7370 -0.7370 -0.4066 -0.4066 -1.1704 -1.1704 X4X40.1890 0.1890 -0.9874 -0.9874 -0.7753 -0.7753 0.1229 0.1229 0.6988 0.6988 X5X5 -0.1193 -0.1193 -0.0626 -0.0626

18、-0.2509 -0.2509 -0.5860 -0.5860 1.0488 1.0488 X6X60.1948 0.1948 0.8108 0.8108 0.1467 0.1467 0.9523 0.9523 -0.5140 -0.5140 精选ppt30SXXXXXXXUXXXU*6*2*15*6*2*11X5140. 05590. 18298. 0.1948. 02175. 05852. 0原变量，即的表示为正态离差标准化精选ppt31常数）（）（）（），、（）、，）、（，（为对应的均数标准差分别、如6216211621*6*2*115069. 03153. 04074. 03842.

19、017.271948. 06897. 620.922175. 04365. 137.1705852. 03842. 017.276897. 620.924365. 137.1701948. 02175. 05852. 0XXXXXXUXXXXXXU粗典型变量系数可由标准典型变量系数与相应的标准差之比获得。jijijSaa/*精选ppt32V1V2V3V4V5Y1Y1-0.0838 -0.1325 1.0807 0.3750 -0.0376 Y2Y2-0.0878 1.2688 0.0701 0.2476 -0.3342 Y3Y30.2147 -0.3301 0.2218 -1.0863 1.4

20、100 Y4Y40.2920 -0.2392 -0.5765 1.3368 -0.2942 Y5Y50.7607 -0.2995 0.6532 -0.0017 -0.6905 精选ppt33 两变量组的变量单位改变，典型相关系数不变，但典型变量加权系数改变。（无论原变量标准化否，获得的典型相关系数不变） 第一对典则相关系数较两组变量间任一个简单相关系数的绝对值都大，即 1max(|Corr(Xi,Yj)|) 或 1max(|Corr(X,Yj)|) max(|Corr(Xi,Y)|)精选ppt34 为了使结果更加明了，增加大值或小值，减少中间大小的值，将典型变量系数旋转，可得到校正的典型相关系

21、数。缺点：1.可能影响max（U1,V1）； 2. 影响（U1,V1）与其他典型变量间的独立性。精选ppt35 全部总体典型相关系数均为0 部分总体典型相关系数为0(1),( , ).(2)p qX YNnpq对资料的要求：两个变量组应服从多变量正态分布。即设（）精选ppt360121121121:0;1, 2,;min(,):0(1)(10.7643)(10.5436)(10.2611)(10.1256)(10.0220)0.0680(1)(3) / 2ln28(653) / 2)ln 0.068056.457930,iimiiHimmp qHWnpqWpqdfP 卡 方所 有至 少 一 个

22、似 然 比 统近计 量：自 由 度似0.0024(56.4579,30)chidist精选ppt371/22121/2211121/41/414;4530;(3)/ 221/ 2 1701 0.0680702.240.068030(2.24,30,70)0.0030ttWdfp qFtWdfpqdfpqwnpqdfwtpqFPFDIST 精选ppt38 Test of H0: The canonical correlations in the current row and all that follow are zeroLikelihood Approximate Ratio F Value

23、 Num DF Den DF Pr F1 0.06798466 2.24 30 70 0.00302 0.28840509 1.38 20 60.649 0.16863 0.63195301 0.80 12 50.561 0.65044 0.85521598 0.54 6 40 0.77295 0.97803479 0.24 2 21 0.7920精选ppt39 Multivariate Statistics and F ApproximationsStatistic Value F Value Num DF Den DF Pr FWilks Lambda 0.06798 2.24 30 70

24、 0.0030Pillais Trace 1.71651 1.83 30 105 0.0133Hotelling-Lawley Trace 4.95277 2.62 30 35.396 0.0032 Roys Greatest Root 3.24221 11.35 6 21 .0001 NOTE: F Statistic for Roys Greatest Root is an upper boun.精选ppt40212211(0.76430.54360.2611 0.12560.0220)1.716513.2422 1.19120.35330.14360.02254.9528E H3.242

25、2miimiiiPillai traceHotellingLawley traceRoy s Greatest root统计量统计量（）统计量为的最大特征值本例为：精选ppt410122345:0;,;min( , );2:0(1)(1 0.5436)(1 0.2611)(1 0.1256)(1 0.0220)0.28840.63200.85520.9780iimkii kHikmmp qkmHWWWWW取值（ ， ）至少一个似然比统计量如精选ppt42122122(1)(1)/ 2ln(1)(1)282(65 1)/ 2)ln0.288424.867820,0.2065(24.8678,20

26、)kkikinkpqWpsqkdfPchidist 卡方近似自由度 精选ppt431/2221/22112121/ 71/ 71(1) (1)4;(1)(1)5(1)(1);(3)/ 2(1)(1)/ 2 13,12;7;21;50.561 0.632050.560.7981120.6320(0.7981tstsWdfpsqsFtWdfpsqsdfpsqswnpqdfwtpsqssdftwdfFPFDIST 如果那么,12,50.56)0.6504精选ppt44三、典型结构分析三、典型结构分析精选ppt45精选ppt46U1U2U3U4U5V1V2V3V4V5身身 高高X X1 10.9050

27、-0.08060.3777-0.14870.08870.7912 -0.0594 0.1930-0.0527 0.0132 坐坐 高高X X2 20.86160.01120.4152-0.03600.24120.7532 0.0083 0.2121-0.0128 0.0357 体体 重重X X3 30.93610.1655-0.0471-0.2933-0.02470.8184 0.1220 -0.0240-0.1039 -0.0037 胸胸 围围X X4 40.6958-0.3189-0.53820.31910.13540.6083 -0.2351 -0.27500.1131 0.0201 肩

28、肩 宽宽X X5 50.13560.5329-0.0321-0.23760.73890.1185 0.3929 -0.0164-0.0842 0.1095 骨盆宽骨盆宽X X6 60.24330.4412-0.04050.74780.39080.2127 0.3253 -0.02070.2650 0.0579 脉脉 搏搏Y Y1 1-0.3610 -0.0625 0.3757 0.1605 0.0410 -0.4130 -0.0848 0.7353 0.4530 0.2764 收缩压收缩压Y Y2 20.3963 0.6232 0.0495 0.0508 0.0332 0.4533 0.845

29、2 0.0968 0.1433 0.2240 舒张压舒张压( (音变音变) )Y Y3 30.5801 0.1568 0.0378 0.0287 0.1050 0.6636 0.2127 0.0740 0.0810 0.7087 舒张压舒张压( (消音消音) )Y Y4 40.5003 0.0296 -0.0837 0.2339 0.0677 0.5723 0.0401 -0.1638 0.6600 0.4565 肺活量肺活量Y Y5 50.7994 0.0094 0.0685 -0.0743 -0.0473 0.9144 0.0128 0.1341 -0.2098 -0.3190 精选ppt

30、47左上角的矩阵左上角的矩阵 X1=0.9050U1-0.0806U2+0.3777U3-0.1487U4+0.0887U5 X2=0.8616U1+0.0112U2+0.4152U3-0.0360U4+0.2412U5X6右下角的矩阵右下角的矩阵 Y1= -0.4130 V1-0.0848V2+0.7353V3+0.4530V4+0.2764V5 Y2=0.4533V1+0.8452V2+0.0968V3+0.1433V4+0.2240V5.Y5精选ppt48UVCorr(U,V)1身高、坐高、体重、胸围身高、坐高、体重、胸围舒张压、肺活量舒张压、肺活量0.87422肩宽肩宽收缩压收缩压0.

31、73733胸围胸围(- -)脉搏脉搏0.51054骨盆宽骨盆宽舒张压舒张压(消音消音)0.35425肩宽肩宽舒张压舒张压(音变音变)0.1510精选ppt49 (,)(,)( ,)( ,)ijijjijijjCorr X VCorr X UCorr Y UCorr Y V精选ppt50 右上角和左下角反映了原变量和对方的典型变量间关系，为利用对方的典型变量来预测原变量(回归)提供依据。 精选ppt51四、典型变量的冗余分析四、典型变量的冗余分析（Canonical Redundancy Analysis）精选ppt52 该方法由Stewart and Love 1968; Cooley and Lohnes 1971; van den Wollenberg 1977)发展。 以原变量与典型变量间相关为基础。 通过计算X、Y变量组由自己的典型变量解释与由对方的典型变量解释的方差百分比与累