典型相关分析的实例

1、.1Canonical Correlation Analysis.2一一、引言引言 .3 1. 两个随机变量Y与X 简单相关系数2. 一个随机变量Y与一组随机变量X1,X2, Xp 多重相关(复相关系数)3. 一组随机变量Y1，Y2，Yq与另一组随机变量X1，X2，Xp （一）何时采用典型相关分析（一）何时采用典型相关分析.4 典型相关典型相关是研究是研究两组变两组变量量之间相关性的一种统计分析之间相关性的一种统计分析方法。也是一种降维技术。方法。也是一种降维技术。 由由Hotelling (1935, 1936)Hotelling (1935, 1936)最早最早提出，提出，Cooley a

2、nd Lohnes (1971)Cooley and Lohnes (1971)、 Kshirsagar (1972)Kshirsagar (1972)和和 Mardia, Mardia, Kent, and Bibby (1979) Kent, and Bibby (1979) 推动了它推动了它的应用。的应用。 .5实例（X与Y地位相同） .6 1985年中国年中国28 省市城市男生省市城市男生(1922岁岁)的调查数据。记的调查数据。记形态指标形态指标身身高高(cm)、坐高、体重、坐高、体重(kg)、胸围、胸围、肩肩宽宽、盆骨宽分别为盆骨宽分别为X1，X2，X6；机能指标机能指标脉搏脉搏(

3、次次/分分)、收缩压、收缩压(mmHg) 、舒张压、舒张压(变音变音)、 舒张压舒张压(消消音音)、肺活量、肺活量(ml)分别为分别为Y1，Y2，Y5。现欲研究这两组变量之间的相关。现欲研究这两组变量之间的相关性。性。 .7 .8简单相关系数矩阵简单相关系数矩阵 .9简单相关系数公式符号简单相关系数公式符号CorrCorr（X X）R R1111CorrCorr（Y Y）R R2222CorrCorr（Y Y，X X）R R2121CorrCorr（X X，Y Y）R R12121221RR.10简单相关系数简单相关系数描述两组变量的相关关系的缺点描述两组变量的相关关系的缺点 只是孤立考虑单个

4、只是孤立考虑单个X与单个与单个Y间的相关间的相关，没有考虑，没有考虑X、Y变量组内部各变量间的变量组内部各变量间的相关。相关。两组间有许多简单相关系数（实例为两组间有许多简单相关系数（实例为30个），使问题显得复杂，难以从整体描述个），使问题显得复杂，难以从整体描述。.11（二）典型相关分析的思想（二）典型相关分析的思想(,)iiiCorr U V采用主成分思想寻找第i对典型典型( (相关相关) )变变量量（Ui，Vi）：*1122,*1 122,1,2,min( , )iiii ppiiii qqUa Xa XaXa XVb Yb Yb Yb Yimp qm ，典型相关系数典型相关系数典型变

5、量系数或典型权重典型变量系数或典型权重 ba、.12 X*1，X*2，X*p和Y*1，Y*2，Y*q分别为X1，X2，Xp和Y1，Y2，Yq的正态离差标准化值。记第一对典型相关变量第一对典型相关变量间的典型相关系数为： Corr（U1，V1）（使U1与V1 间最大相关） 第二对典型相关变量第二对典型相关变量间的典型相关系数为： Corr（U2，V2）（与U1、V1 无关； 使U2与V2 间最大相关）. 第五对典型相关变量第五对典型相关变量间的典型相关系数为： Corr（U5，V5） （与U1、V1 、 U4、V4无关； U5与V5 间最大相关）有： 1251250.13典型相关变量的性质典型相

6、关变量的性质 1,1,(1)(,)( ,)0,0,2(,)0,i 1CanR301ijijijiiijijCorr U UCorr V VijijijCorr U VijUV典型相关系数（ ）【除前面（）个之外的最大者】、 的均数为 ，方差为。.14 1 X1 X2 X3 2 1 2 Y1 Y2 b11 b22 c11 c21 b23 b13 b21 b12 c12 c22 11 22 典型变量典型相关系数 1与2是三个X变项的线性组合。 1与2代表两个Y变项的线性组合。典型加权系数（三）典型相关分析示意图（三）典型相关分析示意图.15二、典型相关系数及其检验二、典型相关系数及其检验 .162

7、2211211RRRR 求X，Y变量组的相关阵 R= ； 求矩阵 A、B 可以证明A、B有相同的非零特征根；11111222211122211112()()()()ARRRRBRRRR.173. 求A或B的i（相关系数的平方）与 ， i1,m，即 ；4. 求A、B关于i的特征根向量即变量加权系数。i2ii.18 求X，Y变量组的相关阵 R=22211211RRRR.19CorrCorr（X X）R R1111CorrCorr（Y Y）R R2222CorrCorr（Y Y，X X）R R2121CorrCorr（X X，Y Y）R R1212.2011111222211122211112()(

8、)()()ARRRRBRRRR.21.22.230IBIAA A、B B有相同的非零特征值有相同的非零特征值.24.2511223344550.87420.73730.51100.35440.1482.26。）的方差为（此外，还应满足的矩阵为：关于第一特征根如矩阵17643. 03142. 02171. 00210. 01757. 01421. 00948. 00806. 00061. 003770. 00669. 00979. 00915. 01759. 02523. 03877. 00510. 00376. 00966. 04468. 05238. 00840. 05489. 02739.

9、 02274. 00168. 00007. 01939. 01669. 00701. 00912. 01778. 02919. 03986. 03053. 04586. 05298. 07643. 0A*616*1111161514131211161514131211XaXaUaaaaaaaaaaaaaAa.27。）的方差为（此外，还应满足的矩阵为：关于第一特征根如矩阵15436. 03142. 02171. 00210. 01757. 01421. 00948. 00806. 00061. 003770. 00669. 00979. 00915. 01759. 02523. 03877. 0

10、0510. 00376. 00966. 04468. 05238. 00840. 05489. 02739. 02274. 00168. 00007. 01939. 01669. 00701. 00912. 01778. 02919. 03986. 03053. 04586. 05298. 05436. 0A*626*1212262524232221262524232221XaXaUaaaaaaaaaaaaaAa.28。）的方差为（此外，还应满足的矩阵为：关于第一特征根如矩阵1022. 03142. 02171. 00210. 01757. 01421. 00948. 00806. 00061

11、. 003770. 00669. 00979. 00915. 01759. 02523. 03877. 00510. 00376. 00966. 04468. 05238. 00840. 05489. 02739. 02274. 00168. 00007. 01939. 01669. 00701. 00912. 01778. 02919. 03986. 03053. 04586. 05298. 0022. 0A*656*1515565554535251565554535251XaXaUaaaaaaaaaaaaaAa.29.30SXXXXXXXUXXXU*6*2*15*6*2*11X5140.

12、05590. 18298. 0.1948. 02175. 05852. 0原变量，即的表示为正态离差标准化.31常数）（）（）（），、（）、，）、（，（为对应的均数标准差分别、如6216211621*6*2*115069. 03153. 04074. 03842. 017.271948. 06897. 620.922175. 04365. 137.1705852. 03842. 017.276897. 620.924365. 137.1701948. 02175. 05852. 0XXXXXXUXXXXXXU粗典型变量系数可由标准典型变量系数与相应的标准差之比获得。jijijSaa/*.32.

13、33 两变量组的变量单位改变，典型相关系数不变，但典型变量加权系数改变。（无论原变量标准化否，获得的典型相关系数不变） 第一对典则相关系数较两组变量间任一个简单相关系数的绝对值都大，即 1max(|Corr(Xi,Yj)|) 或 1max(|Corr(X,Yj)|) max(|Corr(Xi,Y)|).34 为了使结果更加明了，增加大值或小值，减少中间大小的值，将典型变量系数旋转，可得到校正的典型相关系数。缺点：1.可能影响max（U1,V1）； 2. 影响（U1,V1）与其他典型变量间的独立性。.35 全部总体典型相关系数均为0 部分总体典型相关系数为0(1),( , ).(2)p qX Y

14、Nnpq对资料的要求：两个变量组应服从多变量正态分布。即设（）.360121121121:0;1, 2,;min(,):0(1)(10.7643)(10.5436)(10.2611)(10.1256)(10.0220)0.0680(1)(3) / 2ln28(653) / 2)ln 0.068056.457930,iimiiHimmp qHWnpqWpqdfP 卡 方所 有至 少 一 个似 然 比 统近计 量：自 由 度似0.0024(56.4579,30)chidist.371/22121/2211121/41/414;4530;(3)/ 221/ 2 1701 0.0680702.240.

15、068030(2.24,30,70)0.0030ttWdfp qFtWdfpqdfpqwnpqdfwtpqFPFDIST .38 Test of H0: The canonical correlations in the current row and all that follow are zeroLikelihood Approximate Ratio F Value Num DF Den DF Pr F1 0.06798466 2.24 30 70 0.00302 0.28840509 1.38 20 60.649 0.16863 0.63195301 0.80 12 50.561 0.

16、65044 0.85521598 0.54 6 40 0.77295 0.97803479 0.24 2 21 0.7920.39 Multivariate Statistics and F ApproximationsStatistic Value F Value Num DF Den DF Pr FWilks Lambda 0.06798 2.24 30 70 0.0030Pillais Trace 1.71651 1.83 30 105 0.0133Hotelling-Lawley Trace 4.95277 2.62 30 35.396 0.0032 Roys Greatest Roo

17、t 3.24221 11.35 6 21 .0001 NOTE: F Statistic for Roys Greatest Root is an upper boun.40212211(0.76430.54360.2611 0.12560.0220)1.716513.2422 1.19120.35330.14360.02254.9528E H3.2422miimiiiPillai traceHotellingLawley traceRoy s Greatest root统计量统计量（）统计量为的最大特征值本例为：.410122345:0;,;min( , );2:0(1)(1 0.5436)

18、(1 0.2611)(1 0.1256)(1 0.0220)0.28840.63200.85520.9780iimkii kHikmmp qkmHWWWWW取值（ ， ）至少一个似然比统计量如.42122122(1)(1)/ 2ln(1)(1)282(65 1)/ 2)ln0.288424.867820,0.2065(24.8678,20)kkikinkpqWpsqkdfPchidist 卡方近似自由度 .431/2221/22112121/ 71/ 71(1) (1)4;(1)(1)5(1)(1);(3)/ 2(1)(1)/ 2 13,12;7;21;50.561 0.632050.560.

19、7981120.6320(0.7981tstsWdfpsqsFtWdfpsqsdfpsqswnpqdfwtpsqssdftwdfFPFDIST 如果那么,12,50.56)0.6504.44三、典型结构分析三、典型结构分析.45.46.47左上角的矩阵左上角的矩阵 X1=0.9050U1-0.0806U2+0.3777U3-0.1487U4+0.0887U5 X2=0.8616U1+0.0112U2+0.4152U3-0.0360U4+0.2412U5X6右下角的矩阵右下角的矩阵 Y1= -0.4130 V1-0.0848V2+0.7353V3+0.4530V4+0.2764V5 Y2=0.4533V1+0.8452V2+0.0968V3+0.1433V4+0.2240V5.Y5.48.49 (,)(,)( ,)( ,)ijijjijijjCorr X VCorr X UCo