16典型相关分析m

1、4.2 典型相关分析Canonical Correlation Analysis重点：典型相关分析的思想和方法；难点：典型相关分析的原理、操作；本节的重难点本节的重难点4.2.1 引 言在一元统计分析中，研究两个随机变量之间的线性相关关系，可用相关系数（称为简单相关系数）；1936年Hotelling首先将它推广到研究多个随机变量与多个随机变量之间的相关关系的讨论中，提出了典型相关分析. 典型相关分析着眼于识别和量化两组随机变量之间的相关性，它是两个随机变量之间的相关性在两组变量之下的推广.4.2.1 引 言实际问题中，两组变量之间具有相关关系的问题很多.例如，几种主要产品如猪肉、牛肉、鸡蛋的

2、价格(作为第一组变量)和相应这些产品的销售量(作为第二组变量)有相关关系；患某种疾病的病人的各种症状(第一组变量)和用物理化学方法检验的结果(第二组变量)具有相关关系等等.4.2.1 引 言典型相关分析的研究焦点是，一组变量的线性组合与另一组变量的线性组合之间的相关关系.首先求一对线性组合，它有最大相关系数，称其为典型变量，它们之间的相关系数称为典型相关系数；若只有一对典型变量还不足以提取所给两组变量的相关性，再考虑构造下一对典型变量；4.2.1 引 言下一对典型变量从与最初挑选的这对典型变量不相关的线性组合配对中，选出有最大相关系数的一对，如此继续下去.这样，我们就将两组变量间的相关性凝结为

3、少数几对典型变量间的相关性，通过对相关性较大的少数几对典型变量的研究来了解原来的两组变量相关性，从而容易抓住问题的本质.4.2.2 总体的典型变量与典型相关1. 总体的典型变量的定义设有两组变量 的协方差阵,),(21TpXXXXTqYYYY),(21TqpTTTYYYXXXYX),(),(212122211211 1. 总体的典型变量的定义在 的协方差阵中并假定11和22为满秩矩阵，且 p q.)(11XCov TTTYX),(22211211 ),(2112YXCovT )(22YCov 1. 总体的典型变量的定义分别考虑X和Y的线性组合其中qqTppTYbYbYbYbVXaXaXaXaU

4、121211111121211111TqTpbbbbaaaa),(,),(1121111121111. 总体的典型变量的定义由于11211111122111111111),(),()()()()(baYbXaCovVUCovbbYbVarVVaraaXaVarUVarTTTTTTT 1. 总体的典型变量的定义则U1和V1的相关系数为希望确定a1和b1使 达到最大. 为使目标函数有简单的形式，选择约束条件为 (4.18)这也就是Var(U1) = Var(V1) = 1.122111111121,11bbaabaTTTVU 11,VU 112211111bbaaTT 1. 总体的典型变量的定义典

5、型相关分析的第一步就是在约束条件Var(U1) = Var(V1) = 1(4.18)式)之下，求出a1和b1，使得 达到最大.如此确定的(U1, V1)称为X和Y的第一对典型变量，相应的相关系数 称为第一典型相关系数.1121,11baTVU 11,VU 1. 总体的典型变量的定义如果(U1, V1)还不足以反映X和Y之间的相关性，可以再构造第二对线性组合其中 仍然要求U2和V2具有单位方差，即 Var(U2) = Var(V2) = 1 (4.19)qqTppTYbYbYbYbVXaXaXaXaU222212122222212122,),(,),(222212222212TqTpbbbba

6、aaa1. 总体的典型变量的定义为使(U1, V1)反映X和Y的相关性与(U2, V2)的不重叠，还要求(U2, V2) 与(U1, V1)不相关，即 (4.20)在约束条件(4.19)和(4.20)之下，求出a2和b2使相关系数 达到最大. 0),(),(1212VVCovUUCov2122,22baTVU 0),(),(2112VUCovVUCov1. 总体的典型变量的定义如此确定的(U2, V2)称为X和Y的第二对典型变量，相应的相关系数 称为第二典型相关系数.22,VU 1. 总体的典型变量的定义一般地，若前k - 1对典型变量还不足以反映X和Y之间的相关性信息，可再构造第k对线性组合

7、其中 ，k p q.qkqkkTkkpkpkkTkkYbYbYbYbVXaXaXaXaU22112211TkqkkkTkpkkkbbbbaaaa),(,),(21211. 总体的典型变量的定义在约束条件Var(Uk) = Var(Vk) = 1及 1 j k下，求出ak和bk使相关系数 达到最大. 0),(),(jkjkVVCovUUCovkTkVUbakk12, 0),(),(kjjkVUCovVUCov1. 总体的典型变量的定义如此确定的(Uk, Vk)称为X和Y的第k对典型变量，相应的相关系数 称为第k个典型相关系数.kkVU , 2. 总体典型变量与典型相关系数的求法设其中11和22为

8、满秩矩阵，且 p q.,),(21TpXXXXTqYYYY),(21)(11XCov ),(2112YXCovT )(22YCov 2. 总体典型变量与典型相关系数的求法令设p阶矩阵A的特征值为相应的正交单位化特征向量为e1, e2, , ep2112212111 ppA22221p2. 总体典型变量与典型相关系数的求法令设q阶矩阵B的相应于前p个最大特征值(按由大到小次序排列)的正交单位化特征向量为f1, f2, , fp1211121122 qqB2. 总体典型变量与典型相关系数的求法于是，X和Y的第k对典型相关变量其典型相关系数为 , k = 1,2, ,p其中， 是A的第k大特征值 的

9、正平方根.XeXaUTkTkk2111 YfYbVTkTkk2122 kVUkk ,k 2k 2. 总体典型变量与典型相关系数的求法 以上结果表明，求X和Y的典型相关变量和典型相关系数归结为求矩阵A及B的对应于前p个最大特征值的正交单位特征向量 .2. 总体典型变量与典型相关系数的求法 这里不加证明的给出矩阵A和B的特征值的如下性质： A和B有相同的非零特征值，且其数量为p； A和B的特征值非负； A和B的全部特征值都在0和1之间.2. 总体典型变量与典型相关系数的求法 下面讨论从标准化变量的协方差阵(即原变量的相关系数阵)出发作典型相关分析的问题. 将X和Y的各分量标准化，得其中 ,),(*

10、2*1*TpXXXXTqYYYY),(*2*1*pjXVarXEXXjjjj, 2 , 1,)()(*qkYVarYEYYkkkk, 2 , 1,)()(*2. 总体典型变量与典型相关系数的求法则， 的协方差阵(即 的相关系数阵)为其中，从出发作典型相关分析，有类似于前述的结果.),(),(),(*2112*22*11YXCovYCovXCovT TTTYX)( ,)(*22211211 TTTYX),(2. 总体典型变量与典型相关系数的求法就是，X*和Y*的第k对典型相关变量为其典型相关系数为 k = 1,2, ,p式中各变量的含意如下所述.*11*21)()(XeXaUTkTkk *22*

11、21)()(YfYbVTkTkk *,*kVUkk 2. 总体典型变量与典型相关系数的求法 为矩阵 的p个特征值(从而也是 的前p个最大特征值)； 和 分别为A*和B*对应于特征值 的正交单位化特征向量； 是A的第k大特征值 的正平方根.2112212111* A2*2*22*1)()()(p 1211121122* B*kf*ke2*)(k *k 2*)(k 4.2.3 样本的典型变量与典型相关 在实际问题中， 的协方差阵(或相关系数阵) 一般是未知的，我们所具有的资料是关于X和Y中的n组观测数据 Tipiiixxxx),(21TTTYX),(niyyyyTiqiii, 2 , 1,),(2

12、14.2.3 样本的典型变量与典型相关同主成分分析一样，用其这些观测数据构造样本协方差阵S或样本相关阵R，以S和R分别作为 和的估计. 从S (或者R)出发求得的典型变量和典型相关系数分别称为样本典型变量和样本典型相关系数. 4.2.4 典型相关系数的显著性检验当典型相关系数有多大时，才可以认为相应的一对典型相关变量之间有显著的相关性呢？下面介绍有关的统计检验方法. 4.2.4 典型相关系数的显著性检验设总体X和Y的各对典型相关系数已排序成 检验假设若不能拒绝 ，就有 1 = 2 = = p = 0. 这样， X与Y的各对典型相关变量不能提供X与Y的任何相关信息，因此对X与Y作典型相关分析是没

13、有实际意义的. 021p0:,0:1)1(11)1(0HH)1(0H4.2.4 典型相关系数的显著性检验对于检验假设若拒绝 ，可以进一步检验假设0:,0:1)1(11)1(0HH)1(0H0:,0:2)2(12)2(0HH4.2.4 典型相关系数的显著性检验对于检验假设 若不能拒绝 ，则认为除第一对典型变量相关外，其余各对典型变量的相关性均不显著，因而在实际应用中，可只考虑第一对典型变量. 若 被拒绝，则需进一步检验3是否为零. 0:,0:2)2(12)2(0HH)2(0H)2(0H4.2.4 典型相关系数的显著性检验一般地，若假设 被拒绝，则进一步检验假设 若不能拒绝 ，则只需考虑前k-1对

14、典型相关变量. 若 被拒绝，则需进一步检验k+1是否为零，直到最终检验p是否为零. 0:,0:)2(1)(0kkkHH)(0kH)(0kH0:1)1(0kkH4.2.4 典型相关系数的显著性检验在总体(XT, YT)T为p + q维正态Np+q(, )的条件下，对一般情况的第k个假设检验为典型相关分析过程采用的检验统计量为 (4.34)其中，d1k, d2k及t的定义如下： 0:,0:)2(1)(0kkkHHtktkkkkddF111214.2.4 典型相关系数的显著性检验检验统计量中各个量的定义为) 1)(1(1kqkpdk12112kkdwtd)3(21qpnw5) 1() 1(4) 1(

15、) 1(2222kqkpkqkpt4.2.4 典型相关系数的显著性检验而其中， 为各样本典型相关系数的平方.pkjjk)1 (222221)()()(p4.2.4 典型相关系数的显著性检验可以证明，当 为真时，Fk 渐近地服从自由度为d1k和d2k的F分布，其检验的 p 值为式中，fk为由Fk求的观测值，对于给定的显著性水平 ，若pk ,则拒绝 .)(0kH)(0kkHkfFPp)(0kH4.2.4 典型相关系数的显著性检验利用上述检验方法，依次就k = 1, 2, , p进行检验. 若对某个k，检验的p值首次大于给定的显著水平 ，则认为只有前k 1对典型变量显著相关，从而仅用前k 1对典型变量可描述X和Y的整体相关性.典型相关分析计算实例(例4.6) 为研究空气温度与