典型相关分析.ppt

1、1,应用多元统计分析,第十章 典型相关分析 canonical correlation analysis,2,第十章 典型相关分析 目 录,10.1 总体典型相关 10.2 样本典型相关 10.3 典型冗余分析,3,第十章 引言 什么是典型相关分析,相关分析是研究多个变量与多个变量之间的相关关系.如研究两个随机变量之间的相关关系可用简单相关系数表示;研究一个随机变量与多个随机变量之间的相关关系可用全相关系数表示. 1936年Hotelling首先将相关分析推广到研究多个随机变量与多个随机变量之间的相关关系,故而产生了典型相关分析,广义相关系数等一些有用的方法.,4,第十章 引言 什么是典型相关

2、分析,在实际问题中,经常遇到要研究一部分变量和另一部分变量之间的相关关系,例如: 在工业中,考察原料的主要质量指标(X1,.,Xp ) 与产品的主要质量指标(Y1,.,Yq)间的相关性; 在经济学中,研究主要肉类的价格与销售量之间的相关性; 在地质学中,为研究岩石形成的成因关系,考察岩石的化学成份与其周围围岩化学成份的相关性; 在气象学中为分析预报24小时后天气的可靠程度,研究当天和前一天气象因子间的相关关系;,5,第十章 引言 什么是典型相关分析,在教育学中,研究学生在高考的各科成绩与高二年级各主科成绩间的相关关系; 在婚姻的研究中,考察小伙子对追求姑娘的主要指标与姑娘想往的小伙子的主要尺度

3、之间的相关关系; 在医学中,研究患某种疾病病人的各种症状程度与用科学方法检查的一些结果之间的相关关系; 在体育学中,研究运动员的体力测试指标与运动能力指标之间的相关关系等.,6,第十章 引言 什么是典型相关分析,一般地,假设有一组变量X1,.,Xp 与另一组变量Y1,.,Yq (也可以记为Xp+1,.,Xp+q),我们要研究这两组变量的相关关系,如何给两组变量之间的相关性以数量的描述,这就是本章研究的典型相关分析. 当p=q=1时,就是研究两个变量X与Y之间的相关关系.简单相关系数是最常见的度量.其定义为,7,第十章 引言 什么是典型相关分析,当p 1 ,q=1时(或 q 1 , p =1),

4、设,则称,为Y与(X1,Xp)的 全相关系数.,其实Y对X的回归为,且,并称R为全相关系数.,def =,8,第十章 引言 什么是典型相关分析,当p,q1时,利用主成分分析的思想,可以把多个变量与多个变量之间的相关化为两个新变量之间的相关. 也就是求=(1, p) 和 =(1, q ) , 使得新变量: V= 1X1+pXp = X W= 1Y1+ qYq = Y 之间有最大可能的相关,基于这个思想就产生 了典型相关分析(Canonical correlatinal analysis).,9,第十章 10.1总体典型相关 典型相关的定义,设X=(X1,.,Xp ) 及Y=(Y1,.,Yq) 为

5、随机向量(不妨设pq),记随机向量,Z=,X Y,Z的协差阵为,其中 11是X的协差阵,22是Y的协差阵, 12 =21是X,Y的协差阵.,10,第十章 10.1总体典型相关 典型相关的定义,我们用X和Y的线性组合V=aX和W=bY之间的相关来研究X和Y之间的相关.我们希望找到a和b,使(V,W) 最大.由相关系数的定义:,又已知,11,第十章 10.1总体典型相关 典型相关的定义,故有,对任给常数c1,c2,d1,d2,显然有 (c1V+d1, c2W+d2)=(V,W) 即使得相关系数最大的V=aX和W=bX并不唯 一. 故加附加约束条件 Var(V)=a11 a=1, Var(W)=b2

6、2 b=1.,问题化为在约束条件Var(V)= 1,Var(W)=1下, 求a和b,使得(V,W)= a12 b达最大 .,12,第十章 10.1总体典型相关 典型相关的定义,定义10.1.1 设X=(X1,.,Xp ) 及Y=(Y1,.,Yq) 为随机向量(不妨设pq),记随机向量,13,第十章 10.1总体典型相关 典型相关的定义,14,第十章 10.1总体典型相关 典型相关变量的求法,定理10.1.1 设X=(X1,.,Xp ) 及Y=(Y1,.,Yq) 为随机向量(不妨设pq),记随机向量,15,第十章 10.1总体典型相关 典型相关变量的求法,若定理10.1.1中Z是半正定的，则 不

7、一定存在.我们可以用广义逆矩阵求解。 定义10.1.2 给定一个矩阵A，如果有矩阵D满足 ADA=A,DAD=D,(AD)=AD,(DA)=DA, 则称D是A的加号逆，记作A+. 可以证明A+是存在唯一的.,16,第十章 10.1总体典型相关 典型相关变量的求法,定理10.1.2 设X=(X1,.,Xp ) 及Y=(Y1,.,Yq) 为随机向量(不妨设pq),记随机向量,17,第十章 10.1总体典型相关 典型相关变量的性质,性质1,18,第十章 10.1总体典型相关 典型相关变量的性质,性质2 原始变量与典型变量之间的相关性 （也称为典型结构）,19,第十章 10.1总体典型相关 典型相关变

8、量的性质,20,21,第十章 10.2样本典型相关 样本典型相关变量和典型相关系数,设总体Z=(X1,.,Xp,Y1,Yq ).在实际问题中,总体的均值E(Z)=和协差阵D(Z)= 通常是未知的,因而无法求得总体的典型相关变量和典型相关系数. 首先需要根据观测到的样本资料阵对其进行估计. 已知总体Z的n个样品:,22,第十章 10.2样本典型相关 样本典型相关变量和典型相关系数,样本资料阵为,x11 x12 x1p y11 y12 y1q x21 x22 x2p y21 y22 y2q . xn1 xn2 xnp yn1 yn2 ynq,若假定ZN(,),则协差阵的最大似然估 计为,Z(1)

9、Z(2) = . Z(n),def =,*,23,第十章 10.2样本典型相关 样本典型相关变量和典型相关系数,我们从协差阵的最大似然估计S*(或样本协差阵S)出发,按上节的方法可以导出样本典型相关变量和样本典型相关系数.还可以证明样本典型相关变量和样本典型相关系数是总体典型相关变量和样本典型相关系数的极大似然估计. 也可以从样本相关阵R出发来导出样本典型相关变量和样本典型相关系数.,24,第十章 10.2样本典型相关 典型相关系数的显著性检验,总体Z的两组变量X=(X1,.,Xp)和Y=(Y1, ,Yq )如果不相关,即COV(X,Y)=12=0,以上有关两组变量典型相关的讨论就毫无意义. 故在讨论两组变量间相关关系之前,应首先对以下假设H0作统计检验. (1) 检验H0 : 12=0 (即1=0) 设总体ZNp+q(,).用似然比方法可导出检验H0的似然比统计量为(A,A11,A22为离差阵),25,第十章 10.2样本典型相关 典型相关系数的显著性检验,(2)检验H0(