典型相关分析

应用多元统计分析第十章典型相关分析canonicalcorrelationanalysis1精选ppt第十章典型相关分析

目录§10.1总体典型相关§10.2样本典型相关§10.3典型冗余分析2精选ppt第十章

引言

什么是典型相关分析

相关分析是研究多个变量与多个变量之间的相关关系.如研究两个随机变量之间的相关关系可用简单相关系数表示;研究一个随机变量与多个随机变量之间的相关关系可用全相关系数表示.1936年Hotelling首先将相关分析推广到研究多个随机变量与多个随机变量之间的相关关系,故而产生了典型相关分析,广义相关系数等一些有用的方法.3精选ppt第十章

引言

什么是典型相关分析

在实际问题中,经常遇到要研究一部分变量和另一部分变量之间的相关关系,例如:

在工业中,考察原料的主要质量指标(X1,...,Xp)与产品的主要质量指标(Y1,...,Yq)间的相关性;

在经济学中,研究主要肉类的价格与销售量之间的相关性;

在地质学中,为研究岩石形成的成因关系,考察岩石的化学成份与其周围围岩化学成份的相关性;

在气象学中为分析预报24小时后天气的可靠程度,研究当天和前一天气象因子间的相关关系;4精选ppt第十章

引言

什么是典型相关分析

在教育学中,研究学生在高考的各科成绩与高二年级各主科成绩间的相关关系;

在婚姻的研究中,考察小伙子对追求姑娘的主要指标与姑娘想往的小伙子的主要尺度之间的相关关系;

在医学中,研究患某种疾病病人的各种症状程度与用科学方法检查的一些结果之间的相关关系;

在体育学中,研究运动员的体力测试指标与运动能力指标之间的相关关系等.5精选ppt第十章

引言

什么是典型相关分析

一般地,假设有一组变量X1,...,Xp与另一组变量Y1,...,Yq(也可以记为Xp+1,...,Xp+q),我们要研究这两组变量的相关关系,如何给两组变量之间的相关性以数量的描述,这就是本章研究的典型相关分析.

当p=q=1时,就是研究两个变量X与Y之间的相关关系.简单相关系数是最常见的度量.其定义为6精选ppt第十章

引言

什么是典型相关分析

当p≥1,q=1时(或q

≥1,p=1)设则称为Y与(X1,…,Xp)的全相关系数.其实Y对X的回归为且,并称R为全相关系数.def

=7精选ppt第十章

引言

什么是典型相关分析

当p,q>1时,利用主成分分析的思想,可以把多个变量与多个变量之间的相关化为两个新变量之间的相关.

也就是求=(1,…,p)和

=(1,…,q),使得新变量:V=1X1+…+pXp=X

W=1Y1+…+qYq=Y之间有最大可能的相关,基于这个思想就产生了典型相关分析(Canonicalcorrelatinalanalysis).8精选ppt第十章§10.1总体典型相关

典型相关的定义

设X=(X1,...,Xp)及Y=(Y1,...,Yq)为随机向量(不妨设p≤q),记随机向量Z=XYZ的协差阵为其中Σ11是X的协差阵,Σ22是Y的协差阵,Σ12=Σ’21是X,Y的协差阵.9精选ppt第十章§10.1总体典型相关

典型相关的定义

我们用X和Y的线性组合V=aX和W=bY之间的相关来研究X和Y之间的相关.我们希望找到a和b,使ρ(V,W)最大.由相关系数的定义:又已知10精选ppt第十章§10.1总体典型相关

典型相关的定义故有对任给常数c1,c2,d1,d2,显然有

ρ(c1V+d1,c2W+d2)=ρ(V,W)即使得相关系数最大的V=aX和W=bX并不唯一.

故加附加约束条件Var(V)=aΣ11

a=1,Var(W)=bΣ22

b=1.

问题化为在约束条件Var(V)=1,Var(W)=1下,求a和b,使得ρ(V,W)=aΣ12

b达最大

.11精选ppt第十章§10.1总体典型相关

典型相关的定义

定义10.1.1设X=(X1,...,Xp)及Y=(Y1,...,Yq)为随机向量(不妨设p≤q),记随机向量12精选ppt第十章§10.1总体典型相关

典型相关的定义13精选ppt第十章§10.1总体典型相关

典型相关变量的求法

定理10.1.1设X=(X1,...,Xp)及Y=(Y1,...,Yq)为随机向量(不妨设p≤q),记随机向量14精选ppt第十章§10.1总体典型相关

典型相关变量的求法若定理10.1.1中Z是半正定的，则不一定存在.我们可以用广义逆矩阵求解。

定义10.1.2给定一个矩阵A，如果有矩阵D满足

ADA=A,DAD=D,(AD)’=AD,(DA)’=DA,则称D是A的加号逆，记作A+.

可以证明A+是存在唯一的.15精选ppt第十章§10.1总体典型相关

典型相关变量的求法

定理10.1.2设X=(X1,...,Xp)及Y=(Y1,...,Yq)为随机向量(不妨设p≤q),记随机向量16精选ppt第十章§10.1总体典型相关

典型相关变量的性质

性质117精选ppt第十章§10.1总体典型相关

典型相关变量的性质

性质2原始变量与典型变量之间的相关性

（也称为典型结构）18精选ppt第十章§10.1总体典型相关

典型相关变量的性质19精选ppt20精选ppt第十章§10.2样本典型相关

样本典型相关变量和典型相关系数

设总体Z=(X1,...,Xp,Y1,…,Yq)’.在实际问题中,总体的均值E(Z)=和协差阵D(Z)=

通常是未知的,因而无法求得总体的典型相关变量和典型相关系数.

首先需要根据观测到的样本资料阵对其进行估计.

已知总体Z的n个样品:21精选ppt第十章§10.2样本典型相关

样本典型相关变量和典型相关系数

样本资料阵为x11x12…

x1p

y11y12…y1qx21x22…

x2p

y21y22…y2q……..xn1xn2…

xnp

yn1yn2…ynq若假定Z～N(,),则协差阵的最大似然估计为

Z’(1)

Z’(2)=...

Z’(n)def

=*22精选ppt第十章§10.2样本典型相关

样本典型相关变量和典型相关系数

我们从协差阵的最大似然估计S*(或样本协差阵S)出发,按上节的方法可以导出样本典型相关变量和样本典型相关系数.还可以证明样本典型相关变量和样本典型相关系数是总体典型相关变量和样本典型相关系数的极大似然估计.

也可以从样本相关阵R出发来导出样本典型相关变量和样本典型相关系数.23精选ppt第十章§10.2样本典型相关

典型相关系数的显著性检验

总体Z的两组变量X=(X1,...,Xp)’和Y=(Y1,…,Yq)’如果不相关,即COV(X,Y)=12=0,以上有关两组变量典型相关的讨论就毫无意义.

故在讨论两组变量间相关关系之前,应首先对以下假设H0作统计检验.(1)检验H0:12=0(即1=0)

设总体Z～Np+q(,).用似然比方法可导出检验H0的似然比统计量为(A,A11,A22为离差阵)24精选ppt第十章§10.2样本典型相关

典型相关系数的显著性检验

(2)检验H0(i):