典型相关分析

典型相关分析第1页，共24页。（优选）典型相关分析第2页，共24页。第十章典型相关分析

目录§10.1总体典型相关§10.2样本典型相关§10.3典型冗余分析第3页，共24页。第十章

引言

什么是典型相关分析

相关分析是研究多个变量与多个变量之间的相关关系.如研究两个随机变量之间的相关关系可用简单相关系数表示;研究一个随机变量与多个随机变量之间的相关关系可用全相关系数表示.1936年Hotelling首先将相关分析推广到研究多个随机变量与多个随机变量之间的相关关系,故而产生了典型相关分析,广义相关系数等一些有用的方法.第4页，共24页。第十章

引言

什么是典型相关分析

在实际问题中,经常遇到要研究一部分变量和另一部分变量之间的相关关系,例如:

在工业中,考察原料的主要质量指标(X1,...,Xp)与产品的主要质量指标(Y1,...,Yq)间的相关性;

在经济学中,研究主要肉类的价格与销售量之间的相关性;

在地质学中,为研究岩石形成的成因关系,考察岩石的化学成份与其周围围岩化学成份的相关性;

在气象学中为分析预报24小时后天气的可靠程度,研究当天和前一天气象因子间的相关关系;第5页，共24页。第十章

引言

什么是典型相关分析

在教育学中,研究学生在高考的各科成绩与高二年级各主科成绩间的相关关系;

在婚姻的研究中,考察小伙子对追求姑娘的主要指标与姑娘想往的小伙子的主要尺度之间的相关关系;

在医学中,研究患某种疾病病人的各种症状程度与用科学方法检查的一些结果之间的相关关系;

在体育学中,研究运动员的体力测试指标与运动能力指标之间的相关关系等.第6页，共24页。第十章

引言

什么是典型相关分析

一般地,假设有一组变量X1,...,Xp与另一组变量Y1,...,Yq(也可以记为Xp+1,...,Xp+q),我们要研究这两组变量的相关关系,如何给两组变量之间的相关性以数量的描述,这就是本章研究的典型相关分析.

当p=q=1时,就是研究两个变量X与Y之间的相关关系.简单相关系数是最常见的度量.其定义为第7页，共24页。第十章

引言

什么是典型相关分析

当p≥1,q=1时(或q

≥1,p=1)设则称为Y与(X1,…,Xp)的全相关系数.其实Y对X的回归为且,并称R为全相关系数.def

=第8页，共24页。第十章

引言

什么是典型相关分析

当p,q>1时,利用主成分分析的思想,可以把多个变量与多个变量之间的相关化为两个新变量之间的相关.

也就是求

=(

1,…,

p)

和

=(

1,…,

q)

,使得新变量:V=

1X1+…+

pXp=

X

W=

1Y1+…+

qYq=

Y之间有最大可能的相关,基于这个思想就产生了典型相关分析(Canonicalcorrelatinalanalysis).第9页，共24页。第十章§10.1总体典型相关

典型相关的定义

设X=(X1,...,Xp)

及Y=(Y1,...,Yq)

为随机向量(不妨设p≤q),记随机向量Z=XYZ的协差阵为其中Σ11是X的协差阵,Σ22是Y的协差阵,Σ12=Σ’21是X,Y的协差阵.第10页，共24页。第十章§10.1总体典型相关

典型相关的定义

我们用X和Y的线性组合V=a

X和W=b

Y之间的相关来研究X和Y之间的相关.我们希望找到a和b,使ρ(V,W)最大.由相关系数的定义:又已知第11页，共24页。第十章§10.1总体典型相关

典型相关的定义故有对任给常数c1,c2,d1,d2,显然有

ρ(c1V+d1,c2W+d2)=ρ(V,W)即使得相关系数最大的V=a

X和W=b

X并不唯一.

故加附加约束条件Var(V)=a

Σ11

a=1,Var(W)=b

Σ22

b=1.

问题化为在约束条件Var(V)=1,Var(W)=1下,求a和b,使得ρ(V,W)=a

Σ12

b达最大

.第12页，共24页。第十章§10.1总体典型相关

典型相关的定义

定义设X=(X1,...,Xp)

及Y=(Y1,...,Yq)

为随机向量(不妨设p≤q),记随机向量第13页，共24页。第十章§10.1总体典型相关

典型相关的定义第14页，共24页。第十章§10.1总体典型相关

典型相关变量的求法

定理设X=(X1,...,Xp)

及Y=(Y1,...,Yq)

为随机向量(不妨设p≤q),记随机向量第15页，共24页。第十章§10.1总体典型相关

典型相关变量的求法若定理中Z是半正定的，则不一定存在.我们可以用广义逆矩阵求解。

定义给定一个矩阵A，如果有矩阵D满足

ADA=A,DAD=D,(AD)’=AD,(DA)’=DA,则称D是A的加号逆，记作A+.

可以证明A+是存在唯一的.第16页，共24页。第十章§10.1总体典型相关

典型相关变量的求法

定理设X=(X1,...,Xp)

及Y=(Y1,...,Yq)

为随机向量(不妨设p≤q),记随机向量第17页，共24页。第十章§10.1总体典型相关

典型相关变量的性质

性质1第18页，共24页。第十章§10.1总体典型相关

典型相关变量的性质

性质2原始变量与典型变量之间的相关性

（也称为典型结构）第19页，共24页。第十章§10.1总体典型相关

典型相关变量的性质第20页，共24页。第十章§10.2样本典型相关

样本典型相关变量和典型相关系数

设总体Z=(X1,...,Xp,Y1,…,Yq)’.在实际问题中,总体的均值E(Z)=

和协差阵D(Z)=

通常是未知的,因而无法求得总体的典型相关变量和典型相关系数.

首先需要根据观测到的样本资料阵对其进行估计.

已知总体Z的n个样品:第21页，共24页。第十章§10.2样本典型相关

样本典型相关变量和典型相关系数

样本资料阵为x11x12…

x1p

y11y12…y1qx21x22…

x2p

y21y22…y2q……..xn1xn2…

xnp

yn1yn2…ynq若假定Z～N(,),则协差阵

的最大似然估计为

Z’(1)

Z’(2)=...

Z’(n)def

=*第22页，共24页。第十章§10.2样本典型相关

样本典型相关变量和典型相关系数