主成分分析和典型相关分析课件

引言变量太多会增加计算的复杂性变量太多给分析问题和解释问题带来困难变量提供的信息在一定程度上会有所重叠用为数较少的互不相关的新变量来反映原变量所提供的绝大部分信息,降维的思想来处理高维数据。第1页/共126页引言14.1主成分分析日主要目的:对原变量加以“改造”,在不致损失原变量太多信息的条件下尽可能地降低变量的维数,即用较少的“新变量”代替原来的各变量。第2页/共126页4.1主成分分析2主成分分析即构造原变量的一系列线性组合,使其方差(或观测值的样本方差)达到最大=X,COS6+X,sin8Y=-Xsin0+Xcos0到4.1第3页/共126页主成分分析即构造原变量的一系列线性组合,34.12总体主成分设x1x2为某实际问题所涉及的个随机变量。记X=(X其协方差矩阵为Cov(X)=2=(OPxp=E(X-E(X)(X-E(X)它是一个阶非负定矩阵。设1=01l2L,为企,P)常数向量,考虑如下线性组合Y=GX=LX,+L2X,+L+LnX,,y2=2X=l2X1+2X2+L+l2,X,IX=L,,+L,X,+L+lmX第4页/共126页4.12总体主成分4总体主成分易知有W(1)=Wmr(k)=11=1,2L,PCov(Y,Y,)=Cov(LX,X)=42,j=1,2,L,p我们希望用代替原来P个变量X,X2L,X。,这就要求X尽可能地反映原来P个变量的信息。这里用方差来度量。即要求Wr(H1)=12达到最大对任意常数k,若取k1,JVur(x)=kvar(TX)=kL2/第5页/共126页总体主成分5总体主成分因此,必须对加以限制,否则w无界。最方便的限制是要求4具有单位长度,即我们在约束条件=1之下,求1使W(达到最大,由此4所确定的随机变量=4X称为X,X2L,Xn的第一主成分。第6页/共126页总体主成分6总体主成分如果第一主成分H还不足以反映原变量的信息,进一步求2。为了使Y和Y2反映原变量的信息不相重叠,要求二者不相关,在约束条件Cow(H,y)=l1Σ2=0求2使w(2)达到最大。第二主成分:Y2=l2X依次类推第7页/共126页总体主成分7总体主成分一般地,在约束条件=1及Cov(F,)=l1∑lk=0(k=1,2,…,-1)下,求l使war()达到最大,由此l所确定的Y=lX称为x1,X2…X,的第个主成分。第8页/共126页总体主成分8总体主成分的求法设∑是X=(x,X2L,X)的协方差矩阵,Σ的特征值及相应的正交单位化特征向量分别为42122n20及2x,,则X的第i个主成分为Y=eix=ex,+e2x2+L+eix12,L,P其中e=(ene2L,n)。易见Var(r)=e/te=ee=n,i=1,2,L,P,co,x)=2=e=0.i≠k事实上,令P=(4,2L,),则P为—正交矩阵P∑P=A=Dg(41,2L,2)第9页/共126页总体主成分的求法9总体主成分的求法设x=x为的第主成分,其中以,=(,32L,n)=PlVar(Y)=2=zPXPz=Az+A,12+L+2,zi≤4x=P4=,并且当x=(10L,0)时,等号成立。这时L=Pa=e,第10页/共126页总体主成分的求法10主成分分析和典型相关分析课件11主成分分析和典型相关分析课件12主成分分析和典型相关分析课件13主成分分析和典型相关分析课件14主成分分析和典型相关分析课件15主成分分析和典型相关分析课件16主成分分析和典型相关分析课件17主成分分析和典型相关分析课件18主成分分析和典型相关分析课件19主成分分析和典型相关分析课件20主成分分析和典型相关分析课件21主成分分析和典型相关分析课件22主成分分析和典型相关分析课件23主成分分析和典型相关分析课件24主成分分析和典型相关分析课件25主成分分析和典型相关分析课件26主成分分析和典型相关分析课件27主成分分析和典型相关分析课件28主成分分析和典型相关分析课件29主成分分析和典型相关分析课件30主成分分析和典型相关分析课件31主成分分析和典型相关分析课件32主成分分析和典型相关分析课件33主成分分析和典型相关分析课件34主成分分析和典型相关分析课件35主成分分析和典型相关分析课件36主成分分析和典型相关分析课件37主成分分析和典型相关分析课件38主成分分析和典型相关分析课件39主成分分析和典型相关分析课件40主成分分析和典型相关分析课件41主成分分析和典型相关分析课件42主成分分析和典型相关分析课件43主成分分析和典型相关分析课件44主成分分析和典型相关分析课件45主成分分析和典型相关分析课件46主成分分析和典型相关分析课件47主成分分析和典型相关分析课件48主成分分析和典型相关分析课件49主成分分析和典型相关分析课件50主成分分析和典型相关分析课件51主成分分析和典型相关分析课件52主成分分析和典型相关分析课件53主成分分析和典型相关分析课件54主成分分析和典型相关分析课件55主成分分析和典型相关分析课件56主成分分析和典型相关分析课件57主成分分析和典型相关分析课件58主成分分析和典型相关分析课件59主成分分析和典型相关分析课件60主成分分析和典型相关分析课件61主成分分析和典型相关分析课件62主成分分析和典型相关分析课件63主成分分析和典型相关分析课件64主成分分析和典型相关分析课件65主成分分析和典型相关分析课件66主成分分析和典型相关分析课件67主成分分析和典型相关分析课件68主成分分析和典型相关分析课件69主成分分析和典型相关分析课件70主成分分析和典型相关分析课件71主成分分析和典型相关分析课件72主成分分析和典型相关分析课件73主成分分析和典型相关分析课件74主成分分析和典型相关分析课件75主成分分析和典型相关分析课件76主成分分析和典型相关分析课件77主成分分析和典型相关分析课件78主成分分析和典型相关分析课件79主成分分析和典型相关分析课件80主成分分析和典型相关分析课件81主成分分析和典型相关分析课件82主成分分析和典型相关分析课件83主成分分析和典型相关分析课件84主成分分析和典型相关分析课件85主成分分析和典型相关分析课件86主成分分析和典型相关分析课件87主成分分析和典型相关分析课件88主成分分析和典型相关分析课件89主成分分析和典型相关分析课件90主成分分析和典型相关分析课件91主成分分析和典型相关分析课件92主成分分析和典型相关分析课件93主成分分析和典型相关分析课件94主成分分析和典型相关分析课件95主成分分析和典型相关分析课件96主成分分析和典型相关分析课件97主成分分析和典型相关分析课件98主成分分析和典型相关分析课件99主成分分析和典型相关分析课件100主成分分析和典型相关分析课件101主成分分析和典型相关分析课件102主成分分析和典型相关分析课件103主成分分析和典型相关分析课件104主成分分析和典型相关分析课件105主成分分析和典型相关分析课件106主成分分析和典型相关分析课件107主成分分析和典型相关分析课件108主成分分析和典型相关分析课件109主成分分析和典型相关分析课件110主成分分析和典型相关分析课件111主成分分析和典型相关分析课件112主成分分析和典型相关分析课件113主成分分析和典型相关分析课件114主成分分析和典型相关分析课件115主成分分析和典型相关分析课件116主成分分析和典型相关分