主成分分析PCA含有详细推导过程以和案例分析matlab版

1、主成分分析法（PCA）在实际问题中.我们经常会遇到研究多个变量的问题.而且在多数情况下.多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性.势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量.既能够代表原始变量的绝大多数信息.又互不相关.并且在新的综合变量基础上.可以进一步的统计分析.这时就需要进行主成分分析。I.主成分分析法（PCA）模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法.找出几个综合变量来代替原来众多的变量.使这些综合变量能尽可能地代表原来变量的信息量.而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量的统

2、计分析方法就叫做主成分分析或主分量分析。主成分分析所要做的就是设法将原来众多具有一定相关性的变量.重新组合为一组新的相互无关的综合变量来代替原来变量。通常.数学上的处理方法就是将原来的变量做线性组合.作为新的综合变量.但是这种组合如果不加以限制.则可以有很多.应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为F1.自然希望它尽可能多地反映原来变量的信息.这里“信息”用方差来测量.即希望Var（F1）越大.表示F1包含的信息越多。因此在所有的线性组合中所选取的Fi应该是方差最大的.故称Fi为第一主成分。如果第一主成分不足以代表原来p个变量白M言息.再考虑选取F2即第二个线性组合.为了

3、有效地反映原来p个主成分。信息.Fi已有的信息就不需要再出现在F2中.用数学语言表达就是要求Cov（Fi下2）=0.称F2为第二主成分.依此类推可以构造出第三、四第（二）主成分分析的数学模型对于一个小本资料.观测p个变量Xi,X2，Xp.n个样品的数据资料阵为:XiiX21Xi2X22、XipX2p=Xi,X2,XpxniXn2Xij,x2j._其中：Xj=.j=1,2，pXnj）Fi二ailX1主成分分析就是将p个观测变量综合成为p个新的变量（综合变量）.即-ai2X2一.aipXpa22X2a2PxpFp=apiXiap2X2appXp简写为:Fj=jiXi.二.j2X2.一.二jpXpj

4、=i,2,p要求模型满足以下条件:Fi,Fj互不相关(i卢j.i,j=i,2,，p)Fi的方差大于F2的方差大于F3的方差.依次类推222akiak2-akp=ik=i,2,p.于是.称Fi为第一主成分.F2为第二主成分.依此类推.有第p个主成分。主成分又叫主分量。这里aj我们称为主成分系数。上述模型可用矩阵表示为:F=AX.其中XiX2aipa2PappjA称为主成分系数矩阵。（三）主成分分析的几何解释假设有n个样品.每个样品有二个变量.即在二维空间中讨论主成分的几何意义。设n个将坐标系进行正交旋转一个角度6.使其椭圆长轴方向取坐标y1.标.旋转公式为yij=Xijcos0+X2jsin8y

5、2j=Xij(sinH)+X2jcos写成矩阵形式为：Y=y11ILy21cos1-sin?j=1,2ny12y1ny22y2n_sinuX11X12X1ncOsg幻1X22X2n其中U为坐标旋转变换矩阵.它是正交矩阵.即有U=Usin2日+cse=1。经过旋转变换后.得到下图的新坐标：在椭圆短轴方向取坐IX,UU=I.即满足图2主成分几何解释图新坐标y1_y2有如下性质：(1)n个点的坐标y1和y2的相关几乎为零。(2)二维平面上的n个点的方差大部分都归结为yi轴上.而y轴上的方差较小。yi和y称为原始变量xi和X2的综合变量。由于n个点在y1轴上的方差最大.因而将二维空间的点用在yi轴上的

6、一维综合变量来代替.所损失的信息量最小.由此称yi轴为第一主成分.y2轴与y1轴正交.有较小的方差.称它为第二主成分。II.主成分分析法(PCA雎导一、主成分的导出根据主成分分析的数学模型的定义.要进行主成分分析.就需要根据原始数据.以及模型的三个条件的要求.如何求出主成分系数.以便得到主成分模型。这就是导出主成分所要解决的问题。i、根据主成分数学模型的条件要求主成分之间互不相关.为此主成分之间的协差阵应该是一个对角阵。即.对于主成分.F=AX其协差阵应为.Var(F)=Var(AX)=(AX)(AX)=AXXAApJ2、设原始数据的协方差阵为V.如果原始数据进行了标准化处理后则协方差阵等于相

7、关矩阵.即有.V=R=XX3、再由主成分数学模型条件和正交矩阵的性质.若能够满足条件最好要求A为正交矩阵.即满足AA=I于是.将原始数据的协方差代入主成分的协差阵公式得Var(F)=AXXA=ARAARA=上RAA上展开上式得Firri2ripaiia2i上apir2i!r22r2P!ai2aa229aap2a1rpirp2rppjkaipa2Pw-appaiia2iapi%ai2ia22ap2a*八2+kaipa2Papp/%.p/.这里只根据第一列得出的方程为:展开等式两边.根据矩阵相等的性质rii-ian.ri2a优小2住=02iaii(r22-i)ai22paip=0rpiaii,rp

8、2a优.(rpp-，后作=00.即为了得到该齐次方程的解.要求其系数矩阵行列式为rll一1ri2ripriprp2rpp-11显然.是相关系数矩阵的特征值ai=aii,ai2,aip）是相应的特征向量。根据第二列、第三列等可以得到类似的方程%是方程R浦=0的p个根.为特征方程的特征根.aj是其特征向量的分量。4、下面再证明主成分的方差是依次递减设相关系数矩阵R的p个特征卞为之至之九p.相应的特征向量为aj相对于Fi的方差为aiiai2-aipAxa2ia22-a2Pa2A=aaa!1apiap2-appjVar(Fi)=aiXXai=aiRai=%同样有：Var(Fi)=九.即主成分的方差依次

9、递减。并且协方差为:Cov(aiX,ajX)=aiRajpaiC?a:.a?)ajp=%(aia：.)(a；.aj)=0,i二j综上所述.根据证明有.主成分分析中的主成分协方差应该是对角矩阵.其对角线上的元素恰好是原始数据相关矩阵的特征值.而主成分系数矩阵A的元素则是原始数据相关矩阵特征值相应的特征向量。矩阵A是一一个正交矩阵。是.变量(x1,x2，xDp)经过变换后得到新的综合变量Fi=anXia12X2aipXpF2=a2iXi-a22X2a2Pxp新的随机变量彼此不相关Fp=apiX-ap2X2appXp.且方差依次递减。二、主成分分析的计算步骤假设样本观测数据矩阵为:XiiXi2Xip

10、X2iX22X2p-aaa：XniXn2Xnp/第一步：对原始数据进行标准化处理。*xjxj-xjva)(i=1,2,n;j=1,2,p)其中xjnxjnyvar(xj)=n-(xij-xj)i1(j=1,2,p)第二步：计算样本相关系数矩阵。r12rp2r1pp为方便.假定原始数据标准化后仍用X表示.则经标准化处理后的数据的相关系数为rijnyxtixtjt4(i,j=12,p)第三步：用雅克比方法求相关系数矩阵R的特征值（%,%和相应的特征向量pai第四步：选择重要的主成分.并写出主成分表达式。主成分分析可以得到p个主成分.但是.由于各个主成分的方差是递减的.包含的信息量也是递减的.所以实

11、际分析时.一般不是选取p个主成分.而是根据各个主成分累计贡献率的大小选取前k个主成分.这里贡献率就是指某个主成分的方差占全部方差的比重.实际也就是某个特征值占全部特征值合计的比重。即贡献率=ip-主成分个数k的选取.主要根85%上.这样才能保证综合变i1贡献率越大.说明该主成分所包含的原始变量的信息越强。据主成分的累积贡献率来决定.即一般要求累计贡献率达到量能包括原始变量的绝大多数信息。另外.在实际应用中.选择了重要的主成分后.还要注意主成分实际含义解释。主成分分析中一个很关键的问题是如何给主成分赋予新的意义.给出合理的解释。一般而言.这个解释是根据主成分表达式的系数结合定性分析来进行的。主成

12、分是原来变量的线性组合.在这个线性组合中个变量的系数有大有小.有正有负.有的大小相当.因而不能简单地认为这个主成分是某个原变量的属性的作用.线性组合中各变量系数的绝对值大者表明该主成分主要综合了绝对值大的变量.有几个变量系数大小相当时.应认为这一主成分是这几个变量的总和.这几个变量综合在一起应赋予怎样的实际意义.这要结合具体实际问题和专业.给出恰当的解释.进而才能达到深刻分析的目的。第五步：计算主成分得分。111112F21F2233F”根据标准化的原始数据.按照各个样品.分别代入主成分表达式.就可以得到各主成分下的各个样品的新数据.即为主成分得分。具体形式可如下。F2kaFnkJ第六步：依据

13、主成分得分的数据.则可以进行进一步的统计分析。其中.常见的应用有主成份回归.变量子集合的选择.综合评价等。III.主成分分析法（PCA）案例为了系统的分析某IT类企业的经济效益.选择统计了8个不同的利润指标.15家企业关于这8个指标的统计数据如下所示.试对此进行主成分分析.并进行相关评价。量企业序号12345净产值固定资总产值销售收产品成物耗人均利流动利润率产利润利润率入利润本利润利润润率资金(%率（%(%率（%率(%)率(%)(利润Xi1Xi2Xi3Xi4Xi5Xi6/人）率(%)Xi7Xi840.424.77.26.18.38.72.44220.025.012.711.211.012.92

14、0.23.5429.113.23.33.94.34.45.50.5783.622.36.75.63.76.07.40.1767.334.311.87.17.18.08.91.72627.515家企业的利润指标的统计数据635.612.516.416.722.829.33.01726.6722.07.89.910.212.617.60.84710.6848.413.410.99.910.913.91.77217.8940.619.119.819.029.739.62.44935.81024.88.09.88.911.916.20.78913.71112.59.74.24.24.66.50.874

15、3.9121.80.60.70.70.81.10.0561.01332.313.99.48.39.813.32.12617.11438.59.111.39.512.216.41.32711.61526.210.15.615.67.730.10.12625.9解：根据题目中的数据.利用matlab软件编程求解.对问题进行主成分分析求解结果如下:1.标准化结果如下:1.00232.3473-0.3410-0.5714-0.3496-0.65740.90300.4483-0.22860.30720.47740.38960.28350.43091.9108-0.6218-1.1718-1.2909-1

16、.0162-0.9244-0.8863-0.9603-0.8049-1.1617-0.4444-0.7129-0.6684-1.0421-0.6661-0.7805-1.1732-0.79850.51480.1541-0.3615-0.3752-0.3909-0.63850.24701.18460.61870.27321.54141.50751.64601.29221.42981.0963-0.4684-0.52590.21140.23270.24220.1849-0.5584-0.47451.64180.42620.41600.17390.0083-0.16530.28910.23231.0

17、1831.39522.23711.95862.59562.26700.90941.9995-0.2446-0.49190.1910-0.02220.14590.0524-0.6115-0.1702-1.2277-0.2029-0.9549-0.9440-0.8588-0.8656-0.5337-1.1323-2.0830-1.7500-1.6710-1.6304-1.3818-1.3767-1.2831-1.41700.35490.51120.1091-0.1399-0.1431-0.22210.61340.16360.8505-0.30490.49790.09540.18720.0713-0

18、.1186-0.3763-0.1327-0.1349-0.66841.2918-0.43211.3679-1.21901.02762.相关系数矩阵：std=1.00000.76300.70170.58680.59590.48960.59730.73000.76301.00000.55040.46670.51580.41960.70460.67170.70170.55041.00000.84070.97600.81610.69410.68250.58680.46670.84071.00000.86670.98230.49260.79380.59590.51580.97600.86671.0000

19、0.86670.62600.71530.48960.41960.81610.98230.86671.00000.42160.75050.59730.70460.69410.49260.62600.42161.00000.46560.73000.67170.68250.79380.71530.75050.46561.00003 .特征向量(vec)及特征值(val)vec=0.21820.1370-0.27810.22830.67270.31150.37880.3334-0.0745-0.1102-0.2276-0.5733-0.40460.18710.55620.3063-0.7186-0.0

20、5200.1186-0.22400.3874-0.3182-0.11480.39000.0386-0.6914-0.38080.2788-0.15470.0888-0.35080.37800.6385-0.06600.3451-0.41580.1518-0.2715-0.22540.3853-0.01230.6864-0.3738-0.0066-0.25540.0696-0.43370.36160.06750.10570.07160.5033-0.2816-0.61890.41470.3026-0.12860.04130.66920.2552-0.20550.5452-0.00310.3596

21、val=0.0027000000000.0060000000000.1369000000000.1456000000000.2858000000000.5896000000001.0972000000005.7361特征根从大到小排序：5.736141.097230.5896340.2857910.145620.1368830.005986810.002710844 .根据累计贡献率.假设阈值为90%.选出主成分.计算如下:贡献率：newrate=0.71700.13720.07370.03570.01820.01710.00070.0003主成分数：3主成分载荷：0.79850.39680.23920.73360.