系统工程 系统工程主成分分析

系统工程课件系统工程主成分分析第1页，课件共65页，创作于2023年2月1、掌握什么是主成分分析。2、理解主成分分析的基本思想和几何意义。3、理解主成分求解方法：协方差矩阵与相关系数矩阵的差异。第2页，课件共65页，创作于2023年2月一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。第3页，课件共65页，创作于2023年2月在进行主成分分析后，竟以97.4％的精度，用三个新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率I以及时间t因素做相关分析，得到下表：第4页，课件共65页，创作于2023年2月F1F2F3I⊿ItF11F201F3001I0.995-0.0410.0571⊿I-0.0560.948-0.124-0.1021t-0.369-0.282-0.836-0.414-0.1121第5页，课件共65页，创作于2023年2月主成分分析：将原来较多的指标简化为少数几个新的综合指标的多元统计方法。主成分：由原始指标综合形成的几个新指标。依据主成分所含信息量的大小成为第一主成分，第二主成分等等。第6页，课件共65页，创作于2023年2月主成分分析得到的主成分与原始变量之间的关系：主成分保留了原始变量绝大多数信息。主成分的个数大大少于原始变量的数目。各个主成分之间互不相关。每个主成分都是原始变量的线性组合。第7页，课件共65页，创作于2023年2月假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，…，Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F1，F2，…，Fk(k≤p），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。第8页，课件共65页，创作于2023年2月这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。第9页，课件共65页，创作于2023年2月满足如下的条件：每个主成分的系数平方和为1。即主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即F1、F2….Fp分别称为原变量的第一、第二….第p个主成分。第10页，课件共65页，创作于2023年2月为了方便，我们在二维空间中讨论主成分的几何意义：设有n个样品，每个样品有两个观测变量x1和x2，在由变量x1和x2所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着x1轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量x1的方差和x2的方差定量地表示。显然，如果只考虑x1和x2中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。第11页，课件共65页，创作于2023年2月如果我们将x1轴和x2轴先平移，再同时按逆时针方向旋转Ɵ角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。•••••••••••••••••••••••••••••••••••••第12页，课件共65页，创作于2023年2月••••••••••••••••••••••••••••••••••••••第13页，课件共65页，创作于2023年2月•••••••••••••••••••••••••••••••••••••第14页，课件共65页，创作于2023年2月第15页，课件共65页，创作于2023年2月旋转变换的目的：为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。

(变量Fl代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局)。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。第16页，课件共65页，创作于2023年2月Fl、F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。第17页，课件共65页，创作于2023年2月由此可概括出主成分分析的几何意义：主成分分析的过程也就是坐标旋转的过程，各主成分表达式就是新坐标系与原坐标系的转换关系，新坐标系中各坐标轴的方向就是原始数据方差最大的方向。第18页，课件共65页，创作于2023年2月从相关的X1,X2,…Xk,求出相互独立的新综合变量（主成分）Y1,Y2…Yk。Y＝（Y1,Y2…Yk

）’所反映信息的含量无遗漏或损失的指标—方差，等于X＝（X1,X2…Xk）’的方差。X与Y之间的计算关系是：第19页，课件共65页，创作于2023年2月第20页，课件共65页，创作于2023年2月第21页，课件共65页，创作于2023年2月第22页，课件共65页，创作于2023年2月设：则：上述结论可推广到p个随机变量的线性组合。第23页，课件共65页，创作于2023年2月设X的协方差阵为由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得第24页，课件共65页，创作于2023年2月其中λ1,λ2,…λp为Σx的特征根，不妨假设λ1≥λ2≥…≥λp。而U恰好是由特征根相对应的特征向量所组成的正交阵。第25页，课件共65页，创作于2023年2月是否由U的第一列元素所构成为原始变量的线性组合是否有最大的方差。证明：设有P维正交向量第26页，课件共65页，创作于2023年2月当且仅当a1=u1时，即F1=u11X1+……+up1Xp时，有最大的方差λ1。因为如果第一主成分的信息不够，则需要寻找第二主成分。第27页，课件共65页，创作于2023年2月第二主成分在约束条件COV(F1,F2)=0下，寻找第二主成分由U的正交性质可得：对p维向量u2，有第28页，课件共65页，创作于2023年2月所以如果取线性变换：则F2的方差次大。以此类推第29页，课件共65页，创作于2023年2月写为矩阵形式：第30页，课件共65页，创作于2023年2月例，设协方差矩阵为：第31页，课件共65页，创作于2023年2月例，求协方差矩阵的特征根依据求解．第32页，课件共65页，创作于2023年2月例，求特征根对应的特征向量可在Matlab中用下列语句求解 [v,d]=eig(a)或[u,s,v]=svd(a)

其中，v为对应的特征向量，d为特征值。第33页，课件共65页，创作于2023年2月例，主成分各主成分的贡献率及累计贡献率：

第一主成分贡献率：第二主成分贡献率：第三主成分贡献率：第34页，课件共65页，创作于2023年2月例，第一和第二主成分的累计贡献率：由此可将以前三元的问题降维为两维问题．第一和第二主成分包含了以前变量的绝大部分信息97.85%第35页，课件共65页，创作于2023年2月累积贡献率说明了前r个成分能够反映原样本信息量的程度。若前两个主成分的累积贡献率为95%，则前两个主成分能反映95%原多个指标的信息量。第36页，课件共65页，创作于2023年2月当分析中所选择的经济变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。量纲对于主成分分析的影响及消除方法——对数据进行标准化处理，以使每一个变量的均值为0，方差为1。第37页，课件共65页，创作于2023年2月数据标准化后,总体的协方差矩阵与总体的相关系数相等第38页，课件共65页，创作于2023年2月例，例：企业经济效益综合分析。用5个经济指标进行考核。用相关系数矩阵法求解主成分。其中计算出的相关系数矩阵为第39页，课件共65页，创作于2023年2月例，计算其特征值：各特征值的累计方差贡献率为：从以上方差贡献率看，k=2时主成分个数较为合适λ1和λ2对应的特征向量为：第40页，课件共65页，创作于2023年2月例，建立第一和第二主成分：第41页，课件共65页，创作于2023年2月从相关系数矩阵出发求解主成分的步骤：标准化各观测变量数据。求解标准化各观测变量的相关系数矩阵。根据矩阵知识求解相关系数矩阵的特征根。求解各特征根对应的特征向量。其中最大特征根的特征向量对应第一主成分的系数向量；第二大特征根对应的特征向量是第二大主成分的系数向量·····第42页，课件共65页，创作于2023年2月聚类分析ClusterAnalysis第43页，课件共65页，创作于2023年2月什么是聚类分析聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。将个体或对象分类，使得同一类中的对象之间的相似性比与其他类的对象的相似性更强。聚类分析的目的：使类内对象的同质性最大化和类间对象的异质性最大化。第44页，课件共65页，创作于2023年2月聚类分析的应用：无处不在早在孩提时代，人就通过不断改进下意识中的聚类模式来学会如何区分猫和狗，动物和植物谁经常光顾商店，谁买什么东西，买多少？按忠诚卡记录的光临次数、光临时间、性别、年龄、职业、购物种类、金额等变量分类这样商店可以….识别顾客购买模式（如喜欢一大早来买酸奶和鲜肉，习惯周末时一次性大采购）刻画不同的客户群的特征（用变量来刻画，就象刻画猫和狗的特征一样）第45页，课件共65页，创作于2023年2月为什么这样分类？（分类的好处）因为每一个类别里面的人消费方式都不一样，需要针对不同的人群，制定不同的关系管理方式，以提高客户对公司商业活动的参与率。挖掘有价值的客户，并制定相应的促销策略：如，对经常购买酸奶的客户对累计消费达到12个月的老客户针对潜在客户派发广告，比在大街上乱发传单命中率更高，成本更低！第46页，课件共65页，创作于2023年2月又如，当我们对企业的经济效益进行评价时，建立了一个由多个指标组成的指标体系，由于信息的重叠，一些指标之间存在很强的相关性，所以需要将相似的指标聚为一类，从而达到简化指标体系的目的。第47页，课件共65页，创作于2023年2月基本思想：是根据一批样品的多个观测指标，具体地找出一些能够度量样品或指标之间相似程度的统计量，然后利用统计量将样品或指标进行归类。把相似的样品或指标归为一类，把不相似的归为其他类。直到把所有的样品（或指标）聚合完毕.相似样本或指标的集合称为类。问题：如何来选择样品（或指标）间相似的测度指标，如何将有相似性的类连接起来？第48页，课件共65页，创作于2023年2月聚类分析的类型有：对样本分类，称为Q型聚类分析对变量分类，称为R型聚类分析Q型聚类是对样本进行聚类，它使具有相似性特征的样本聚集在一起，使差异性大的样本分离开来。R型聚类是对变量进行聚类，它使具有相似性的变量聚集在一起，差异性大的变量分离开来，可在相似变量中选择少数具有代表性的变量参与其他分析，实现减少变量个数，达到变量降维的目的。第49页，课件共65页，创作于2023年2月聚类分析的方法：系统聚类（层次聚类）非系统聚类（非层次聚类）系统聚类法包括：凝聚方式聚类、分解方式聚类非系统聚类法包括：模糊聚类法、K－均值法（快速聚类法）等等第50页，课件共65页，创作于2023年2月以系统聚类法为例第51页，课件共65页，创作于2023年2月样本或变量的相似性程度的数量指标：相似系数性质越接近的变量或样品，它们的相似系数越接近于1或一l，而彼此无关的变量或样品它们的相似系数则越接近于0，相似的为一类，不相似的为不同类；距离它是将每一个样品看作p维空间的一个点，并用某种度量方法测量点与点之间的距离，距离较近的归为一类，距离较远的点应属于不同的类。样本分类（Q型聚类）常以距离刻画相似性指标分类(R型聚类)常以相似系数刻画相似性第52页，课件共65页，创作于2023年2月常用距离明考夫斯基距离(Minkowskidistance)明氏距离有三种特殊形式：绝对距离（Block距离）:当q=1时第53页，课件共65页，创作于2023年2月常用距离明氏距离有三种特殊形式：欧氏距离(Euclideandistance):当q=2时切比雪夫距离:当q=∞时第54页，课件共65页，创作于2023年2月明考夫斯基距离主要有以下两个缺点：明氏距离的值与各指标的量纲有关，而各指标计量单位的选择有一定的人为性和随意性，各变量计量单位的不同不仅使此距离的实际意义难以说清，而且，任何一个变量计量单位的改变都会使此距离的数值改变从而使该距离的数值依赖于各变量计量单位的选择。明氏距离的定义没有考虑各个变量之间的相关性和重要性。实际上，明考夫斯基距离是把各个变量都同等看待，将两个样品在各个变量上的离差简单地进行了综合。第55页，课件共65页，创作于2023年2月当各变量的单位不同或测量值范围相差很大时，不应直接采用明氏距离，而应先对各变量的数据作标准化处理，然后用标准化后的数据计算距离。常用的标准化处理：其中为第j个变量的样本均值；为第j个变量的样本方差。第56页，课件共65页，创作于2023年2月相似系数相似系数（或其绝对值）越大，变量之间的相似性程度越高；反之，越低。聚类时，比较相似的变量归为一类，不太相似的变量归为不同的类。变量xi与xj的相似系数用cij表示，满足以下三个条件第57页，课件共65页，创作于2023年2月相关系数设和是第i和j个样品的观测值，则二者之间的相似测度为:第58页，课件共65页，创作于2023年2月例，为了研究辽宁省5省区某年城镇居民生活消费的分布规律，根据调查资料做类型划分省份x1x2x3x4x5x6x7x8辽宁7.9039.778.4912.9419.2711.052.0413.29浙江7.6850.3711.3513.3019.2514.592.7514.87河南9.4227.938.208.1416.179.421.559.76甘肃9.1627.989.019.3215.999.101.8211.35青海10.0628.6410.5210.0516.188.391.9610.81第59页，课件共65页，创作于2023年2月例，G1={辽宁}，G2={浙江}，G3={河南}，G4={甘肃}，G5={青海}采用欧氏距离：d12=[(7.9-7.68)2+(39.77-50.37)2+(8.49-11.35)2+(12.94-13.3)2+(19.27-19.25)2+(11.05-14.59)2+(2.04-2.75)2+(13.29-14.87)2]0.5=11.67

d13=13.80d14=13.12d15=12.80d23=24.63d24=24.06d25=23.54d34=2.2d35=3.51d45=2.21第60页，课件共65页，创作于2023年2月在Matlab中首先倒入数据河南与甘肃的距离最近，先将二者（3和4）合为一类G6={G2，G4}>>squareform(pdist(a))ans=011.672613.805413.127812.798311.6726024.635324.059123.538913.805424.635302.20333.503713.127824.05912.203302.215912.798323.53893.50372.21590第61页，课件共65页，创作于2023年2月d61=d(3,4)1=min{d13,d14}=1