主成分分析和数据包络分析

PrincipalComponentAnalysis(PCA)&DataEnvelopmentAnalysis(DEA)主成分分析和数据包络分析主讲人：孙立成2010年12月29日,学习目标,PCA和DEA的基本原理PCA和DEA的数学模型用PCA和DEA对实际问题进行综合评价,在研究实际问题时，往往需要收集多个变量。但这样会使多个变量间存在较强的相关关系，即这些变量间存在较多的信息重复，直接利用它们进行分析，不但模型复杂，还会因为变量间存在多重共线性而引起较大的误差为能够充分利用数据，通常希望用较少的新变量代替原来较多的旧变量，同时要求这些新变量尽可能反映原变量的信息主成分分析正是解决这类问题的有效方法。它们能够提取信息，使变量简化降维，从而使问题更加简单直观,主成分分析(PrincipalComponentAnalysis&FactorAnalysis),降维思想的几个例子,心理学：心理学家瑟斯登对56项测验的得分进行因子分析，得出了7中主要智利因子：词语理解能力，语言流畅能力、计数能力、空间能力、记忆力、知觉速度和推理能力教育学：某师范大学在对以幼儿园36岁幼儿为对象，通过80名幼儿教师对480名幼儿好奇心行为特征描述的开放式问卷调查，编制出60个项目的初始问卷，对500名幼儿的初测结果进行探索性因子分析后，形成了33个项目的正式问卷，对1000名幼儿的评价结果进行验证性因子分析，结果表明：教师评价的36岁幼儿好奇心结构包括敏感、对未知事物的关注、好问、喜欢摆弄、探索持久和好奇体验6个因子,因子分析得到的是什么？,医学：一位研究者对山东某县20002002年3年的全死因调查资料中不同地区各恶性肿瘤标化死亡率进行因子分析后发现，该县居民恶性肿瘤的发病和死亡具有明显的地区分布。在地区分布中，各种恶性肿瘤的死亡具有一定程度的聚集性。经因子分析得到的4个主因子可以解释10种恶性肿瘤死亡率的74.54；10种恶性肿瘤中，被解释的比例最小也在62以上；而胃癌、白血病、膀胱癌、乳腺癌、结肠癌死亡率被解释的比例均在77以上，表明这10种恶性肿瘤之间存在中等偏强的内在联系和地区分布特点,因子分析得到的是什么？,地质学：海南岛的石绿铁矿及外围地区有透辉石透闪岩石和阳起石两种岩石。地质工作者对两种岩石标本的11种化验数据进行了因子分析，分别得到5种和4种主要因子。结果表明，透辉石透闪岩石与阳起石有明显区别，前者的元素组合属碳酸盐沉积型，后者属岩浆分异型。透辉石透闪岩石中铁的沉积与泥质成分有关，属于正常沉积。由此推断石绿铁矿的主要成矿为沉积作用，并据此提出了找矿标志和找矿方向上市公司评价：某研究者选择35家能源类上市公司，根据2007年的12项经营指标数据，采用因子分析法分别按盈利能力、资产管理能力、偿债能力及经营业绩综合评分等方面对35家上市公司进行了排名。其中：盈利能力排在前5位的是：神火股份、海油工程、兰花科创、潞安环能和中国石油；经营业绩综合得分排在前5位的是：神火股份、潞安环能、兰花科创、海油工程和开滦股份,主成分的概念由KarlPearson在1901年提出考察多个变量间相关性一种多元统计方法研究如何通过少数几个主成分(principalcomponent)来解释多个变量间的内部结构。即从原始变量中导出少数几个主分量，使它们尽可能多地保留原始变量的信息，且彼此间互不相关主成分分析的目的：数据的压缩；数据的解释常被用来寻找判断事物或现象的综合指标，并对综合指标所包含的信息进行适当的解释,什么是主成分分析？(principalcomponentanalysis),对这两个相关变量所携带的信息(在统计上信息往往是指数据的变异)进行浓缩处理假定只有两个变量x1和x2，从散点图可见两个变量存在相关关系，这意味着两个变量提供的信息有重叠,主成分分析的基本思想(以两个变量为例),如果把两个变量用一个变量来表示，同时这一个新的变量又尽可能包含原来的两个变量的信息，这就是降维的过程,椭圆中有一个长轴和一个短轴，称为主轴。在长轴方向，数据的变化明显较大，而短轴方向变化则较小如果沿着长轴方向设定一个新的坐标系，则新产生的两个变量和原始变量间存在一定的数学换算关系，同时这两个新变量之间彼此不相关，而且长轴变量携带了大部分的数据变化信息，而,主成分分析的基本思想(以两个变量为例),短轴变量只携带了一小部分变化的信息(变异)此时，只需要用长轴方向的变量就可以代表原来两个变量的信息。这样也就把原来的两个变量降维成了一个变量。长短轴相差越大，降维也就越合理,多维变量的情形类似，只不过是一个高维椭球，无法直观地观察每个变量都有一个坐标轴，所以有几个变量就有几主轴。首先把椭球的各个主轴都找出来，再用代表大多数数据信息的最长的几个轴作为新变量，这样，降维过程也就完成了,主成分分析的基本思想(以两个变量为例),找出的这些新变量是原来变量的线性组合，叫做主成分,数学上的处理是将原始的p个变量作线性组合，作为新的变量设p个原始变量为，新的变量(即主成分)为，主成分和原始变量之间的关系表示为,主成分分析的数学模型,主成分分析的数学模型,aij为第i个主成分yi和原来的第j个变量xj之间的线性相关系数，称为载荷(loading)。比如，a11表示第1主成分和原来的第1个变量之间的相关系数，a21表示第2主成分和原来的第1个变量之间的相关系数,选择几个主成分？选择标准是什么？被选的主成分所代表的主轴的长度之和占了主轴总程度之和的大部分在统计上，主成分所代表的原始变量的信息用其方差来表示。因此，所选择的第一个主成分是所有主成分中的方差最大者，即Var(yi)最大如果第一个主成分不足以代表原来的个变量，在考虑选择第二个主成分，依次类推这些主成分互不相关，且方差递减,主成分的选择,究竟选择几个主成分才合适呢？一般要求所选主成分的方差总和占全部方差的80%以上就可以了。当然，这只是一个大体标准，具体选择几个要看实际情况如果原来的变量之间的相关程度高，降维的效果就会好一些，所选的主成分就会少一些，如果原来的变量之间本身就不怎么相关，降维的效果自然就不好不相关的变量就只能自己代表自己了,主成分的选择,对原来的p个指标进行标准化，以消除变量在水平和量纲上的影响根据标准化后的数据矩阵求出相关系数矩阵求出协方差矩阵的特征根和特征向量确定主成分，并对各主成分所包含的信息给予适当的解释,主成分分析的步骤,【例】根据我国31个省市自治区2006年的6项主要经济指标数据，进行主成分分析，找出主成分并进行适当的解释,主成分分析(实例分析),SPSS的输出结果,各变量之间的相关系数矩阵,变量之间的存在较强的相关关系，适合作主成分分析,SPSS的输出结果(选择主成分),各主成分所解释的原始变量的方差,该表是选则主成分的主要依据,“InitialEigenvalues”(初始特征根)实际上就是本例中的6个主轴的长度特征根反映了主成分对原始变量的影响程度，表示引入该主成分后可以解释原始变量的信息特征根又叫方差，某个特征根占总特征根的比例称为主成分方差贡献率设特征根为，则第i个主成分的方差贡献率为比如，第一个主成分的特征根为3.963，占总特征根的的比例(方差贡献率)为66.052%，这表示第一个主成分解释了原始6个变量66.052%的信息，可见第一个主成分对原来的6个变量解释的已经很充分了,根据什么选择主成分？,根据主成分贡献率一般来说，主成分的累计方差贡献率达到80%以上的前几个主成分，都可以选作最后的主成分比如表13.3中前两个主成分的累计方差贡献率为95.57%根据特特征根的大小一般情况下，当特征根小于1时，就不再选作主成分了，因为该主成分的解释力度还不如直接用原始变量解的释力度大比如表13.3中除前两个外，其他主成分的特征根都小于1。所以SPSS只选择了两个主成分就本例而言，两个主成分就足以说明各地区的经济发展状况了,根据什么选择主成分？,SPSS还提供了一个更为直观的图形工具来帮助选择主成分，即碎石图(ScreePlot)从碎石图可以看到6个主轴长度变化的趋势实践中，通常结合具体情况，选择碎石图中变化趋势出现拐点的前几个主成分作为原先变量的代表，该例中选择前两个主成分即可,根据什么选择主成分？(ScreePlot),拐点,怎样解释主成分？,主成分的因子载荷矩阵,表1中的每一列表示一个主成分作为原来变量线性组合的系数，也就是主成分分析模型中的系数aij比如，第一主成分所在列的系数0.670表示第1个主成分和原来的第一个变量(人均GDP)之间的线性相关系数。这个系数越大，说明主成分对该变量的代表性就越大,根据主成分分析模型和因子载荷，可以得到两个主成分与原来6个变量之间的线性组合表达式如下,怎样解释主成分？(主成分与原始变量的关系),注意：表达式中的不是原始变量，而是标准化变量,载荷图(LoadingPlot)直观显示主成分对原始6变量的解释情况图中横轴表示第一个主成分与原始变量间的相关系数；纵轴表示第二个主成分与原始变量之间的相关系数每一个变量对应的主成分载荷就对应坐标系中的一个点，比如，人均GDP变量对应的点是(0.670，0.725)第一个主成分很充分地解释了原始的6个变量(与每个原始变量都有较强的正相关关系)，第二个主成分则较好地解释了居民消费水平、人均GDP和年末总人口这3个变量(与它们的相关关系较高)，而与其他变量的关系则较弱(相关系数的点靠近坐标轴),怎样解释主成分？(LoadingPlot),相关系数的点越远离坐标轴，主成分对原始变量的代表性就越大。这3个点远离主成分2的坐标,数据包络分析,数据包络分析DataEnvelopmentAnalysis，简称DEA，是运筹学、管理科学和数理经济学交叉研究的一个新的领域。它是由A.Charnes和W.W.Cooper等人于1978年创建的。能有效解决多个输入、输出的部门之间的相对有效性评价的决策方法。,DEA的特点,DEA是使用数学规划模型评价具有多个输入多个输出的“部门”或“单位”，本质上是判断DMU是否位于生产可能集的“生产前沿面”上，对非有效的DMU，通过前沿面投影理论，给出DMU的各指标需要调整的数值量化程度，DEA还能判断各DMU的投入规模是否适当，进而指出DMU调整投入规模、产出规模的正确方向和程度：应扩大还是缩小，改变多少。,DEA方法的优点,首先，DEA特别适用于具有多输入多输出的复杂系统。不必确定这种关系的显式的函数表达式。因此，DEA方法排除了很多主观因素，具有很强的客观性。其次，DEA作为一种新的非参数统计方法，较回归分析等方法有着明显的优点，尤其是在生产函数的确定方面更为突出另外，DEA方法是纯技术的，与市场（价格）可以无关。,几个基础概念,DMU生产可能集生产函数技术有效前沿面规模效益生产率效率,示例,x,y,生产函数,0,示例,y1,x1,0,A,x,y,技术有效,示例,y1,x1,0,x,y,A,技术有效,规模有效,示例,x3,0,x,y3,y,C,技术有效,规模有效,示例,x2,0,B,x,y,y2,技术有效,规模有效,示例,x2,x2,0,B,B,x,y,y2,技术有效,规模有效,示例,x2,y1,x1,x2,x3,0,B,B,C,x,y3,y,y2,A,CCR模型,输入向量权重,输出向量权重,CCR模型,用1962年Charnes和Cooper对于分式规划的CharnesCooper变换:,DEA有效的定义:弱DEA有效:最优目标值(称为效率指数)h0=1DEA有效:若存在最优解0,0且满足00,00，h0=0y0=1利用（PC2R）来判别DMU的DEA有效性并不直接考虑（PC2R）的对偶规划问题,利用线性规划的对偶定理和紧松定理，可以得到关于DEA有效的等价定义,实际常采用的CCR形式,DEA有效:若（DC2R）的任意最优解0,0j,j=1,2,n,都满足DEA有效性的判别(计算)利用