数据分析(数量分析)方法

1、数量分析方法一.概论对事物进行研究，离不开数量分析。数量分析是深入认识事物的基本途径之一。在质与量的密切联系中，一定事物的质总是表现为一定的数量。事物的质总是以一定的量的积累为基础，因此，对事物的认识从量入手，可以更好地把握事物固有的本质特征和基本的规律性。尽管研究事物量的目的仍然是为了更好地认识事物的质，而且定量分析与定性分析任认识事物的过程中都是十分重要的，但是定性分析的目的是通过逻辑分析、相互比较和基本推理來认识事物固有的本质特征，一般通过访谈、观察和综合來实现；而定量分析是通过对数据的研究來表征事物的特征，一般除需耍根据事物本身特征，通过观察、综合外，还常常需要选择分析工具，进行定量分

2、析。因而，在某种程度上讲，认识事物的本质特征，定量分析比定性分析更具有客观性和易操作性。为了进行更科学的定量分析，作为定量分析的方法体系，数量分析方法近年來越來越受到人们的重视。数量分析方法的含义有广义和狭义之分。广义上讲，研究事物的数量特征、数量关系和数量界限需要一系列特有的和通用的方法，所有这些方法统称为数量分析方法。从狭义上讲，数量分析方法是在一定的理论指导下，遵照数学和统计学的有关原理，通过处理有关数据，建立数量模型，从而对经济现象的数量特征、数量关系和数量界限进行研究、分析和决策的一系列方法的总称。数量分析方法作为定量分析的方法体系，其产生和发展总是有其身发展规律的。事实上，数量分析

3、方法的有关具体方法均來H其相应的学科。特别是统计学、经济学、系统工程、控制论，以及运筹学和决策理论等。随着这些学科的产生和发展，数量分析方法的方法体系就越來越丰富。同时，数量分析方法也随着这些学科的发展而发展。数量分析方法的产生，最早可追溯至1617世纪早期。随着统计学的产生和发展，数量分析方法也在各个领域被广泛应用。1662年，英国学者格朗特发表关于死亡表的H然和政治观察的论文开创了统计学研究的纪元，也开创了数量分析方法研究的新Wffio随后，配第发表的政治算术也运用数量分析的方法对当时欧洲各国政治经济状况进行了分析。由丁受英国学者格朗特和配第的影响，许多人在人口、医疗、保险和经济等领域均采

4、用了数量分析方法。概率论的研究以及引入统计学，并通过贝努里、高斯、拉普拉斯、凯特勒、高斯特和费雪等人努力，使得统计学更加完善和科学化，为数量分析方法的发展提供了重要理论基础。在现代经济学领域，经济学家古诺、戈森等人首先将数量分析方法应用于经济学领域。随后，杰文斯和瓦尔拉斯等人用数量分析方法乂进一步阐明了经济学的有关重要原理，并创立了经济学的数理学派。以后，经济学家费雪等人乂在经济学领域进一步发展数量分析方法，宜到20世纪90年代，在现代经济学领域，数量分析方法已成为经济学研究的最重耍方法之一。在30多位诺贝尔经济学奖得主中，有近20位是由丁他们成功地在经济学领域大量动用了数量分析方法。随着系统

5、工程、运筹学、现代管理学、投入产出理论、模糊数学和灰色理论等一系列新兴学科在20世纪30年代的兴起，特别是计算机技术迅速成熟，数量分析方法也得到了蓬勃发展，其应用范围已渗透到社会生活的各个领域。从经济学和其他社会科学到鬥然科学领域、从经济基础到上层建筑、从城市规划到生态环境、从生物科学到军事科学都须用到数量分析方法。在当今，数量分析方法已成为各领域必然的重要分析方法。今后，数量分析方法也势必会随着现实需要的变化而不断发展。二指标在进行经济管理类对象分析过程中，往往离不开指标的选取，指标的选取是否合适，直接影响到分析的结论,指标是不是选取得越多越全面呢?太多了，事实上是重复性的指标，会有干扰；太

6、少了，可能所选的指标缺乏足够的代表性，会产生片面性.每一项指标都是从一个方面反映了分析对象的某些信息，如何正确地、科学地使用这种信息，就是分析过程中耍处理的问题.很明显，指标的选取与具体问题所涉及的专业知识有关，也与我们能考察获取的手段有关例如评价参加高考的学生，是否能录取，考试科目太多了，学生受不T.口试可以了解到学生的反映能力快慢，但实际上是无法进行的尽管如此，仍然有一些原则，一些数学方法可以帮助我们.（一）所选评价指标的一些原则选取指标要遵循的原则，通常有以下儿条，这些供我们在解决实际问题时参考.目的明确所选用的指标目的很明确从分析对象和内容看，该指标确实能反映有关的内容，反映多与少是另

7、一类问题.决不能将与分析对象和内容无关的指标也选择近來.比如耍评价一个企业的活力如何，就要选择与企业h身发展能力有关的指标，例如劳动生产率，市场占有率，产品的优势，等等所以选取指标目的明确是非常重要的.比较全面选取的指标要尽可能覆盖分析的内容,如果有所遗漏，分析就会出偏差当然,耍做到全面是不容易的，但耍努力、尽量去做比如评价科技实力时，既耍考虑科技人才、科技知识结构等重耍因素,还耍考虑科技投入、科技人员流动情况等有关的因素,这样才能比较全面.比较全面的另一种说法就是有代表性，所选的指标确能反映耍分析的内容，虽然不是全部，但代表了某一侧面.切实可行用通俗一些说法,就是可操作性某些指标虽然很合适，

8、但无法得到，就不切实可行，缺乏可操作性例如一个学生的才能，没有办法可以氏接测量，只能通过做题、面试、科研等儿个方面考察.以上儿条原则还需在实际中灵活考虑和运用.下面我们通过例子來了解指标选取的思路.例1.1我国各地区普通高等教育发展水平的综合评价近年來，我国普通高等教育得到了迅速发展，为国家培养了大批人才。但由丁各地区经济发展水平不均衡，加之高等院校原有布丿使各地区高教发展的起点不一致，因而各地区高教发展水平就存在一定的差异。对我国各地区普通高等教育发展水平进行综合评价,有利丁管理和决策部门从宏观上把握各地区普通高教发展现状,更好地指导和规划高教事业的健康发展。我们从高等教育的五个方面选取10

9、项相对指标（见图1-1）.图1-1高教发展水平评价指标体系需要说明一点，高等教育的质量是高等教育发展水平的一个重要标志，它表现在严格而高效的教学管理和高质量的教学水平，最终体现为高素质的毕业生.鉴丁高等教育质量难以量化，从可操作性考虑，这里改用教职工情况予以近似地反映.另外，这10个评价指标中的某些指标之间（比如反映高等院校学生数量的三个指标之间）可能存在较强的相关性（需耍予以筛选）.（二）定量指标筛选方法在按一些原则确定指标体系后，这些变量都是可以观察测量的.在这个基础上,就可以用统计分析中的一些方法來选出一部分，使得它们有很好的代表性，进行分析时，工作就更容易些.面对一大堆指标，可能有重复

10、反映某些内容的,都考虑会过丁偏重某一侧面.但若删去的过多或不当，就会不全面，丢失重要信息.所以这是一个矛盾，乂耍尽可能全面、乂希望指标数量不耍过多.解决这个矛盾我们常用下面儿种统计方法.条件广义方差极小-第11个样本从统计分析的眼光來看，给定P个指标禺的n组观察数据，就称为给了n个样本，相应的全部数据用矩阵X表示，即x】2xlpV第一个样本x32.X2pD时,就可以删去环例12（续1.1）我国各地区高教发展水平的十项指标值如表2-5所示，其中X”心，,加的含义见图1-1.试用极大不相关法进行筛选.由表1-1中数据可求得十个指标中的每一个与其余九个指标的相关系数如下（记&与其余九个指标的复相关系

11、数为）:=0.99786=0.99923=0.99926=0.99786=0.99923=0.99926=0.93591=0.92324=0.99946鬧=0.99952=0.94687肉=0.80920可见，指标禺与其余指标间的复相关系数最大，因而它最能被其余指标代替，故先将&剔除掉再计算余下的九个指标中的每一个与其余八个指标的复相关系表表1-1%0.99671洌3)=0.99923=0.99497p=0.94490或)=0.76681洌习=0.99647吃=0.99945芹=0.92327咼=0.90513北京5.96上海3.39天津2.35陕西1.35辽宁1.50吉林1.67黑龙江1.1

12、7湖北1.05江苏0.95广东0.69四川0.56山东0.57甘肃0.71湖南0.74浙江0.86新強1.29福建1.04山西0.85河北0.81安徽0.59云南0.66江西0.77海南0.70内蒙古0.84西藏1.69河南0.55广西0.60丫夏1.39贵州0.64青海1.483102341578188866367643940584242424753534335364333432632284823X,X.Xs461155793130810354982297132951113641501284211441203701539329611792297115942871027120561571776

13、164181576219066611946171204667326511471218636521876661886147146464013044631946751165474817165451377546130444312939622087732933746151633191611095858584443392423222624264626302320192318293317173416X,XtX,44.3626152.2035.0230520.9038.4030310.8630.4526991.2234.3028080.5433.5322150.7635.2225280.5832.89283

14、50.6631.5430080.3934.5029880.3732.6231490.5532.9532020.2828.1326570.7333.0626180.4729.9423630.2525.9320600.3729.0120990.2925.6325550.4329.8223130.3132.8324880.3328.5519740.4828.8125150.3427.3423440.2827.6520320.3212.108101.0028.4123410.3031.9321460.2422.7015000.4228.1214690.3417.8710240.38X101363112

15、665938578817733748085707265778611355769368057282647777045719710655805704562891064085792855811419957145139537754153038307368序号123456891011121314151617181920212223242526272829由此看出，我们应剔除指标X.,同理再计算余下八个指标的复相关系数，结果如下:pf?=0.99582pf=0.99292pf=0.94102=0.75579pf?=0.99582pf=0.99292pf=0.94102=0.75579=0.99839,=0

16、.92182,pj=0.90321,指标&应剔除，在余下七指标中，如果再计算下去,应剔除的将是x”但考虑到指标&（每白万人口学校数）反映着高教发展水平的五个方面之一高等学校数量，如果剔除的话，这个侧面将不能被反映，所以剔除到此为止，我们将余下的七个指标作为评价彌。从图1-1看出，剔除的与留下的禺反映同一个侧面，&与X5,X：反映同一个侧面，因而Xi,Xs,X6在一定程度上可以被其他指标代替，这与定性分析的结果也是吻合的.选取典型指标如果开始考虑的指标过多，则可以将这些指标先进行聚类，而后在每一类中选取若干个典型指标.关于聚类分析我们将在后面介绍在每一类中选取典型指标可以用上述方法1或2.这两种

17、方法的计算量都相当大,下边介绍一种用单相关系数选取典型指标的方法，该方法较为粗略,但其计算简单，在实际中可依据具体情况选用.假设反映事物同一侧面的或聚为同一类的指标有n个，分别为如8.,.比.第一步计算n个指标之间的相关系数矩阵R5ri2叮r=r21f22r2nTOC o 1-5 h zrnlrn2Inn第二步计算每一指标与其他n-1个指标的决定系数（相关系数的平方）的平均值(1-5)(1-5)22则二粗略地反映了a.与其他n-1个指标的相关程度。第三步比较二的大小，若有r)c=maxr】lin则可选取去作为ana2,比的典型指标，需要的话，还可以在余下的n-l个指标中继续选取。这里之所以耍用

18、复相关系数的平方是为了防止相关系数可能为负,因而无法直接相加求平均。如果相关系数均为正,则可肖接用相关系数。比如，例1.1中的指标x5,反映了高教发展水平的同一侧面，其相关阵为10.998590.55988R=0.9985910.550010.559880.550011J3氏接用相关系数由(1-5)式可求得-1r5=(1+0.99859+0.55988-1)=0.77924同理可得re=0.7743,r7=0.554955最大,故应选X5为X5,X6,X：的典型指标.如果再选一个，应在5Q和X：之间选取,而&和X：之间相关性为0.55001,无法再用上边的方法，但我们从相关阵可以看出Xs和X5

19、的相关性(0.99859)要大于X7与x5的相关性(0.55988),己经选取了x5,它己将Xfc基本代替，因而应选x7.即如果从X5,X7中选两个指标，应选X5和X7.三、量纲在分析过程中如选取了人口、而积、某消费量和产值等指标这些指标显然是异量纲的，而且数值差异也可能会较大，H接将它们加权平均是不合适的，也没有实际意义这就需要把指标值转化为无量纲的相对数，同时数值大小规范在0,11内.这种去掉指标量纲的过程，我们称为数据的无量纲化（也称为数据的规格化），它是指标综合分析的前提。如果我们把指标无量纲化以后的数值称为指标评价值，那么无量纲化过程就是指标实际值转化为指标评价值的过程，无量纲化方法

20、也就是指如何实现这种转化从数学角度讲就是耍确定指标评价值依赖丁指标实际值的一种函数关系式我们把无量纲化方法从儿何的角度归为三类：氏线型无量纲化方法、折线型无量纲化方法、曲线型无量纲化方法.（一）直线型无量纲化方法常用的氏线型无量纲化方法有以下儿种：阈值法阈值法也称临界值法，是衡量事物发展变化的一些特殊指标值，比如极大值、极小值、满意値、不允许值等阈值法是用指标实际值与阈值相比以得到指标评价值的无量纲化方法，主要公式及特点等如表1-2所示，其中n为参评单位的个数。在多数情况下，指标值均大于0,故以上按所有念0处理，事实上若有部分兀0,公式仍然适用.最后两个公式实质是一样的，只不过评价值的范围有所

21、变化我们可以用同样的方法将前儿个公式的评价值范围变到我们希望的范围内.公式2和公式3适合丁处理指标体系中的逆指标，比如经济效益评价中的成本类指标，社会效益评价中的资源耗费类指标等。当然我们也可以事先将其转化为正指标，然后再与其他指标一起无量纲化在弄清这些公式的特点之后，我们就可以灵活选用或构造新的公式。需要提及的是，如果我们所选取的评价指标都是正指标（或都是逆指标），则在一次综合评价中对所有指标应采取同一种无量纲化公式。如果在评价中既有正指标，乂有逆指标，且不作逆指标转化处理的话,则应对正/逆指标分别采用两种相互对应的无量纲化公式。所谓相互对应的公式是指两种公式得到的评价范围应是一致的，这样才

22、可以进行综合.表1-2中式1和式2,式3和式4都是相互对应的.将式3稍作变形可得式5对应的公式.表1-2几种阈值法参照表公式指标因指标范围儿何图形特点素maxlinmaxxlin评价值随指标值增大，若指标值均为正，则评价值不可能为零,指标最人值的评价值为1.,maxmax兀+mill%+兀乂max评价值随指标值人而小,适丁逆指标进行无纲处理，即无鼠纲化和指标转化同时进行.公式指标因指标范围儿何图形特点素maxlinmaxxlin评价值随指标值增大，若指标值均为正，则评价值不可能为零,指标最人值的评价值为1.,maxmax兀+mill%+兀乂max评价值随指标值人而小,适丁逆指标进行无纲处理，即

23、无鼠纲化和指标转化同时进行.一niiiiYi=max_millmaxniiii0,1同上同上0,1评价值随指标值增人而增人，指标最小值的评价值为零，指标最人值的评价值为1.随指标值人x一millx.Yx=:一x一millx.Yx=:一k+qmax_nini兀maxmill土q,k+q而大指标最小值的评价值为Q,指标最人值的评价值为k+q.另外实际中也有将指标实际值除以该指标的第一个样本值或均值，分别称为初值化和均值化，实质也是一种阈值法.标准化方法统计学理论告诉我们，耍对多组不同量纲的数据进行比较，可以先将它们分别标准化，转化成无量纲的标准化数据.如综合评价分析就是耍将多组不同的数据进行综合，

24、因而可以借助丁标准化方法來消除数据量纲的影响标准化公式为TOC o 1-5 h zy严口(1-6)S上式中一1nx=-每(1-7)T占工b)(1_8)指标实际值与评价值的关系如图1-2所示.实际值图实际值图1-2可以看出，无论实际值如何,指标的评价值总是分布在零的两侧指标实际值比平均值大的，其平均值为正，反之为负，实际值距平均值越远则其评价值距零越远.这种方法与阈值法最大的不同在丁:第一，它利用了原始数据的所有信息;第二,它要求样本数据较多;第三,它的评价值结果超出0,1区间，有正有负.为了更符合习惯，我们可以将其转化为百分数形式，比如用公式(见图1-3)：图1-3图1-3yxyx=60+-X

25、100(1-9)10s(1-9)=60+xlO均值转化为60,超过均値的转化为60以上,反之在60以下.这种百分数还不同于一般的百分数，因为个别极端数值的转化値可能超出0,100区间.另外，也有的将均值转化为50.在用多元统计方法中，大多是用标准方法进行数据无量纲的.例1.3某次考试中有关的统计结果及甲/乙两考生的成绩如表1-3所示.科目原始分数全体考生无量纲化结果甲乙均值标准差S甲乙数学788280857.562.5物理454142467.557.5化学727474656.760这里就涉及一个对甲/乙两考生理科学习水平的综合评价问题，评价指标为三科目的考试成绩我们可以利用公式(1-9)对甲/

26、乙两名考生的成绩进行无量纲化，以甲生数学成绩为例y甲数=60+78-80y甲数=60+78-80X10010 x8=57.5计算结果见表1-3最右边一栏.还有两个问题说明一下，第一个问题是:有必要对考试分数进行无量纲化吗?通常的看法是考试成绩是一种分数，本身没有单位，而且都是百分制,因此不必要无量纲化，氏接相加求总分即可。事实上，这种看法是有误解的.由丁不同科目试题的难易程度/分量不一定相同，其分数的含金量并不相同，因而不能胃接相加本例中物理较难，因而分数普遍偏低，数学则相反,因耳物理中的1分就比数学中的1分具有更高的“含金量无量纲以后，个科分数都是以60分为中心而分布，具有了可比性，因而可以

27、相加.例中甲/乙两考生的原始总分分别195和197,乙比甲高两分.无量纲以后甲/乙两考生的分数分别为188.3和180.甲比乙高.很显然，后一个结果才是客观合理的.虽然乙在数学和化学上共比甲高出6分，而甲在物理上仅比乙高出4分，但这4分的含金量耍比那6分的含金量“高.近年來，我国的高考实行用标准分录取就是源丁这个思想后面我们将对高考标准分再进行讨论。第二个问题是，本例实际上是应该对所有考生进行综合评价，因而均値和标准差是由全体考生计算出来。我们这里为了计算方便，便丁说明想法,仅对其中的陶名考生进行了计算.比重法比重法是将指标实际値转化为它在指标值总和中所占的比重，重要公式有：(1-10)或乂=

28、(1-10)或乂=兀(1-11)公式(1-10)适合指标值均为正数的情况，且评价值之和满足（1-12）1=1公式（1-11）适合丁指标值有负值的情况,一般情况下，指标评价值不满足（1-12）式而是满足考尔在综合国力评价中就是利用比重法消除量纲影响的.1=1以上介绍了三种常用的H线型无量纲化方法,这些方法的最大特点是简单/直观宜线型无量纲化方法实质是假定指标评价值与实际值成线性关系,评价值随实际值等比例变化，也就是说指标值在不同区间内变化对被评事物的综合水平影响是一样的（如图1-4所示），即在事物发展的前期和后期指标值相同的变化量引起评价值的变化量是图1-4不同的而这一点与事物发展变化的实际情况

29、往往并不符合，这也是氏线型无量纲化方法的最大缺陷.比如我们耍评价一个学生,学习成绩是一个指标，如果我们将学习成绩用H线型无量纲化方法转化为评价值，再与其他指标综合，这就意味着学习成绩从40分增加到50分和90分增加到100分对评价起的作用是相同的（二者导致评价值的增加量是相同的），这显然与实际情况不符.实际中后者耍比前者难得多，需要比前者付出更多的努力，因此，从这个角度讲，应该给后者以较多的评价值增加量为了解决这个问题很H然我们就会想到用折线或曲线來代替片线，这就是我们下面要介绍的折线型和曲线型无量纲化方法.（二）折线型无量纲化方法折线型无量纲化方法适合丁事物发展呈现阶段性，指标在不同阶段变化

30、对事物总体水平影响是不相同的构造折线型无量纲化方法与冇线型不同之处在丁必须找出事物发展的转折点的指标值并确定其评价值.常用的有下面三种类型.曲线型无量纲化方法有些事物发展阶段性的分界点不很明显，而前中后各期发展情况乂截然不同，也就是说指标值变化对事物总体水平的影响是逐渐变化的，而非突变的在这种情况下，曲线型无量纲化公式更为合适常用的曲线型无量纲话公式如表1-4所示.例1.4无量纲化在高考录取工作中的应用高考就是对考生进行综合评价,各科目成绩即为评价指标，综合评价的结果就是录取的依据.以往的作法就是氏接将各科目原始成绩相加,总分就是综合评价值，然后依据各考生的总分从高到低录取从例1.3中我们已经

31、可以看出这样的作法是不合理的这里的核心问题是：各科目的分数不是同质的，不具有可比性，因而不能氏接相加必须首先对不同科目的分数进行无量纲化，即转化为标准分数，然后才能相加.化为标准分数有儿种不同的方式，比如线性标准分数/正态化标准分数/中位数标准分数等.由公式(1-9)得到的标准分数就是线性标准分数，用公式(1-9)进行无量纲化的前提是不同科目的分数要呈现正态分布，否则，不同科目分数经公式(1-9)转化后还不具有可比性.例如，如果一个科目分数呈现正态分布，另一科目分数呈偏态分布，那么相同的线性标准分数可能对应不同的白分等级,以做到准确的比较通常，各科目考试成绩在考生人数较多时，从理论上讲应该呈现正态分布，但是实际考试中，由丁题目难度不同及评分误差等随机因素影响，很难使考试分数的实际分布与正态分布完全一致.因此，实践中并不采用公式(1-9)进行无量纲化，而是将各科目原始分数分别进行正态化变换，以使得源丁不同分布的分数可以比较,然后再相加.正态化变换是一种非线性变换，不论原始分数的分布呈何种形态，通过这种变换,可以使变换后的分数呈现标准正态分布，因而变换后的分数称