（管理科学与工程专业论文）基于internet的评价指标体系修正方法及其软件系统研究.pdf

摘要综合评价问题己成为现代社会生产生活中不可或缺的一个重要组成部分，客观合理的综合评价结果是决策的重要参考指南。而指标体系的构建是整个综合评价的基硎 性问题。但由于指标体系的构建过程涉及人类对事物主观、客观的认识过程，因此其构建过程中存在诸如指标参数代表性、全面性平衡等众多困难。本文针对综合评价中的指标体系构建指标选择的难题，融合多种指标体系构建方法，提出基于i n t e r n e t 的指标体系修正方法，重点解决主观性修正方法中存在的问题。该方法借助i n t e r n e t 上数据采集的优势，提高了综合评价过程的透明性、可操作性，合理高效的构建指标体系，为提高评价结果可靠性提供基础。本文完成的主要工作包括：【分析指标体系构建的般过程，重点指出了评价过程中指标体系修正几个关键环节，并将各环节中的方法进行了简单的概述。2 借助于i n t e r n e t 在数据采集等多方面的优势，提出应用网络技术实现综合评价指标体系的构建方法，集中解决修正过程中主观性方法存在的问题，同时实现中融合了原有的些基本方法。3 根据i n t e r n e t 指标体系的构建方法，本文搭建了基于b s 模式的网络平台。研究了指标体系的修正及评价的软件系统，实现了修正方法的流程。尽管本文中没有利综合评价方法进行深入研究，但是网络平台h 提供了综合评价方法集成的手段。4 以软件行业的企、l k 信息化能力评价为例，具体实现了综合评价指标体系的构建过程。关键词：综合评价；指标体系；修正方法：企业信息化能力a b s t r a c tt h ec o m p r e h e n s i v ee v a l u a t i o n ( c e ) i sc h a n g i n gi n t oo n ei m p o r t a n tp a r ti nt h el i f e 7 f h el e g i t i m a t er e s u l to ft h ec eg i v e sr e f e r e n c et ot h ed e c i s i o n t h ei n d e xs y s t e mi st h eb a s i so ft h ec e i t sr e s e a r c hi ss od i f f i c u l tb e c a u s ei ti sb a s e do nt h ek n o w l e d g eo fp e o p l e h o wt ob a l a n c et h er e p r e s e n t a t i v ea n de n t i r e l yo ft h ei n d i c e si so n ed i f f i c u l t yo f t h ec ef a c i n gt h ed i f f i c u l t i e so fm a k i n gt h ei n d e xs y s t e m ，t h ep a p e rp r o p o s e so n em e t h o df o rm o d i f y i n gt h ei n d e xs y s t e mw i t ht h ew e bt e c h n o l o g ya n db u i l d su po n es o f t w a r es y s t e mt op r a c t i c et h ei n d e xs y s t e mc a r lb eo b t a i n e dw i t ht h ei n t e r a c t i v et a l kb e t w e e nt h eu s e r sa n dt h es y s t e m ，s ot h ep r o c e s si sm o r ec l e a r , e f f e c t i v ea n da c c u r a t e a i io ft h e s el a yt h ef o u n d a t i o nf o rr e l i a b l er e s u l t so f t h ec e t h e1 t l a j o rc o n t e n to f t h ep a p e ra sf o l l o w s ：i t h ep a p e ra n a l y z e st h ef u n d a m e n t a lp r o c e s so fm a k i n gt h ei n d e xs y s t e mt h ee m p h a s e so ft h ea n a l y s i sa r et h es t e p sf o rm o d i f y i n gt h ei n d e xs y s t e mi nt h ee v a l u a t i o np r o c e s sa n dt h ei m p o r t a n ts t e p sa st h ek e yl i n k sa r ef o u n do u t m e t h o d sf o rm o d i f y i n ga r ea l s oc o m p a r e dw i t he a c ho t h e r 2 w i t ht h ea d v a n t a g e so ft h ew e bs e r v i c e t h ep a p e rs u g g e s t so n em e t h o dt om a k et h el n d e xs y s t e mb a s e d0 ni n t e r n e ta n dm e r g e ss o m eo r i g i n a lm e t h o di nt h em e t h o d 3 a c c o r d i n gt ot h em e t h o d ，o n ep l a t f o r mi sb u i l tu pa n dn i l es o f t w a r es y s t e mi sd e s i g n e dt om o d i f yt h ei n d e xs y s t e mt h ep l a t f o r ma l s op r o v i d e so n ei n t e r f a c et ot h ee v a l u a t i o nm e t h o do ft h ec e ，t h o u g ht h ep a p e rp a y sl i t t l ea t t e n t i o nt ot h e m 4 a tl a s t ，t h ep r o b l e mo fe v a l u a t i n gt h ee n t e r p r i s ei n f o r m a t i z a t i o ni st a k e na st h ee x a m p l et or e a l i z et h ep r o c e s so fm a k i n ga n dm o d i f y i n gt h ei n d e xs y s t e mk e y w o r d s ：c o m pr e h e n s iv ee v a l u a t i o n ( c e ) ：in d e xs y s t e m ；m o d i f y i n gm e t h o dt h ec a p a b iii t yo fl h ee n t e r p r i s el n f o r m a t iz a t ；0 1 3i i幕于i n te r n e t 的评价指标体系修正方法及j 七软件系统研究一1 引言1 1 问题的提出判断一个事物的好坏是现代社会生活中的重要组成部分，超市购物时要判断食品质量好坏、价格高低、口感；高考报名时会比较院校知名度、教学质量、师资素质、招生规模、科研成果等；对一个企业耍评定绩效的高低、市场占有率大小、发展潜力的大小、人员管理等。对于国家宏观方面也会遇到经济发展水平快慢等的判断问题。因此判断一个问题的性质即评价问题，是普遍而又不可或缺的。通过对食品质量、价格、口感等多个方面的判断比较后得出最终的哪个品牌好的判断；通过列院校知名度、教学、师资、招生、科研等多方面的综合比较后得出了院校水平的认识；通过对企业绩效、市场占有率、发展潜力、人员管理等方面的评分，最终形成对企业竞争力的判断。由此可见由一些简单问题判断可以综合得到一个复杂问题的判断。这种综合判断又是最终决策的一个指导，判断了食品品牌好坏将直接影响购物趋势，院校声誉水平的判断决定了最终报名方向，企业竞争力的判断可能最终影响银行投资、政府扶持等决策。由此综合评价问题对一个决策问题具有熏要的导向意义。综合评价问题是f 确决策的前提条件，而正确的决策也源于科学的综合评价。因此综合评价问题在实际生活中具有重要的现实意义和价值，而这种对评价对象所进行的客观、公正、合理的全面评价在现代社会占有重要的地位，其在经济管理、工程及决策等众多领域中得到广泛应用并产生巨大的使用价值。鉴于上述综合评价应用的重要价值，其理论和方法一直是人们关注的焦点。国内外很多著名的学者都在综合评价理论的研究、方法的应用和改进等多方面进行着深入的探讨。但是综合评价问题不仅仅是单一学科可以解决的问题，其涉及评价问题自身领域方面的专业知识，同时也包含很多统计、数学分析、系统分析等方法，因此综合评价问题本身就是一个多学科复杂交叉的边缘性科学。而综合评价在实际运用过程中，由于评价中某方面知识的或缺，从而造成运用中存在很多不合理、甚至是“表面上看似科学，而实际上是不科学甚至是伪科学”的方法，出现了决策失误而又“不识庐山真面目”的情况出现。基卜i n t e m e t 的评价指标体系修正方法及其软件系统研究其巾：= j 三要的表现在于：各个学科独立为政，缺乏对评价问题的综合分析和系统研究【2 】，没有考察具体评价方法和问题本身属性的匹配程度，从而造成评价方法的实际应用中不合理。这种不恰当的应用造成了评价中的顾此失彼，在综合评价理论方法与实际运用之间产生空白。其次就是综合评价方法虽然丰富，但缺乏系统的总结。由于研究出发点与基础不同，研究术语、观点、偏好也不尽相同，使得综合评价方法的研究一直处于分散、杂乱之中，对于方法技术本身没有形成统一的学科思想与结构pj 。在实际评价中存在的涉及最多的问题就是评价指标体系的构建问题。其中主要包含三个方面的问题。首先是指标体系构建中的主观性【4 】【5 【6 ，指标体系基本上都是基于评价者对评价问题的认识而产生，尽管主观性从一个方面来看是对评价者经验的应用，而不可避免的是评价者主观性认识上的局限性和随意性；另外指标体系构建过程本身的透明性、操作性都没有很好的体现。目前综合评价问题都是仅仅给出评价的指标体系结构，在整个评价过程没有给出其具体操作过程，影响了评价过程可信度；最后就是关于指标体系构建中，随着认识深入需要对指标体系进行修正。而这种修正过程在很多应用中没有得到重视。合理优化的指标体系是进行综合评价的重要基础，因此有必要指出指标体系构建中存在的困难，对构建理论研究现状进行综述，比较构建方法应用中存在的问题，从而为指标体系的科学构建提供参考；而在具体实践中为指标体系的构建方法提出一一种具有透明性、操作性强的方法，为综合评价的具体应用奠定基础。凶此本文将对指标体系的构建过程，主观性修正方法中指标选择问题进行研究，进而对实践中指标体系构建的具体操作方法进行探讨。1 2 综合评价的基本理论和方法对目前综合评价中的概念、基本过程和方法进行综述，为综合评价指标体系构建研究提供理论基础。1 2 1 综合评价基本理论在同常生活中，人们常常要参照一定的标准对某一个或某一些特定事物、行为、认识、态度进行各种各样的评价，评价其价值高低或优劣状态，并通过基于【n l , e r 咖t 的评价指标体系修正方法及其软件系统研究评价达到对事物的认识，进而指导一定的决策行为【7 j 。一般将事物、行为、认识、态度统称为“评价刘象”。评价f 8 l 是真切认知被评对象的前提下，运用特定标准评判被评对象、以衡量对象为目的的目的型认识。前文巾提到了评价中的简单问题和复杂问题是评价中的两个重要方面单项评价和综合评价。综合评价是相对于单项评价而言的。它们之间的区别不在于评价对象的多少，而在于评价标准的复杂性，一般而占，如评价标准比较单一、明确，则可称为“单项评价”。反之，若评价标准比较复杂、抽象，就属于“综合评价”。例如，对企业计算机网络联网率进行比较分析就属于单项评价，而对于企业信息化建设水平进行全丽评判，则属于综合评价。当然这里的所谓“复杂性”最直观的表现就是评价指标数日上的多与少，单项评价实质上就是单指标评价，而综合评价则表现为多指标评价，因此也称为“多指标综合评价”。而实际中综合评价与单项评价之间的区分界限是模糊的、相对的，综合评价的最终途径电常常是单个指标评价。综合评价是一个复杂的物理过程，本节借鉴郭亚军的综合评价逻辑框图1j和苏为华博士的了评价过程的物理图 3 】，概括了评价过程主要包括以下几个过程：1 确定评价目的。即确定综合评价中主要用意是什么，要完成什么样的任务；是对多个评价对象的排序即横向比较，还是对单个评价对象纵向发展的比较：对评价结果有何具体要求。2确定被评价的对象。即评价中涉及的对象属性、特征等方面，对于某些评价问题可能还包含评价划象所在的环境等外部因素。这些都影响评价中指标体系的建立。3评价指标体系的构建。对评价目的进行细分，考察评价对象的属性，从而确定初步的指标体系，进行指标体系的单体和整体检验，最后进行指标体系的优化，定性定量的数量化处理等。4 选择评价方法和模型。具体包括评价方法的选择，评价指标参数的权重构造，评价指标体系的标准值和评价规则的确定等。5 实施综合评价。指标体系数据的搜集，数据估算，评价模型的参数求解。6 对评价结果进行评估与检验，以判别所选评价模型、相关标准、权重及设置指标体系的合理与否，如不符合要求，则需要进行些修改，甚至回到前述的某一环节。基于i n t e r n e t 的评价指标体系修正方法及其软件系统研究7 评价结果的分析与报告。具体还包括评价结果的书面分析，撰写评价报告，提供与发表评价结果，资料的储备与后续的开发利用。最后给出的评价过程的流程图如下图1 1 所示：例11 综合评价过程流程图f 培1 1t h ef l o w c h a r to ft h ec o m p r e h e n s i v ee v a l u a t i o n sp r o c e s s由图中可以看出，综合评价过程是一个循环往复的过程，每一步骤得到的结果如果存在着不合理的部分，都可以导致评价过程返回到前面的某个阶段修l 朗重新进行。而流程中的各个部分的划分没有确切的界限，很多时候都会多个步骤同时进行。综合评价作为一门复杂学科，其评价理论与方法主要包含了如下五方面的研究内容：综合评价的研究意义、作用、地位、过程、特点、评价方法分类等基础理论。综合评价指标体系理论与方法：主要研究综合评价指标体系构建原则、构建方法、测验方法等理论；也包括评价体系中单项指标设计方法、定性变量的数蕈化技术等的研究。综合评价权重计算方法：主要研究综合评价指标值合成过程中的加权问题，包括权重对综合评价结论的影响、权重的构造方法、测算方法。针对不同类型基十i n t e ir l e $ 的评价指标体系修正方法及其软件系统研究的合成值表现形式，讨论特殊的权重方法与权重形式。综合评价方法，目前国内外主要的分类包括【9 】：专家评价法、经济分析法、运筹学和其他数学方法等。综合评价技术中的特殊问题研究，综合评价技术公理体系研究、评价中的逆序问题研究、心理因素对评价结果的影响、评价方法差异性分析方法的研究、多种评价方法的结合问题研究等。l 2 2 综合评价方法鉴于上述综合评价基本理论综述，可以看出综合评价中主要的方法包括：综合评价指标体系构建方法和综合评价方法的研究。综合评价指标体系构建方法主要体现在定性和定量两个方面的研究。其中定性选择指标方法主要是应用专家调研法、目标层次法和文献归类法。专家调研法是借助专家调研的方法最终咨询生成评价指标体系的方法。而目标层次法是在建立评价对象的目标层次，生成的目标层次下指标参数的方法。文献归类法则是借鉴已有的相关评价指标体系，根据评价目的构建自身的指标体系。而在综合评价指标体系构建方法定量选择指标方法包括以下几种典型研究成果：张尧庭教授等提出用数理统计方法选取评价指标”o 】【“】，包括逐步判别分析、系统聚类与动态聚类、极小广义方差法、主成分法、极大不相关法等方法，并对它们的特点进行了分析；邱东教授提到用“条件广义方差丰及小原则”来选择评价指标体系，还提出一种根据指标相关性选择“典型指标”的方法，并详细分析了用主成分法进行指标筛选与排序中存在的问题【2 】。王庆石教授探讨了“统计指标间信息重迭的消减方法”，具体包括复相关系数法、多元回归法、逐步回归法、主成分法、因子分析法【1 2 】。王铮提出采用综合回归法【13 j ( 又称“综合趋优法”) 建立评价指标体系，并详细说明方法的三个基本部分：初始指标体系的建立、指标集的过虑、指标集的净化。该方法是一种定性和定量相结合的方法。苏为华从统计指标一般理论角度讨论统计指标体系的构造基本原理，提出了单体测验与整体测验的理论 列，并应用于综合评价指标体系的构造中。本文侧重于指标体系的构建问题研究，因此仅对应用广泛的部分综合评价方摹于i n te ln e t 的评价指标体系修正方法发其软件系统研究法进行简要介绍。专家评价法这是一种以专家的主观判断为基础，通常以“分数”、“指数”、“序数”、“评语”等作为评价的标准；对评价对象作出总的评价的方法。常用的方法有：评分法、分等方法、加权评分法及优序法等。这类方法由于比较简单，凶而也得到了广泛的应用。经济分析法是一种以事先议定好的某个综合经济指标来评价不同对象的综合评价方法，常用的有：直接给出综合经济指标的计算公式或模型的方法9 1 、费用效益分析( c o s t b e n e f i ta n a l y s is ) 法等。该方法多用于经济部门的评价与比较。层次分析法( a n a l y t i ch i e r a r c h yp r o c e s s ，a h p ) 是7 0 年代由著名运筹学家t l s a a t y 提出的，它的基本原理是根据具有递阶结构的目标、子目标( 准则) 、约束条件等来评价方案，通过两两比较的方法确定判断矩阵，然后把判断矩阵的最大特征根相应的特征向量的分量作为相应的系数，最后综合出各方案各自的权重( 优先程度) 。该方法作为一种定性和定量相结合的工具。多目标决策( m u l t io b j e c t i v ed e c s i o nm a kjn g ，m o d m ) 方法本身有很多种方法，但大体上有以下几种 9 】：化多为少法、即将多目标化成一个综合目标来评价，最常用的有加权和方法、加权平方和方法、乘除法和目标规划法等：分层序列法即将所有目标按重要性次序排列，重要的先考虑：重排次序法等。m o d m 方法在理论实际中与人一r 智能，知识工程，专家系统和决策支持系统相结合，得到飞速发展，并在社会、经济和工程等领域得到了广泛的应用。模糊综合评价( f u z z yc o m p r e h e n siv ee v a l u a t i o n ，f c e ) 方法是一种用于涉及模糊因素的评价对象的综合评价方法。方法中主要应用模糊数学隶属度的概念，建立评价指标对评价对象某属性的隶属度矩阵后，与指标组成权系数向量进行矩阵的模糊符合运算得到f c e 的结果集。f c e 方法由于可以较好地解决综合评价中的模糊性，因而该方法在许多领域得到极为广泛的应用 1 7 。数理统计方法主要是应用统计学的主成分分析( p r i n c i p a lc o m d o n e n ta n a l y s js ) 、因子分析( f a c t o ra n a l y s i s ) 和聚类分析( c l u s t e ra b a l y s i s ) 等方法对一些对象进行分类和评价等，该类方法在环境质量、经济效益的综合评价以及工业主体结构的选择等方面得到了应用 9 l 【19 1 。利用人工神经网络综合评价方法。这类方法通过神经网络对已有的多人多同标评价案例的学习，可借助于神经网络记忆体现评价结论与评价指标之间的关系，从而替代评价群体进行评价，摆脱综合评价过程中的随机性和评价专家基于i n t e r n e t 的评价指标体系修正方法及熊软件系统研究的主观上的不确定性及认识上的模糊性。人工神经网络的评价方法已经应用于科技项目评估 2 0 1 、城市发展水平【2 1 1 等众多方面。1 2 3 综合评价方法研究趋势综合评价在生产生活中广泛应用引发了综合评价系统理论、方法及其应用范围等多方面的研究热潮。目前主要的研究趋势包括以下几个方面：对现有综合评价方法的改进和发展。( 1 ) 主要体现在对原有方法引进新的数学方法，t a l l m a e d a l 2 2 1 【2 3 】、z a e l d u k a i r l 2 4 1 、hjz i m m e r m a n n l 2 5 】j 辱模糊集理论引入m o d m 中构成模糊决策( f u z z yd e c i s i o nm a k i n g ) 方法，用于不良定义的决策问题( i 1 1 一d e f i n e dd e c i s i o nm a k i n gp r o b l e m s ) 的求解。( 2 ) 其次就是对综合评价方法中引入新的概念进而扩展评价方法的内涵，如王浣尘先生【2 6 在m o d m 中引进了可能度和满意度的概念进行定量描述，并给出合成某个相关属性的可能度、满意度的方法和算式，使得“需要”和“可能”这一对概念得以进行定量的描述和运算，从而使问题的研究更便于反映实际情况。尝试将综合评价方法的综合运用。( 1 ) 主要包括对评价方法本身的融合。m j jw a z g 7 】提出一种将a h p 同模糊集综合运用的评价方法：梁梁等 2 7 1 提出将主成分法f h a h p 方法综合运用的决策方法。( 2 ) 将各种综合评价方法评价结果进行综合分析。如傅荣林1 2 w 等人提出的兼容多个综合评价方案及其分类的数学模型。从而给出多种综合评价方法排序的最大相关并给定样品排序分类时最小差异的新评价模型，并在综合评价广州市工业企业5 0 强中应用。尝试新的评价方法。王黔英【2 9 j 提出了基于r o u g h 集的指标体系的指标属性简化方法，以科学地形成综合评价指标体系。唐颖莉等【3o 】人提出了基于熵不确定概念的机器人静态精度理论的基础上，应用信息论建立指标体系的新方法。尝试将综合评价方法同先进技术方法结合起来，构成集成式智能化评价支持系统。王宗军l j ”介绍了在i b m p c 微机上建立的具有通用性、交互性、操作性、智能性、集成性和开放性特点的集成式智能化评价支持系统开发环境，应用这开发环境便可快速、高质量、低成本地生成具体的综合评价支持系统。赵竟成2 j 为农业高效用水问题，建立一个支持系统实现整个综合评价过程。暴于i n t e f n e t 的评价指标体系修正方法及其软件系统研究1 3 本文研究的主要工作及意义综合评价的前提就是确定科学的评价指标体系。因此本文研究的重点内容就是指标体系的构建问题。现代信息技术的变革，为综合评价提供了一个高效的信息交流平台，在新的研究方法中也常常借助于这些新技术。但是从前文中关于先进技术与综合评价相结合的概述中可以看出，先进技术主要应用于综合评价实施过程，而对于指标体系通常都给出构建结果，对整个指标体系的构建没有具体的实施过程。因此现代的i n t e r n e t 网络技术作为本文指标体系构建的主要手段，应用软件系统实现指标体系可视化、可操作性的构建过程，同时也为进一步的综合评价方法应用提供基于综合集成的方法。本文的主要研究工作包括：首先基于指标体系构建的系统分析，给出评价过程中指标体系修正的关键环节，对目前指标体系构方法实际应用中存在的问题进行分析：进而提出了一个通用的指标体系构建方法，其中包括评价对象特征的系统分析，指标选择和指标体系构建方法，初始指标体系的扩充方法，指标体系的修正方法。基于上述理论研究，本文搭建了基于i n t e r n e t 的指标体系构建、修j _ f 及评价的综合服务平台，设计实现了指标体系扩充和修正的软件系统；并对系统中的指标体系数据存储方式、表结构关系、关键步骤的判断条件等都进行了详细的探讨；进一步对综合评价方法的集成手段进行了简单的论述。最后将基于i n t e r n e t 的指标体系修正系统应用于企业信息化能力评价问题，实现其指标体系的修正评价流程，以期得到优化的软件企业信息化能力评价指标体系。评价指标体系是综合评价的基础，因此要反映正确导向。尽管指标体系构建住整个综合评价处于基础的位置，而指标体系的修正更是指标体系恰当合理的前提，但是实际研究中研究成果并不太多。下面通过对学术研究中评价问题中应用指标体系的研究成果进行统计，体现指标体系构建问题的研究进展。本文选择了中文期刊全文数据库作为样本集，目前可以检索的范围为1 9 9 4年一2 0 0 3 年1 0 年的期刊文献。在数据库中以关键词“评价”检索后，以关键词“指标体系”二次检索到应用指标体系科研成果为4 4 2 4 篇。选择1 9 9 9 - - 2 0 0 3为年限可以检索到3 1 8 2 篇。可以看出1 9 9 9 2 0 0 3 五年中包含了大部分关于指标体系的文献，同时考虑时代进步、技术发展等原因，因此以1 9 9 9 - - 2 0 0 3 五年中关f 指标体系的文献为样本。基十i n t e r n e t 的评价指标体系修正方法及其软件系统研究文献统计结果如下：评价应用过程中直接引用现成指标体系的文献3 8 1 ( 1 2 )以指标体系的构建和评价方法为研究内容的文献1 5 0 5 ( 4 7 )以指标体系构建研究为重要内容的文献1 1 4 8 ( 3 6 )令构建指标体系，但无修正的文献7 4 0 ( 2 3 )夺含有修f 指标体系的文献2 2 4 ( 7 )夺仅给出构建思想的文献1 8 4 ( 6 )研究指标体系的应用意义的文献3 3 ( 1 )其他( 检索错误、下载错误及其他新闻类文章) 1 1 5 ( 4 )由上述的数据应用e x c e l 工具制作统计结果饼图如下图2 3 所示：文献基本分类图图l2 文献统计分类图f i g i ，2t h ec l a s s i f i c a t i o nt a b l eo f t h ep a p e r s在应用指标体系法进行综合评价的研究成果中，直接引用指标体系或者简币说明建立指标体系后就应用的仍然占有绝大多数比例，5 9 。但是也可以看出关于指标体系构建的文章占3 6 ，集中体现了指标体系作为综合评价的基础作用；在郭宗军的综合评价1 5 个关键问题中就有6 个涉及到评价指标的问剐1 1 ，这些都体现了指标体系作为指标体系法应用于综合评价中的重要地位。指标体系法主要是选择最主要的、关键的和有带动性的指标，同时将反映评价对象属性的多个指标的信息综合起来，得到一个综台指标，由此来反映被评价对象的整体情况p 。而这个选挥指标、综合指标的过程就是指标体系的构建过程，科学合理的指标体系构建过程有利于了解评价对象在同类对象中的横向上水平的高低，也可以对评价对象本身纵向发展上给予参考指导，有利于在宏观面上的草干i n t e r n e t 的评价指标体系修正方法及其软件系统研究把握。而其中多数构建方法的重点都是基于专业背景和自身认识主观指标参数确定结构关系，指标体系的修正问题在实际应用中存在的比例很小，仅占7 。其主要原因是基于人类认识问题评价的主观性度量困难，同时对评价对象指标参数的样本数据获取复杂困难，从而导致了指标体系的修正过程操作性差。因此本文中对指标体系构建的过程进行系统全面的分析研究，重点研究指标体系的修_ f 方法问题，将对整个综合评价过程起到基础实践的指导作用。同刚应用现代先进技术于指标体系的构建过程中，给出了一个具体可行的，透明化，操作性强的实现方法。有助于解决指标体系构建过程中的主观随意性问题，为指标体系可靠性、指标参数数据的有效性提高提供基础。挚于i n t e r n e t 的评价指标体系修正方法及其软件系统研究2 评价指标体系建立方法分析现代社会经济中的决策评价问题，诸如生态环境、可持续发展、城市规划方案的优选、企业绩效等评价系统，涉及到政治、经济、技术、生态环境、文化等诸多方面的因素。而这些决策问题因涉及的因素众多，很难简单的通过评价对象的比较研究获得。评价结果作为正确决策的基础，因此在现实生活中对评价问题有着巨大需求量。这些评价问题通常是设计一套指标体系，全面具体的考察评价对象各方面的凶素参数，从而最终建立对其全面整体性认识。借助于指标体系，通过专家测评、或其他综合评价方法，获得对评价对象的评价结果。因此构建综合评价的指标体系成为目前综合评价、决策评价中的基础性、关键性问题。2 1 指标体系的构建过程系统分析一般而言，评价就是按照确定的目标，在对评价对象进行系统分析的基础上，测定被评对象的有关属性并将其转化为主观效用的过程，即明确价值的过程1 3 4 】。因此在评价过程中通常都是应用了系统分析和系统还原的思想，即首先基于评价对象的认识对其进行分解，得到评价对象的各部分的组成要素，进而分析要素间的关系以及其对评价对象的整体效用，建立一个要素间关系结构，以期通过还原各部分后全面反映因素与评价对象的关系。简单描述上述过程就是把描述评价对象的多项指标的信息加以汇集合成而从整体上认识评价对象的优劣。这种综合评价中指标体系构建过程的实质就是对综合评价对象的要素分解，要素关系的确定；通常称要素分解为指标参数的选择，要素关系的确定为指标体系结构的确定。由于系统分析的过程基于人类的认识，因此指标体系构建过程中主观性起到相当大的作用。而这种主观性很强的指标体系构建过程，需要对人类认识中的主观随意性的因素予以剔除【3 。同时随着人们活动领域的不断扩大，人们面对的评价对象日趋复杂，凼此评价过程中需要考虑的因素越来越多，规模越米越大，从而造成了指标选择和指标体系结构构建的压力。随着对评价问题认识和评价过程的深入，需要对指标不断的重新选择，包括对参数本身含义的定义、选择和指标结构的调整。这些指标体系构建过程中的主观性问题、指标参数选择和关系调整问题都要求对指标体系进行不断的修正，从而使得指标体系能够更客观的反映评价对象的基于i n t e r n e t 的评价指标体系修正方法及其软件系统研究特征，体现评价目的。因此指标体系的构建过程主要包括了两个方面：初始指标体系的构建，指标体系的修正过程。初始指标体系的构建过程中实现的是综合评价目的到具体指标的分解及参数关系结构的初步判断过程，主要包括了评价目标要求、评价对象特征属性分析，初步的指标参数和指标体系层次结构。而指标体系的修正则主要体现的是主观随意性的剔除，参数的筛选和指标体系结构修正。在上述的两个指标体系构建过程中都包括了要素参数选择和要素关系的确定。由此给出指标体系的构建过程及内容系统分析图，如下图2 1 所示：剀21指粝、体系构建过程系统分析f i g 2 1t h es y s l e m a t i ca n a l ys iso fm a k i n gt h ei n d e xs y s t e m由图中看出在整个指标体系的构建过程中，无论是评价目的、对象特征分析，还是指标体系的初步建立，及最后的指标体系的修正都包含了指标参数和指标结构的不断选择调整过程。因此在整个指标体系的构建中要同时考虑指标参数的选择和指标参数结构关系的调整。而这就构成指标体系建立的难点即代表性和全面性的权衡问题。因为一用珂要求所选的指标有代表性，能很好地反映研究对象某方面的特性：另一方面又要指标体系有全面性，反映评价对象的全部信息。但若要满足全面性，势必要增加指标个数：但增加了指标个数，指标问相关程度就可能增大，反而影响了代表性。为此人们不断的从定性分析、定量测算等方面进行研究，从而也有了各种指标体系的构建、修正方法。但是至今还没有一种方法能将代表性和全面性完美的综合起来，以准确地衡量指标体系的有效程度【3 。为了解决这种指标体系构建中的指标参数代表性与全面性的难题，人们通常在指标体系的构建及应用过程中，不断对指标参数的代表性与全面性进行调整、平衡。根据引言中对综合评价过程的具体分析，给出了图1 1 所示的综合评价过程流程图，同时也指出了综合评价过程是一个循环往复的过程，某阶段的不合理都会导致前面评价步骤的某个环节的修难，重新进行评价。因此指标体系的不合理也在整个综合评价过程中持续不断的进行修正。下面给出在综合评价过程中涉基于i n t e m e t 的评价指标体系修正方法及其软件系统研究及指标体系修正的几个关键环节。主要包括指标体系构建过程中自身不断修正，评价方法、模型选择导致的修正，评价实施导致的修正，以及最后评价结果验收导致的指标体系修正四个部分。具体的物理过程如下图2 1 所示。确定评忻对象评价对象腻性特怔环境等幽素分析评价指标体系的相建日标讣解，指标的初选皿精选、结构的优化艇参数的量化确定评价方法与模型方法选择、权重壮j 造、参照标准值、评价舰州且皇往复巴血乜吐鞋越导致的修正匿重銮臻】必要的数据摧并嫫型参数求解广_ = = = ：= 二 熟臣亟墨习f丹柝报告储存弓开艇利用1图22 综合评价过栏修正环节物理描述f i g22t h ed e s c r i p t i o no fm o d i f y i n gi n d e xs y s t e mi nt h ec e由 二图可以看出在整个综合评价过程中，指标体系的修正在不断反复的进行，直至得到科学、客观、合理的综合评价结果。上述流程具体表现了指标体系修正在综合评价中的具体操作过程，而需要说明的是在实际评价过程中，由于评价的各个步骤没有严格的界限，因此一个过程中往往包括多个环节的修正，如在指标构建过程中，就可能考虑评价实施中样本参数数据的可获取性等。2 2 评价指标体系的初步构建指标体系初步构建方法主要有系统分析法、文献归类法和目标层次法等。指标体系的初步构建不强调本身指标参数的优化和结构的合理，因此指标参数应尽可能多而全的体现评价对象的各个方面，因此指标参数可以重复、可以是难操作甚至不可操作的。摹ri n t e r n e t 的评价指标体系修正方法及其软件系统研究分析法是指将评价目标和评价对象划分为若干部分、侧面，并逐步细分，直到每一部分和侧面都可以用具体的统计指标来描述和实现。如果将评价对象也作为一个系统来考察的话，那么将对象划分为若干侧面就是分解成为多个子系统，进而形成了各级的予系统及功能模块，直至最终的要素及要素关系。而这种子系统的划分又山于具体的评价对象的不同而导致划分方式不同。如对于企业信息化评价问题就包括从业务构成方面 3 7 】，建设内容 3 8 】【3 9 】，投入产出 4 0 】等多种方式的划分。从整个分析过程可以看出分析法最终形成了树型指标体系结构。文献归类法是刑已存在的指标群按一定的标准进行归类，使之体系化的一种构造指标体系的方法。例如，对国家信息化水平的测评，韩国、澳大利亚等西方国家【4 u 就是借鉴众多国家的典型指标体系进行归类整理，使之条理化之后得到本闭的测评指标体系的。通过对不同观点的综合，构造出相对全面的综合评价指标体系。文献归类法特别适用于对现行评价指标体系的完善与发展【3 】。目标层次法，又叫分层法。首先确定评价对象发展的目标，即目标层，然后在目标层下建立一个或数个较为具体的分目标，称为准则，准则层则由更为具体的指标组成。这种方法在区域土地可持续利用f 4 2 l ，水利现代化1 4 3 】等方面都得到具体的应用。下面对上述的三种主要的指标体系构建方法进行比较分析：分析法通过对评价对象的系统科学的分析生成综合评价指标体系，集中反映了评价列象自身的特征属性，具有对评价问题分析的代表性。然而在综合评价分析的过程，出于评价者自身知识结构、研究方向、认识水平、模糊性等方面因素的影响，从而存在极大的主观性。以企业信息化评价指标体系【3 7 】【3 8 】【3 9 4 0 1 j g 例可以看出，同一问题评价指标体系存在极大差异。因此分析法的应用的难题就是解决评价指标体系建立的主观随意性问题。文献归类法借鉴了前人的研究经验，从而部分的克n t 由于评价者自身的主观认识造成的随意性，同时该方法也体现了对多种不同观点的综合。但由于方法是基于已有指标体系的归类研究，对于新出现的评价事物没有可以参考的指标体系，则方法也没有了用武之地。目标层次法通俗易懂，计算简便，具有良好的实用性。通过确定目标结构，可以对指标之间交叉重复有一定的限制作t e j 。但其目标层次准则的选择没有更多的依据，往往通过人们自身评价问题定义决定，也存在主观随意性问题。本文将在分析法中引入顾基发教授的物理一事理一人理的系统分析方法( w s r ) 作为评价对象属性分析的指导理论，构建基于评价对象属性的目标层次，基于i n t e r n e t 的评价指标体系修正方法及其软件系统研究进而应用文献归类法借鉴已有指标体系，将具体指标参数在上述目标层次上进行归类，随后选择得到初始指标体系。由于方法中引x w s r 的系统分析方法作为分析法的指导，一定程度上克服了评价者的主观随意性；应用目标层次法，有利于克服指标信息的交叉重复，而以分析法的结果为目标选择的准则，克服了目标层次选择的随意性；最后应用文献归类法则体现了对多种不同观点的综合。2 3 评价初始指标体系修正方法初始指标体系是对指标体系修f 的起点，作为修正过程的参考指标体系。这种对初始指标体系的修正有利于解决上述指标体系构建过程中的主观性问题、指标选择和指标结构调整的问题。修i f 的内容主要包括对单个指标参数修正和整体指标体系的修正，也既是本章前文所说的指标参数和指标结构的修正。其中单个指标参数的修f 主要包括对指标参数的代表性、可行性和正确性的测验m 4 1 。代表性体现了指标参数对整个评价目标的重要性程度，保留那些重要的指标，剔除对评价结果无关紧要的指标：可行性测验是指指标的数值能否获得，那些无法或很难取得准确资料的指标，或者即使能取得但费用很高的指标都不行；i e 确性是针对指标的计算方法、计算范围及计算内容方面的验证。整体指标体系的修正主要包括对指标的必要性和完整性。必要性是指指标体系中的所有指标从全局考虑是否都是必不可少的，有无冗余现象。由于评价指标之间通常都存在着一定程度的相关性，使得观测数据所反映的信息有所重迭。但指标体系中存在高度相关的指标，会影响评价结果的客观性。为此必须对评价指标进行相关分析。而完整性则是对指标体系是否已全面、毫无遗漏地反映了最初描述的评价目的。在指标体系的修正方法中可能是对指标体系的单体验证，也可能是整体验证，还可以是两者都包含的验证方法。下面将根据图2 2 所示的指标体系修正步骤在综合评价过程中的按照物理位置将指标体系的修正方法分别进行描述，并给出其修正的侧重点。指标体系构建过程中的修正该过程的修正处于整个综合评价的起始位置，对整个综合评价过程起到基础性作用。因此修正方法研究也比较集中，主要包括定性和定量两种。定性的指标体系修正方法：丰要包括了专家调研法、问卷调查法和指标分层结构法。基于1 r i t e n e t 的评价指标体系修正方法及其软件系统研究专家调研法是一种向专家发函、征求意见的调研方法。评价者根据评价目标及评价对象的特征，在所设计的调奄表中列出一系列的评价指标，分别征求专家对所设计评价指标的意见，然后进行统计处理，并反馈咨询结果给专家，经过几轮咨询后，如果专家意见趋于集中，则由最后一次咨询确定出具体的评价指标体系。在该方法中即包括了对指标体系参数单体验证，同时也考察了整体性。问卷调查法曾大量地用于市场调查和民意调查，作为市场信息搜集和民意测试活动。而这种对人类认识的测评活动现在也较多的被引入到指标体系构建中，如在产品顾客满意度 4 ”、小学生素质等指标l 本系构建中应用。该方法也是对指标体系单体和整体验证的综合方法。指标分层结构法是通过分层的方法，即理顺指标体系的层次结构，保证指标体系呈树形，从而保持层次指标和指标问的高度独立性，而避免层次之间及指标之问的相互交叉。由“层”来覆盖整个指标体系的测量对象，即由“层，来实现“全面性”，且层内指标个数尽量少，保证层内诸指标之间的独立性，从而提供整个指标体系中各指标之间的“整体独立性”。指标体系定量研究方法：主要包括了主成分法、因子分析法、最小方差法、聚类分析法等。主成分法是把多个彼此相关的指标划为少数几个彼此不相关的新的综合指标的方法。这种方法是根据指标间的相关信息，从众多指标中抽取若干综合成分以代表原来众多的指标m j 。因子分析法是h ”从众多指标中抽取若干共同的因子，因子的个数少于指标的个数，而因子之阳j 不相关。因子分析所抽取的因子不是原来指标体系中的各个指标，而是对原有指标体系中具有共同变化特征和影响效力的若干指标线性组合。最小均方差用于对多个评价对象关于某项评价指标取值差不多的情况。通过分别计算各个指标对于多个评价对象观测值的样本均方差，剔除样本均方差最小的指标参数。在浚法中将不具备区分度的指标予以删除。聚类分析法是采用指标聚类的方式来对已有的指标体系进行归类，然后根据定的选择标准确定出相应的分类数，从每个类中选择一个或若干个代表性的指标。分类的标准可以是直接确定最终指标体系的个数，也可以是给出指标相关性的“阂值”。而每一类内的指标选择包括两神做法。种是比较随意的方法，即住归类后结果各类中分别主观选择指标参数。由这些参数代表构成最终的评价指标体系。另种就是邱东教授2 1 提出通过计算类内每个指标与其他指标之间系数的均值，取最大者所刑+ 应的指标为类内指标的“典型指标”。墨望! ! ! ! ! ! 塑堡塑塑堡堡至堡垩查堕墨茎塾堡至竺堕塑一定量指标体系修正方法还包含很多，如坎度关联分析，r o u g h 集等，本文中不在过多的介绍。评价方法模型导致的修正。这个修正方法本身实质是在指标体系构建后由于对指标权重的计算，而导致了指标参数重要程度的变化。主要应用的方法是权熏计算中的层次分析法，具体应用中多数都是将指标体系的构建与层次分析法权重计算过程相融合，建立层次结构后指标两两比较相对权重，从而筛选较为重要的权重。评价实施中应用的修正。产生的主要原因是由于指标参