[计算机]信息系统评估方法介绍.doc

信息系统评估方法介绍 重大专项研发部 张跃军 2010-03-18随着信息革命的不断推进,整个世界各领域的信息呈现出了日趋激烈的爆炸式增长,为了管理及利用这些信息,各个领域都出现了许多功能多样的信息系统,并且随着信息的膨胀,这些系统也在不断地趋于复杂化。这种情况下,系统在规定条件下和规定时间内完成规定任务的程度就成了一个很重要的问题,因此系统的效能就是对系统所具有能达到规定任务要求能力的度量。系统评估是研究系统的效能特性及其获取系统最大效能的一门科学。系统效能是完全不同于费效比以及性能的一个独立概念。系统费效比是指费用与效果的比值,反映出系统的投入与产出的比例关系;系统性能是指系统能够发挥表现出的处理能力。而系统的效能不仅是其所具有的内在的执行任务的能力,而且是在系统的全寿命周期中围绕系统的一些活动所取得的效果,也称之为系统的效能。因此系统效能评估是对系统的标称能力与实际能力匹配程度的全面评估。通过对复杂信息系统进行效能评估,可以量化系统标称能力与实际能力的匹配程度,发现系统现状与实际使用需求之间的差距。这些量化后得到的差距数据就可以为系统需求的改进和后续系统的规划、设计、运行、管理和维护提供有力的理论基础;同时这些数据也为系统运行、管理和使用提供了参考模型,为系统日常维护和状态监控指明了关注要点和改进方向。对这些复杂信息系统进行效能评估之后,就能有针对性地逐步优化系统的体系结构和配置,提高系统的运行管理水平,以需求为向导显著提高系统的运行效益。评估方法有广义和狭义两种概念，广义概念包括评估准备、评估设计、信息获取、评估分析与综合、撰写评估报告等评估活动全过程的方法，狭义概念特指评估分析与综合的方法，本文中所提到的评估方法为狭义概念。1评估方法的选择和应用选择评估方法时，评估者应首先在成熟、公认的方法中进行恰当的选择，如果由于评估活动的特殊性，没有采用成熟、公认的方法，必须在评估报告中加以说明。1.1评估目的与评方法的匹配评估方法是实现评估目的技术手段，评估目的与方法的匹配时体现评估科学性的重要方面，正确理解和认识这匹配关系是正确选择评估方法的基本前提。评估的实践表明，评估目的与评估方法之间的匹配关系，并不是说评估的特定目的与特定一种评估方法之间的一一对应，而是指对于特定的评估目的，选择高效、相对准确合理的评估方法。1.2评估方法的合理替代由于客观条件的限制，以及各种评估方法对于实现评估目标的相对合理性，有经验的评估者必须了解评估方法的合理替代原则。首先考虑评估方法的内在约束，考虑不同方法的评估角度和评估途径，例如：对于大型计划的绩效评估，原型案例研究法和数理统计方法在一定条件下可以相互替代：除了受内在约束外，评估方法的选择和替代还有受外界的制约，包括可以获得的信息、用户的理解和接受程度及掌握方法的难度等。1.3“内在约束优先”的原则不论是评估方法的选用还是合理替代，都应遵循“内在约束优先”的原则。所谓“内在约束优先”的主要概念是：评估的选择应该首先考虑评估活动自身的因素及其对评估方法应用的影响，这些影响形成了评估方法选择的内在约束。例如：目标约束是评估方法选择的最重要的内在约束，如果评估活动的目的在于帮助投资者在一批申请项目中进行筛选，通常可采用多指标综合评估方法进行分类排序；如果评估活动的目的是回答某些质疑，可采用问题诊断的指标框架和典型案例研究的评估方法。1.3.1定性和定量方法相结合定性和定量方法相结合是评估方法应用的基本思路，然而在实践中如何具体实现定性和定量方法的结合目前尚无一定之规。1.3.2定性信息结构化评估中虽然收集了大量的定量信息，但定性信息仍然是重要的，包括各种文件、管理规范、各类总结材料、已有的评估论证报告及调研会议记录以及调查问卷中的开放性问题等。评估者可以对定性信息进行收集、加工和整理，将定性信息进行重新编码，是其结构化。1.3.3结构化面访结构化面访是评估中常用的一种调查方法。根据统一设计的面访提纲和问卷，采用多项选择的问答方式，分头进行面访调查，所得的调查信息具有相同的结构形式，使定性信息结构化。1.3.4定性定量信息的相互转换在表达评估结果时，可以根据需要进行定性一定量信息的转换转换。评估结论的表达方式取决于表达的内容以及用户的要求。有时将定性问题定量化处理后表达比较明确，有时用定性语言概况表达定量结果更为适宜，有时则需要两者同时使用。2比较研究比较研究是评估的基本方法之一，也是评估活动的基本思维框架。比较研究评估方法可以进行前后对比、对照组比较、多角度比较,最后得到对信息系统评估的综合效能。2.1前后对比前后对比法是通过大量的参数比较，将被评对象（政策、计划、项目等）执行前后的有关情况进行对比，从中活动评估的依据。这种方法是将事前和事后可以衡量的指标值进行比较，用指标的变化回答评估的问题，如效果、影响等。应用前后对比法的主要困难在于如何将被评对象所产生的效果和其他外在因素、偶发事件、社会变动等所造成的效果加以明确区分。2.2对照组比较该方法是“控制对象实验对象”的对比分析方法，是社会实验法在评估中的具体运用。以政策计划的实施效果评估为例，运用这种方法进行评估时，评估者将政策计划执行前的同意评估对象分为两组，一组为实验组，即对其施加影响的租，另一组为控制组，即不对其施加影响的租，然后比较这两组在政策计划实施后的情况以确定实施效果。2.3多角度比较针对一个问题，通过多渠道、多角度、多种类的信息的比较分析，综合评价，获得评估的结论。以机构的绩效评估为例，可以将反映机构产出（成果、专利、论文）的客观数据和有关方面的主观感受（机构内部员工的感受，同行专家的评价等）进行比较分析，还可以将被评对象的自评意见和评估实地考察情况进行对照。该方法适合用于涉及面广，因素复杂的评估对象。通过各方面信息的相互补充、相互检验，可以减少信息的误差，提高评的可信度。3多指标综合评估方法多指标综合评估方法对信息系统进行多指标的综合评估,并且进行指标值的确定及其规范化, 指标权重的确定，计算综合分值，最后得到对信息系统的综合效能。多指标综合评估方法是信息系统评估中的常用方法，尤其是对于群体评估应用比较普遍。由于不同指标的综合、折衷、平衡中主观因素的影响，所得结果只能是合理的、满意的，不存在客观上的最优。对于多指标评估问题，只是应该从非劣方案（非劣解）中寻优。某一方案称为非劣方案，是指不存在所有指标都由于该方案的选择。3.1指标值的确定及其规范化在评估指标体系建立后，每一个评估指标都应制定具体的标准和统一的计算方法。其中可用金额、人数、时间、重量、体积等计量的指标，可进行定量评估，对社会影响可作定性评估的描述。由于各个指标的含义、测量量纲以及取值优劣标准不尽相同，为了能够对评估对象进行多指标的综合评估，有时要将各种指标值转化成一个相对统一的尺度，这一过程称为指标值的规范化，其实质就是把不能相加或相乘的指标值转化成可以汇总相加或相乘的综合指标值。在评估问题中，有时某些定性指标的值无法通过定量的方法得到，必须由专家的判断决定，该方法通常分数、序数，评语等作为评估的指标值，依此作出总的评估。专家打分时应尽量保证所有的指标值属于同一类型，即同分数或同为序数，若有不同的，应将其转化成同一类型，以利于综合评估。3.2指标权重的确定在多指标的综合评估问题中，各个指标对于评估总目标的影响和作用大小的重要程度不同。为了正确反映这一客观事实，需要对指标赋权。加权理论在国内外都有广泛的研究和应用。关于权重系数的获得主要有专家咨询法（Delphi）、层次分析法（AHP）、二项系数加权法、环比评分法等。其中比较有代表性的且应用较多、较成功的主要有AHP和Delphi法。AHP将专家的思维过程定量化，并且可以通过一致性检验处理专家意见不一致的情形。Delphi法也是常用的一种方法，它具有匿名性、反复性、统计性三大特征，较好地克服了主观因素的影响。3.3计算综合分值应用综合评分法计算综合分值，就是利用每个评估对象在各个指标上的得分（首先进行规范化），按照不同的方法得到一个综合得分，据此对所有的评估对象排出优先次序。计算综合的方法主要包括加权加法评分法、修正加权法、乘法评分法和加乘评分法。方法的选择可以根据相应的评估问题的具体评估指标体系来确定。目前信息系统评估中采用较多的是加权加法评分法。4运筹学方法-层次分析方法 层次分析法简称AHP方法,此模型是对系统的指标体系进行分层次的综合,并且进行归一化处理、一致性分析,最后得到系统的综合效能。AHP方法将决策问题分为三个层次,即目标层O、准则层G和方案层P。每层有若干元素,下一层的元素会对上一层的元素有影响,通过相互比较确定各准则对目标的权重,各方案对每一准则的权重;将这两组权重进行综合,确定各方案对目标的相对权重。AHP方法将定性分析与定量分析结合起来,给出了决策问题的定量结果。 层次分析法的步骤如下: a)建立层次分析结构模型。深入分析实际问题,将有关因素自上而下分层(目标准则或指标方案或对象),上层受下层影响,而层内各因素基本上相对独立。 b)构造成对比较阵。用成对比较法和19尺度,构造各层对上一层每一因素的成对比较阵。 c)计算权向量并作一致性检验。对每一成对比较阵计算最大特征根和特征向量,并作一致性检验,若通过,则特征向量为权向量。 d)计算组合权向量(作组合一致性检验)。组合权向量可作为决策的定量依据。 例如设定一个需要达到的目标作为目标层,从对目标发生影响的各种因素中选出合适的因素作为准则层G=G1,G2,Gm,现需要从方案层P=P1,P2,Pn中选出最佳的方案。首先利用成对比较法,参照19尺度,构造出m个准则对于目标的权重向量A=a1,a2,am,并且有=1;然后构造出矩阵B,其中bij表示第j号方案对第i个准则的权重,因此有bij(0,1)(i=1,2,m;j=1,2,n), =1。令综合决策矩阵X=AB,这个矩阵乘运算中还需要进行一致性检验,保证前后判断的一致性,乘积X就是准则层对目标层的权重与方案层对准则层的权重构成的组合权重,能反映出方案对目标的影响程度。之后求出xk=xj,对应的Pk即为最佳方案。5模糊综合评估方法模糊综合评价法是将模糊数学应用于目标评价而形成的方法,它根据评价对象和评价目标要求建立起模糊矩阵,通过一系列的判断、推理、论证,由最佳隶属度原则得出可靠结论的一种评价方法。用模糊数学进行综合评判,包括三个方面的内容,即系统分析、模糊数学进行处理和计算机运算。 例如需要对某个复杂电子信息系统进行效能评估,在对评价指标及其模糊性进行综合分析的基础上,可以建立如下的评价因素集U=U1,U2,Un。其中:Ui代表第i个评价因素。然后建立起评价等级集V=很好,好,一般,不太好,不好,接着就可以确定评价矩阵P=Pijnm。其中:Pij为第i个评价因素评价等级为j的比例;n为评价因素数;m为评价等级数。通过专家调查法等取得评价指标的权重向量w=w1,w2,wn,且=1,计算模糊决策集D=wP。各方案的模糊决策集计算出后,将决策集中很好、好及一般的三者相加,即得到综合总评分。6基于计算机技术的评估方法-神经网络评估方法人工神经网络方法是一种以人的神经学习为基础的新方法,通过模拟人的神经过程,从而实现自主学习的功能。目前使用最广泛的BP网络由三层神经元组成,这种三层的BP网络可以实现以任意精度逼近任意连续函数,也就能够通过这种网络寻找到最优解。这种方法的基本步骤如下:a)初始化,置所有权为随机任意小。b)模型参数的确立。复杂电子信息系统效能评估模型由一系列表征系统运行效能及其因果关系的特征参数、过程因子和征兆现象构成,特征向量的选取依据基于征兆的推理获得。c)提供训练集。提供连续的输入变量x1,x2,xn和所期望的输出结果y1,y2,yn,训练集的取得是根据实际使用人员和专家的体会以及经验确定。 d)定义输入/输出的关系: Opj=1+exp-(+j) 其中: Opj为模式p网络节点j的输出;Wij为节点i到j的连接权值;j节点j的阈值。 e)调整权值 Wij=pjOpj 其中:是学习速率;pj是节点j的误差信号。对输出层节点j, pj=(ypj-Opj) Opj (1- Opj ) 对中间层节点j有 pj=WkjOpj(1- Opj) 其中:pj为节点j上一层节点k的误差信号,Wkj为节点j到上一层节点k的连接权值。 f)将得到的权值以及阈值记录到知识库,多次训练BP网络,使权值以及阈值稳步趋向最优。 在将人工神经网络的方法用到信息系统效能评估时,首先将系统各种设施的状态以及系统接口的信息作为征