信息化绩效评估方法论

1、评估客体4图1组貌信息化绩效评估体系结构W“谁评估”实际是描述评估主体，即发起评估的人或组织。“评估什么”描述的是评估客体， 即围绕什么进行评估，评估对象是什么？ “如何评估”是一个较为复杂的问题，首先要在评 估目标的指导下，形成一定的评估思路，沿着评估思路构建评估模型。评估模型又包括评估 方法、评估基准、评估指标、评估数据，遵循一定的评估步骤，运用评估模型对评估的客体 进行评估，最后得出评估结果，形成评估报告。上述这些内容就构成了组织信息化评估的整 个体系，评估主体与客体评估主体是指主要接受委托施予评估的组织、个人或工作组。信息化绩效评估的主 体可以划分为两类：外部实体和内部实体，但由于评估

2、目的和所处地位与角度不同，其关心 的内容和侧重点就有所不同。外部实体主要包括受委托的第三方，内部实体主要是指组织自 身或组织自身的某个部门。来自组织内外利益相关方对信息化绩效状况的关注，也奠定了对 信息化绩效评估的广泛需求。评估工作组负责完成整个评估过程的各项具体工作，并向专家咨询组提供必要的政 策、技术等方面咨询意见；专家工作组根据评估工作需要，负责向评估工作组提供有关资讯 和参考意见。评估工作组应该遵循基本工作规范，独立、客观、公正地开展评估工作，排除各方 面特别是被评估组织意愿的影响。但对被评估组织指出的评估工作和评估报告中存在的疏 忽、遗漏、疑问应该认真予以解答和补充更正。评估客体指的

3、是评估的对象。可以作为信息化评估对象的包括信息系统、组织信息 化战略、信息化项目等。由于对评估的目的不同，存在着不同的评估需求，因而人们所评估 的对象也会有一定的差异。评估步骤：（1）确定评估对象，下达评估通知书，组织成立评估工作组和专家咨 询组。（2）拟定评估工作方案，搜集基础资料。（3）评估工作组实施评估，征求专家意见 和反馈组织，撰写评估报告。（4）评估工作组将评估报告报送专家咨询组复核，向评估组织机构（委托人）送 达评估报告和选择公布评估结果，建立评估项目档案等。评估工作组取得的评估结论应该与组织自测结论进行对照，及时对评估结论进行补充和 修改，对评议工作组的评估结论和组织自测结论相差

4、较大的，要进行基础资料的核对，找出 差异原因，如依据充分应该对评估结论进行必要调整。评估报告和结果运用在信息化评估工作完成后，应该形成一个总的评估报告。评估报告是由评估工作组 完成全部评估工作后，对信息化的效益状况和价值贡献等进行对比分析，客观判断形成的综 合结论的文本文件。评估结果应该反馈给组织决策部门，作为信息化投资决策、管理改善和绩效监管的 参考依据；并作为对IT人员绩效考核的依据，同时也为有关部门提供信息咨询和管理参考。信息化绩效评估的基本思路图2信息化蜻觌评估的基本思路M明确评估目标 评估首先必须要有目的，但评估本身不是目的，评估的最终目标是为了决 策。根据评估主体的出发点不同，对信

5、息化进行绩效评估有如下一些基本的目的，但不是说 每个评估都包含如下的所有目的：l IT目标出发点和组织目标相一致，使IT与组织目标与计划统一起来l回答IT如何支持组织使命，如何支持组织战略、客户、内部需要l在决策层通过评估改善IT绩效l区别IT对当前以及对未来发展的影响l保持各种IT因素之间的平衡l评估所有IT功能的整体绩效，以及各部门IT投资的结果l在不同决策层实施不同的绩效衡量机制。l检查系统的质量和使用效果，找出系统薄弱环节，提出改进意见。以定量与定性评估相结合以前信息化评估通常以定量指标为主，而且主要采用财务指标定量分析，通常采用 投资回收期、投资收益率、净现值等方法衡量信息系统应用的

6、效果。当信息系统投资的目的 是改善操作效率时，传统的评估技术还可用。因为这种投资主要用于产生有形收益，并给予 直接的项目成本。这种操作层的信息系统部署传统上被用于实现效率上的收益。然而，当管 理者意识到IT更广泛的战略收益，这种方法就凸现出其局限性：财务数据是历史性的静态数据，反映的是结果，具有静止、单一和被动反应的特点。 完全采用财务指标定量评估，是一种短期业绩的计量。如果对组织信息化评估完全建立在这 种定量分析的基础上，就会助长组织经营者的急功近利思想和短期投资行为。由于IT绩效 的滞后性和无形性，其所带来的组织文化的改善等许多内容是很难量化的，或者量化分析也 难以准确。对于考察这些行为来

7、讲，以财务指标为主的传统定量分析方法就显得捉襟见肘。而如果完全采用非财务指标进行定性分析，也存在着明显的缺陷:与财务指标相比， 定性指标设计时往往缺乏一个完整的理论框架。由于非财务指标涉及到各个不同部门或者环 节，指标之间很难避免相互矛盾。综上可以看出，如果在评估时仅关注财务指标，则容易造成组织的短期行为，影响 组织的长远发展；而过分关注非财务指标，则会由于难以准确描述和操作而导致组织IT行 为失控。在IT环境下，将定性与定量分析有机结合是一种最优的选择。以全过程为评估范围多数评估活动的驱动力都是传统的系统开发生命周期，并分为事前评估、事中评估、 事后评估等几个阶段。尽管多数组织认为评估的目的

8、是改善系统开发的过程与已开发的系 统，但实际上评估的实质已经成为结束项目而不是项目改进，尤其是实施后评估。目前对项 目的评估一旦在信息系统启动后就很少能够引起关注，事实上根本就没有执行持续的评估。对组织而言，信息系统是一项效益驱动的投资，因此，规划阶段是否适度、开发质 量是否能够保证，系统建成后运行效果是否达到预期目标，这些均对业务绩效产生十分关键 的影响。因此IT绩效评估应该是涵盖整个生命周期的持续性评估，而不只是判断开始如何 投资或者只是实施后的评估。评估不是一次性快照，而是多阶段的活动，贯穿项目开发与运行的整个过程。绩效 评估只是在有规划目标和期望结果的环境中才更加重要，因此需要有明确的

9、规划和所期望的 结果来实现绩效的改善。注重动态监控与管理信息系统评估是一个复杂过程，评估的环境、内容和过程之间的交 互是多方面的；此外，信息系统不确定性导致评估需要考虑环境变更时的动态性。不同学者 提出采用权变模型有助于更好理解信息系统在特殊环境下的作用与影响（如，收益、成本、 风险、绩效度量等）。传统的评估通常都是静态的。在稳定环境下，这种评估主要关注如何 有效率地使用资源并达到预先设定的目标，而不是更广泛的组织变更。传统的实施后评估是 一次性地考察信息系统部门交付的产品是否适合。参考成熟的标准体系目前，国际上一些从事IT治理和标准研究工作的一些组织建立了一些相关标准以及 最佳实践，这些通常

10、是在实践基础上总结出来的框架体系，用其作为参考性评估体系使得评 估更有依据，有助于增强可信性。表1可用于信息化评估的体系及其侧重点评估框架侧重点Benchmark ISO9000 EVA CSF COBIT ITIL CMM 6 Sigma ABC IT BSC KPI主要通过与最佳实践或者标准进行目标检查 主要用于认证和审计主要用于理解和实现利益相关者的价值 主要用于将战略目标分解成为IT职能 主要用于过程和目标的设定和控制 主要用于管理和获取目标主要用于事实与成熟度检查主要用于质量控制主要用于降低管理成本主要用于战略的财务和非财务平衡主要用于绩效指标的量化管理在选择和运用参考体系框架时，需

11、要认识到下列两点：（1）信息化评估的参考体系关注的焦点，在评估的具体运用时通常各有侧重。在 选择框架时，需要根据组织的目标进行设定，综合权衡各个评估框架的优势和劣势，然后将 不同框架的目标进行整合来实现组织的需要。（2）框架并不能代表评估，它只是参考性的指南，通常知时告诉你最好应该从哪 些方面进行评估，而没有告诉你如何去评估，因此，还需要根据具体情况设定评估体系。分析评估环境因素信息系统评估过程与内容相互交织，并与引入新系统后而导致的组织变化环境密切 相关，评估环境与组织所处的多级系统与结构密切相关。影响信息化绩效评估的因素有很多， 包括：l组织环境等是否支持信息化绩效管理l信息化应用对于组织

12、的重要性l信息技术在组织中应用的广泛程度l信息化活动的分散与集中性l资源（技能、工具） 的支持程度l组织高层领导是否参与使用信息化绩效的有关信息l组织的健康性因素直接或间接影响信息化绩效评估的复杂程度，绩效评估的实施效果，以及绩效评估的 范围和力度。研究影响信息化评估的环境因素，可以实现以下目标：（1）了解评估主体、评估准则、评估方式、时间框架以及所用的技术与工具等， 了解评估的利益相关者的主观影响等。（2）针对影响因素，可以尽量改善评估的环境，创 建和谐的信息系统运行环境，从而达到改善信息系统绩效的目的。（3）对不同组织的信息 系统进行评估比较时，需要考虑到各自环境因素的影响度，这样有利于分

13、析结果的真实性。评估模型评估模型是整个评估体系的主体部分，而评估方法、评估基准、评估数据和评估指 标则是评估模型最核心的四个要素。评估方法在评估中，不同的评估方法将对评估结果产生不同的影响。目前国内外关于多指标 综合评估的方法很多，根据权重确定方法的不同，这些方法大致可分为两类：一类是主观赋 权法，如层次分析法、德尔菲法、等，多是采用综合咨询评分的定性方法，这类方法因受到 人为因素的影响，往往会夸大或降低了某些指标的作用，致使排序的结果不能完全真实地反 映事物间的现实关系。另一类是客观赋权法，即根据各指标间的相关关系或各项指标值的变 异程度来确定权数，避免了人为因素带来的偏差。如主成分分析法、

14、因子分析法、等。指标 的权重是指该指标在本层指标中所占的相对重要程度。由于评估时权重对评估结果会产生较 大的影响，尤其是主观赋权法。评估基准组织信息化绩效评估基准是准确衡量绩效的尺度，基准的正确选择对组织信息化绩 效评估结果具有较大影响，是组织信息化绩效评估体系建立的主要环节，基准是绩效评估 的参考点。通过与参考点的对照可以认清组织自身在行业中所处的位置，从而识别前进的方 向与目标。根据基准的参考点划分为内部基准和外部基准。内部基准是指以某一时间段的绩效情况作为参考点，反映出组织内部的绩效随时间 变化的情况。内部基准的存在前提是必须以历史数据的存在为依据，在进行过数据评估之后， 组织可以选取自

15、己的内部数据作为基准，进行纵向比较与衡量。外部基准是指与组织外部的组织的运营绩效情况进行比较的参照物。一种是与同行 业的整体最佳实践者进行比较，找出差距。一种是只瞄准特殊的竞争者，与从规模、文化等 方面与本组织比较接近的组织进行比较。评估指标整体性原则2.重点性原则3.层次性原则对于反映组织信息化绩效的多重指标应该进行分析归类，一方面将主要的、概括性 强的指标作为评估的主导指标，放在评估的第一层次，形成绩效评估的内在核心，将概括性 稍差、从属性的指标放在第二层次，以此类推。有助于明确指标之间的内在联系，以利于简 化评估过程。4.准确性原则5.可比性原则评估指标的建立要能够保证不同组织之间 具有较好的可比性。指标体系内部及外部的同类指标之间要能够比较，同一指标要具有历史 可比性6.可度量原则在选择关键绩效指标时，需要遵循可度量的原则。7.动态性原则 8.独立性原则同