（管理科学与工程专业论文）企业信息系统成功评价研究.pdf

摘要 作为信息产业的中心环节，企业信息系统的建设和应用也得到了快速的发 展。但企业信息系统作为一个复杂的社会技术系统，与其相关的评价并不是一个 简单的技术项目评估问题，而是个复杂的社会过程。传统的项目技术经济评价 体系，并不适合对现代企业的信息系统项目进行评价。因此，如何评价企业信息 系统项目是否成功以及成功的程度如何，是理论界和实际工作者长期关注的问 题。 本文主要研究了企业信息系统成功评价的理论和方法，并以实际案例为背 景进行了信息系统项目成功评价的尝试。本文所作的主要工作有： 第一，对企业信息系统成功评价的复杂性进行了剖析，分别论述了不同评 价阶段、不同评价主体和不同评价层次的评价准则； 第二，基于评价的复杂性，并结合国内外现有的研究成果，开发了一套完 整的企业信息系统成功评价指标体系； 第三，通过问卷调查法和s p s s 统计分析软件，对所构建的企业信息系统成 功评价指标体系进行了权重设置，同时对问卷的信度和效度进行了分析，以保证 问题分析的严谨性； 第四，通过实地访谈和问卷调查相结合的方法，对大连辉瑞m a p s 系统实 施进行了成功评价，在为企业提供有价值信息的同时，进一步验证和完善了研究 结论。 关键词：企业信息系统成功评价：评价指标体系；问卷调查法；层次分析法：实 证研究 a b s t r a c t a st h ec o r ep ar to fi n f o r m a t i o ni n d u s t r y , e n t e r p r i s ei n f o r m a t i o ns y s t e m ( e i s ) i s d e v e l o p e dr a p i d l ya n dw i d e l yu s e di nc o m p a n i e s b u te i si sac o m p l i c a t es o c i a l t e c h s y s t e m ，t h ee v a l u a t i o no fe i si si n e v i t a b l y a ns o c i a l p r o c e s s t r a d i t i o n a lp r o j e c t e v a l u a t i o ns y s t e ma n dm e t h o d sc a n tm e e tt h i sd e m a n d s oh o wt oe v a l u a t ee i s p r o j e c ta n d h o wt od e f i n et h ed e g r e eo fs u c c e s sa r eb e c o m i n gt h eh o ta n dh a r di s s u ei n t h ei n f o r m a t i o ns y s t e mr e s e a r c hf i e l d ， t h em a i nc o n t e n to ft h i sa r t i c l ei st h er e s e a r c ho nt h et h e o r ya n dm e t h o d so fe i s s u c c e s se v a l u a t i o na n dt h ec o n s t r u a i o no fn e we v a l u a t i o ns y s t e ma n do p e r a t i o n m e t h o d i na d d i t i o n ，c a s es t u d ym e t h o di si n t r o d u c e dt ot e s t i f yt h ev a l i d i t ya n d r e l i a b i l i t yo f t h ee v a l u a t i o ns y s t e md e v e l o p e di nt h i sr e s e a r c h t h em a i nj o bo ft h i s a r t i c l ei n c l u d e s ： f i r s t l y , t h ec o m p l e x i t yo f e i se v a l u a t i o ni sa n a l y z e di nd e t a i lf r o mt h r e ea s p e c t s ： m u l t i e n t i t y , m u l t i p h a s ea n d m u l t i l e v e l s e c o n d l y ，b a s e do nt h ec o m p l e x i t ya n a l y s i sa n d t h er e s e a r c h e sd o n eb yf o r e i g n a n dd o m e s t i cr e s e a r c h e r s ，e i ss u c c e s se v a l u a t i o ns y s t e mi sp r o p o s e d t h i n l y ，b yu s i n gt h ed a t ac o l l e t e db yi n v e s t i g a t i o nq u e s t i o n n a i r e ，t h ew e i g h to f e a c hp h a s e ，e a c he n t i t ya n de a c hi n d e xi nt h ee v a l u a t i o ns y s t e ma l ed e f i n e du n d e rt h e g u i d a n c e w i t ha h pm e t h o da n ds p s ss o f t w a r e f i n a l l y , i n d e p t hc a s es t u a yi sd o n ei nt h ed a l i a np f i z e rp h a r m a c e u t i c a ll i m i t e d c o m p a n y b yu s i n gt h ee v a l u a t i o ns y s t e mp r o p o s e d ，t h em a n u f a c t u r i n g ，a c c o u n t i n g a n dp l a n n i n gs y s t e m ( t h em a p s ) i se v a l u a t e d t h ep u r p o s ei st ov a l i d a t ew h e t h e rt h e e v a l u a t i o ns y s t e mi sf e a s i b l ea n dh e l p f u l k e yw o r d s ：e i ss u c c e s se v a i u a t i o n ：e v a i u a t i o ns y s t e m ；q u e s t i o n n a i r e r e s e a r c hm e t h o d ：a h p ：c a s es t u d y ： 企业信息系统成功评价百j 究 1 引言 1 t 问题的提出 2 l 世纪，信息产业将成为全球的主导产业。目前，世界上发达国家都在竞 相发展和提高信息技术水平，大力发展信息产业，以尽快提高国家信息能力，从 而提高国家综合国力，以便在2 l 世纪的竞争中处于领先地位。改革开放以来， 特别是近十年来，中国政府也提出了加快信息产业发展的战略，中国信息产业有 了较快的发展。然而，与世界发达国家相比，我们还仅仅处在起步阶段，还有许 多工作要做。其中一个很基础性的工作就是要认清我国信息产业发展水平在国际 上的地位，对国家或地区的信息化水平进行科学合理的评价。 作为信息产业的中心环节，企业信息系统的建设和应用也得到了快速的发 展。但企业信息系统作为一个复杂的社会技术系统，与其相关的评价并不是一个 简单的技术项目评估问题，而是一个复杂的社会过程。传统的项目技术经济评价 体系，并不适合对现代企业的信息系统项目进行评价。因此，如何评价企业信息 系统项目是否成功以及成功的程度如何，是理论界和实际工作者长期关注的问 题。 企业信息系统项目成功评价作为当前既有实践意义又富有挑战性的课题，一 直是信息系统领域的研究热点和难点。基于此，本论文致力于研究企业信息系统 成功评价的理论和方法，旨在建立新的评价指标体系和评价操作方法，并以实际 案例为背景进行信息系统项目成功评价的尝试，以便为中国政府或企业制定信息 系统建设的宏观发展战略提供科学的量化依据。 1 2 企业信息系统成功评价的意义 ( 1 ) 信息系统的迅速发展要求信息系统的评价工作与之相协调 中共中央关于制定国民经济和社会发展第十个五年计划的建议中提出： 大力推进国民经济和社会信息化，是覆盖现代化建设全局的战略举措。以信息化 带动工业化，发挥后发优势，实现社会生产力的跨越式发展。我国企业的信息化 建设已经受到高度重视。作为企业信息化的中心环节，企业信息系统的建设和应 用得到了非常迅速的发展。但与迅速发展的信息产业相比，企业信息系统的评价 企业信息系统成功评价研究 工作却显得严重滞后，从而阻碍了信息系统的规划、立项、设计和开发工作的健 康发展。因此，建立科学合理的企业信息系统成功评价理论和方法迫在属睫“3 。 ( 2 ) 信息系统项目评价为企业经营者提供重要的决策手段 从管理的角度看，“没有评价就没有管理”。评价是企业经营者决策的重要手 段，也是一种重要的反馈与决策工具。信息系统成功评价不仅可以对企业i t 投 资效果进行评估，还可以帮助企业发现信息系统建设成功或不成功的潜在要素， 进而改善系统建设的方法和管理过程，并最终促进信息系统建设向期望的方向发 展“。 ( 3 ) 进一步完善现有的尚不成熟的评价理论研究 对企业信息系统的成功进行定义和评价一直是信息系统研究领域最具挑战 性的问题之一。因为企业信息系统是一个社会技术系统，对信息系统的评价不是 一个简单的技术项目评估问题，而是一个复杂的社会过程。传统的项目技术经济 评价体系，并不适合对现代企业的信息系统项目进行评价。而在信息系统成功评 价的研究领域，国内外现有的研究都很独立、分散，尚未形成全面的综合评价指 标体系和成型的信息系统评价理论方法，有必要在这一领域迸行更深入、更系统 的研究和实际应用。 1 ，3 国内外企业信息系统成功评价研究现状 1 ，3 1 企业信息系统成功评价的评价方法研究 综合国内外学者对企业信息系统成功评价方法的研究，企业信息系统项目评 价方法大体可以分为两类：基于主观满意度的评价和基于客观标准的评价。 主观满意度评价。基于满意度的评价是一种“主观”的评价，浚理论认 为实际的评价过程主要是评价者针对企业、市场、技术等方面综合的、主观的考 虑过程，纯数据分析可能毫无价值，而且在某种情况下也无数据可供分析。“。他 们认为用户意识中的经验现象与其他客观标准一样重要，完全可以用项目相关人 员的主观满意度作为项目的成败判断标准。这种方法最常问的问题是“你对这个 项目感觉如何? ”，分析依据是i s 实施后“感受”的效果与实施前期望对比。如 果这个比值大于1 ，则客户对项目满意：小于1 ，则客户对项目不满意。 主观满意度评价理论的原理是企业信息系统不是独立于使用者和其他社会 因素的客观实体。信息系统评价必须要理解和考虑组织的因素。相对于客观标准 企业信息系统成功评价研究 评价，主观满意度的评价不需要大量的指标和数学公式就可以对某个i s 项目得 出评价结果。但实际上目前关于满意度的评价研究大都以定性分析为主，主要是 强调人的主观判断在评价中的重要性，对于哪些人的满意度可以作为评价的标 准，即如何选择测评对象、如何统不同测评对象的评价标准和模式，以及如何 把分散的观念集成为结论等问题并没有很好地得到解决。因此，基于主观满意度 的评价，无论是评价过程还是评价结果，都还不具备很强的说服力，难以完全达 到评价的预期目标，多数情况只是作为客观标准评价的必要补充。 客观标准评价。基于客观标准的成功评价一般不受相关人员主观愿望的 影响，不同的企业可以根据自己的数据进行横向比较。这种方法需要对评价的对 象有较深的理解和研究，用一系列量化的指标综合反映该对象的各个方面，然后 采用一定的数学方法对这些量化指标进行运算，形成最终的评价结果。例如，s e i ( s o f t w a r ee n g i n e e r i n gi n s t i u t e ) 提出的软件企业能力成熟度模型c n n ( c a p a b i l i t ym a t u r i t ym o d e l ) 就是一种较为客观的评价体系。在实际i s 项目 评价过程中，客观标准评价的难点在于选取适当数量的指标。这些指标能够对 i s 项目无形的、间接的、长期的效果进行综合测评，并用数字进行表示。另外， 在评价领域，直面临着方法很多但好方法很少的困境。每一种方法都各有其优 缺点。怎样在一个特定的环境中选择最合适的方法或建立自己的方法是评价中的 另一个难题。 为了解决这两大难点，大量的研究者所构建的指标体系越来越庞大，数学模 型也越来越复杂，可操作性却越来越差，让业界无所适从，从而引起评价方法的 恶性膨胀。但由于客观标准评价的理性说服力和可比性，仍不乏大量的研究，而 且已经逐渐从早期简单的方法独立阶段向综合灵活的机理互补阶段过渡。 方法独立阶段主要是指不考虑企业的特定环境，采用单独一类方法对所有信 息系统项目进行评价。具体可以分类为：技术功能类：把i s 等同于其他技 术投入，如新的生产设备来评价：经济财务类：把i s 投入视为一项资本投 资，从投资收益最大化的角度来评价i s 对企业各个方面带来的影响：多指标 类：综合考虑i s 在技术、经济、组织等方面的影响，借助一系列互补的指标进 行评价，典型的是k a p l a n 提出的平衡记分卡，从财务、内部流程、顾客、创新 和学习四个方面来评价i s 项目的绩效“1 。 信息系统评价的复杂性使得很难有一种独立的评价方法能够涵盖所有相关 因素。因此对信息系统评价的研究也就逐渐转入机理互补阶段，其思想是放弃寻 找一个大而全的评价体系来解决所有问题，而是通过一系列最合适的权变组合， 企业信息系统成功评价研究 覆盖整个信息系统项目的评价过程。f a r b e y 等提出的矩阵评价法，在对影响信 息系统建设的因素进行分类的基础上，建立一系列相关矩阵，为每一个单元寻找 相应的评价方法”1 。 1 3 2 企业信息系统成功评价的指标体系研究 在企业信息系统成功评价指标体系的开发上，最具有里程碑意义的是d e l o n e 和m c l e a n 于1 9 9 2 年提出的信息系统成功模型”1 。他们对1 8 0 篇有关i s 成功测 量的论文进行分析，总结出了关于i s 成功的六种主要的因变量( d e p e n d e n t v a r i a b l e s ) ：系统质量( s y s t e mq u a l i t y ) 、信息质量( i n f o r m a t i o nq u a l i t y ) 、 系统使用( i n f o r m a t i o ns y s t e mu s e ) 、用户满意度( u s e rs a t i s f a c t i o n ) 、个人 影响( i n d i v i d u a li m p a c t ) 和组织影响( o r g a n i z a t i o n a li m p a c t ) 。 其中，系统质量衡量信息系统本身的稳定性、响应时间、易用性等因素：信 息质量衡量系统所产生的信息的有效性、及时性、准确性等因素：系统使用考察 用户使用系统的时间、频率，使用信息的数量和对系统的依赖程度等指标；用户 满意度可以是管理者满意度，也可以是总体满意度，满意度是应用最广泛的测量 指标，因为它最容易操作；个人影响包括对管理者决策效率的促进，决策准确性 的提高，员工工作效率的提高，信息获得和信息理解的加强等；组织影响包括财 务方面指标的改善，如销售额、市场占有率、股票市值、利润率等提高，或者是 成本、资金周转时间、库存量等降低，也可以是生产效率、服务效奉、产品质量 等指标的改善，或者是战略竞争优势的保持和加强。虽然组织影响是i s 成功的 最终目标，但是学术界一直避免直接测度组织影响，因为很难把i s 的影响和贡 献从其它众多的贡献因素中分离和提炼出来。在这六种因变量的基础上，d e l o n e 和m c l e a n 提出了自己的i s 成功模型( 见图1 l ) 。 这模型把i s 成功看成一个过程，具有时间和因果关系。系统质量和信息 质量共同而又单独地影响系统使用和用户满意度：系统使用和用户满意度相互影 响，这种影响可能是正面的也可能是负面的：系统使用和用户满意度直接引起 对个人的影响，进而影响组织绩效。d e l o n e 和m c l e a n 认为i s 成功本身是一个 多维变量，很难简单说一个因变量比另一个好，而是应该根据研究目标、组织环 境，具体研究系统哪个方面、有哪些自变量以及研究方法和分析层次等要素来选 择要考察的因变量。同时他们也认为从综合角度进行研究是必要的。 越【k 信息系统成功评价研究 图1 1d e l o n e m c l e a r 的i s 成功模型 f i g 1 1d e l o n e m c l e a r l si ss u c c e s sm o d e l d & m 的i s 成功模型是这一领域旱程碑式的成果。此后，很多学者对此模型进 行了验证、质疑和改进。其中，澳大利亚学者s e d d o n 的i s 成功模型也得到了学 术界的广泛认可”“。s e d d o n 指出d & m 模型太过笼统，而且混淆了一些过程和结 果概念。s e d d o n 认为系统使用( i su s e ) 是系统成功的结果，而非系统成功的 内在特性。他用感知的有用性( p e r c e i r e du s e f u l n e s s ) 来代替系统使用。s e d d o n 认为，系统质量和信息质量直接影响感知的有用性和用户满意度；感知的有用性 是用户满意度的决定因素。对系统使用收益的期望将导致系统使用，这实际上是 系统使用行为模型( b e h a v i o r a lm o d e l o fi su s e ) 的一部分。根据这一模型， 对i s 成功的测度包括对系统和信息质量的测度、对系统使用收益的感知性测度 ( p e r c e p t u a lm e a s u r e so fn e tb e n e f i to f i su s e ) ，以及对系统使用的个人、 组织和社会结果的测度。其中对系统使用收益的感知性测度是最重要的。 除了d & m 的i s 成功模型及其相关研究外，很多学者还提出了很多其他评价 指标，其中尤以组织商业利益实现为代表。他们认为，只有全面理解信息系统给 企业带来的商业利益，才+ 能给信息系统是否成功下结论。因此，信息系统给企业 带来的利益是信息系统成功评价的最重要指标。s h a n g & s e d d o n 通过对2 3 3 个信 息系统应用案例的分析研究，提出了一个非常全面的信息系统利益框架。他把信 息系统带来的利益分成了五大类”1 ( 见表1 1 ) 。 而国内学术界对企业信息化项目成功评价的研究近几年才刚刚起步，还是一 个相当薄弱的领域。无论从研究人员，还是从发表的成果的数量和质量上，都严 重滞后于信息产业的发展。而且，大多数研究都处于初级、分散和自发的状态， 缺乏系统性的研究成果。此外，现有的研究成果研究范围狭窄，角度单一，主要 集中在对具体信息系统实旌项目的量化评价上。 例如崔耀东等探讨了制造业信息系统应用的评价特点和指标体系，并按照信 息系统的评价目标将评价方法分成五大类：( 1 ) 追求经济效益；( 2 ) 获得竞争优 企业信乜系统成功评价研究 表1 1s h a n g & s e d d o n 的信息系统利益框架 t a b l e l 1s h a n g s e d d o n si sb e n e f i tf r a m e w o r k 运作利益节约成本、缩短周转周期、提高生产率、提高数据 ( o p e r a t i o n a lb e n e f i t ) 质量、提高客户服务质量 管理利盏优化资源管理、提高决策和计划能力、优化绩效控 ( m a n a g e r i a lb e n e f i t ) 制 战略利益促进业务增长、支持业务联盟、促进企业创新、支 ( s t r a t e g i cb e n e f i t ) 持成本领先和形成差异化、支持电子商务、带动与 供廊商利消费者的联系 l t 基础利益提高i t 基础设施的能力、降低i t 成本、提高i t 适 ( i ti n f r a s t r u c t u r eb e n e f i t )应业务变化和企业创新的能力 组织利黼支持组织变革、促进组织学习、促进授权、有利于 ( o r g a n i z a t i o n a lb e n e f i t ) 形成共同愿景 势；( 3 ) 保持竞争地位：( 4 ) 实现战略目标：( 5 ) 实现有效集成。对于每一类 评价方法，都有相应的评价方法以及评价指标，如经济财务评价方法、多指 标综合评价方法等。类似的，闵文杰等人提出了信息系统评价的指标体系结构模 型，并用模糊综合评价方法和人工神经网络方法进行了研究。在他们提出的指标 体系中，共包括了6 个二级指标，3 1 个三级指标“。 最有突破性的是徐维翔等人的研究成果。他们从信息系统项目的客观性出 发，通过协调投资方、承建方、用户、领导等各方面的关系，综合考虑信息系统 的经济效益、社会效益，提出了由6 个二级指标，3 0 个三级指标构成的比较全 面的信息系统项目评价指标体系，并论述了经济效益的定量指标计算方法“ ( 见图1 2 ) 。 1 3 3 现有企业信息系统成功评价研究中的不足 综合国内外研究现况，我们可以发现，在企业信息系统项目的评价理论研究 领域，国内外学者已经进行了多角度的研究。根据e g o n 在2 0 0 1 年所做的总结， 单信息系统项目的事前评估方法就多达6 5 种“3 3 ，可见研究成果之多。但回顾这 些研究成果，可以发现，现有的评价理论无沦从理论上，还是在实践中都有待于 企业信息系统成功评价铆 究 信息系统项目许价 系统建设 2 系统一性能 3 经济效益 4 社会效益 5 用户评价 6 系统环境 规划目标实现程度 系统整体先进性 技术首创程度 企业再造程度 系统实惠性 资源利用率 开发效率 系统建殴规范性 管理科学 系统町靠性 i 岗转时间 系统效率 响应时间 i 春吐量 系统町维护i 生 系统可扩充性 系统。j 移植性 系统适府性 系统安全保密性 有形经济效益 【连带效益 无形经济效益 銎羞萋墓 l 创新效益 社会总效益 改善周边关系提高应变能力 减少决策失淤和事故 提高劳动者素质 提高社会信息化水平 促进生产自动化 碱少重复开发 单位整体评价 操作人员t 价 领学支持程度 共享性及示范性 系统环境效应 管理体制合理化 管理方法更有效 管理丁作标准化 管理效果最优化 管理- t 作：档次 用户友好性 及时件 操作容错陡 解幕设计台理 图1 2 徐维祥的信息系统评价指标集 f i 9 1 2i n f o r m a t i o ns y s t e me v a l u a t i o n i n d e x e sb yx uw e i x i a n g 7 企业信息系统成功评价研究 进一步完善和深化，再加上信息系统项目评价本身的复杂性，不可避免地会存在 一些问题。归结起来，主要有以下几个方面的不足： ( 1 ) i s 项目评价主要还是以i s 的经济价值导向为主，没有从获得或保持 竞争优势、实现战略目标以及改善企业文化、工作条件等方面来评价i s 项目对 企业的价值体现。实际上，i s 对这些方面的影响与对经济价值的影响一样重要。 ( 2 ) i s 项目的评价过程与其他评价理论一样，存在一个过于理性、过于f 式的问题，对量化指标、数学模型投入很大，但可操作性不强。关于如何评价、 由谁评价，在什么时候评价等这些实践性的问题研究深度不够。 ( 3 ) 缺少相关的案例实证研究。i s 项目评价的研究，特别是最新的研究都 缺乏实证研究的支持。很多企业不愿意把自己作为评价的案例，暴露内部的技术、 经济、组织等相关数据，这使得研究只能停留在理论分析上，不能通过实践得到 反馈。 ( 4 ) 对评价本身的价值研究不足。企业对评价的作用、评价与i s 项目投资 成功率之问的关系缺乏感性的认识。因此，项目评价没有受到真正的重视。 1 4 研究思路和研究工作 结合现有评价理论和评价方法存在的不足，本文将对企业信息系统成功评价 中存在的复杂性问题进行详细的分析。因为不同的评价实体、不同的评价阶段会 有不同的评价指标。然后，基于对复杂性的分析，本文将开发一套完善、科学的 信息系统成功评价综合指标体系，并在问卷调查的基础上结合a h p 法，对指标体 系中的各指标进行权重设置。最后，本文还将以实际案例为背景进行企业信息系 统项目成功评价的尝试，验证该指标体系的实际可操作性。本文的目的在于通过 评价指标体系的开发，帮助企业评估信息系统建设和实施的效果，发现实施中存 在的成功或不成功的潜在要素，进而改善系统建设的方法和管理过程，并最终为 企业制定进一步的信息系统发展战略提供一个科学的量化依据。 本文主要做了以下几方面的研究工作： 第一，从评价的多实体性、多阶段性、多层次性三方面详细分析企业信息系 统成功评价的复杂性； 第二，基于评价的复杂性，并结合国内外现有的研究结果，建立企业信息系 统成功评价综合指标体系： 第三，借助于问卷调查法和s p s s 统计分析软件，并通过运用层次分析法 企业信息系统成功评价研究 ( a h p 法) 确定指标体系中各评价阶段、评价实体和评价指标的权重。同时对 调查问卷的效度和信度进行分析，以保证问题分析的严谨性； 第四，结合大连辉瑞工厂信息系统的实施情况，对其m a p s 系统的成功程度 进行评价，在为企业提供有价值的信息同时，对指标体系进行进一步的验证和完 善。 2 企业信息系统成功评价的复杂性分析 2 1 企业信息系统成功评价的复杂性 企业信息系统成功评价是指对信息系统的性能进行全面估计、检查、测试、 分析和评审，包括对实际指标和计划指标进行比较，以求确定系统目标的实现程 度，并对系统建成后产生的经济效益和社会效益进行全面的评价”1 。 现代企业信息系统已经不再是单纯的技术系统，而是一个由技术、组织、管 理等多种要素紧密集成的社会技术系统。因此，对企业信息系统的评价也不再是 简单的技术评估问题，而是一个复杂的社会过程。要对企业信息系统进行全面、 正确的评价，就必须先充分认识信息系统评价的复杂性。这种复杂性主要表现在 以下几个方面”： ( 1 ) 企业信息系统建设具有特殊的技术经济特点：( a ) 既可以产生直接 利益，又可以产生间接利益；既可以产生有形利益，又可以产生无形利益；既 可以产生战术利益，又可以产生战略利益：( b ) 信息系统建设发挥作用的时间 较长，有明显的滞后效应：( c ) 信息系统项目几乎影响企业的生产经营的各个 方面，可能对企业的生存发展产生根本性的影响。所以信息系统建设所产生的 利益和对企业的影响很难被确定和量化。传统的项目技术经济评价体系，不适 合对现代企业的信息系统项目进行评价。 ( 2 ) 企业信息系统成功有时取决于从哪个角度去评价。不同评价主体对 成功的理解是不同的。技术专家关心信息系统的技术性能；系统的实施者( 例 如项目经理、实施顾问等) 会认为按时、按预算使信息系统正常运行起来就是 成功：信息系统用户会认为通过信息技术应用使工作绩效得到提高才是成功， 不同部门的用户所关注的绩效指标也会不同；而企业高层管理者恐怕更关心信 息系统项目给企业带来的长期商业利益。对同一信息系统项目，不同的评价主 体会选择不同的评价标准和方法，所得到的评价结果可能截然不同。 ( 3 ) 企业信息系统的建设几乎会影响到企业内、外部各个方面的运作， 因此，对信息系统成功的评价必须考虑多方面的因素。信息系统本身的表现( 例 如系统质量、信息质量等) 固然重要，但更重要的是人们如何理解、使用、维 护信息系统，并利用信息系统给企业带来经济利益。 ( 4 ) 企业信息系统建设是一个可能持续很长时间的过程，是分阶段进行的。 企业f 0 息系统成功评价研究 因此，在信息系统建设过程的不同阶段，企业重点关注的评价指标是不同的，阶 段性的成功和失败并不代表整个信息系统项目的成败。 综合以上几个方面的分析，我们可以发现，对于信息系统成功评价的复杂性， 主要可以从三个角度进行综合描述：多阶段性、多主体性和多层次性。 2 2 企业信息系统成功评价的多阶段性 2 2 1 评价阶段的划分 企业信息系统实施并不是简单地安装一个软件或采用一项新的技术，而是实 施一个商业项目。m a r k u s & t a n i s “”认为，信息系统的实施过程开始于系统的 计划阶段。当计划完成以后，项目团队开始组建，并经历一系列具体的项目阶段。 而当系统上线并且开始运行后，还需要经历系统的稳定和提升阶段，并进行系统 的实施后评价。基于此，他们把信息系统的实施分成了计划、项目和提升三个阶 段，而这与国内学者徐维祥等人提出的事前、事中、事后的评价阶段划分不谋而 合。 ( 1 ) 计划阶段( 事前评价) ：系统实施的指导原则和相关决策制定的过程。 主要活动包括：信息系统的选型，成立指导委员会，项目实施范围和实施方法的 确定，项目团队经理的任命和资源分配等。 ( 2 ) 项目阶段( 事中评价) ：对信息系统进行配置，并在整个组织内铺开， 主要指从信息系统设置、安装到系统上线的整个过程。主要活动包括：软件配置， 系统集成，测试，数据转换，培训和实施铺展等。 ( 3 ) 提升阶段( 事后评价) ：从系统上线到系统正常运行，直到最终的稳定 运行。在这一阶段，企业丌始从信息系统中获得商业利益，并计划实施新的技术。 主要活动包括：系统修补，升级i t 基础设旌，修改业务实践和业务流程，系统 功能扩展和变革等。 2 2 2 不同评价阶段的评价准则 出于每个阶段的工作性质和工作内容各不相同，为了适应各个阶段的不同 要求，评价的内容应有所侧重，相应的，评价的标准也应有所不同。 企业信息系统成功评价研究 ( 1 ) 计划阶段 在计划阶段，因为项目还未正式开始，对信息系统的评价可以说是种预测 性评价。因此，计划阶段的评价内容主要为系统实施前期准备的充分程度。除了 技术、资金等方面的准备外，还必须做好管理、意识的准备。 通常，我们将信息系统的事前评价和项目的可行性研究结合在一起进行。评 价的主要内容包括以下四个方面： 管理可行性：公司的管理水平、管理制度能否满足系统实施的需要? 经济可行性：信息系统投资是否值得? 公司能否承受系统实施的高额成 本? 系统能给公司带来什么样的收益? 技术可行性：公司能否满足系统实施所需的设备、技术和人才资源? 操作可行性：公司能否支持由系统实施引起的工作方式、管理模式等方 面的变革? ( 2 ) 项目阶段 在项目阶段，系统评价的目的是保证系统实旌的进度和质量，使其朝着既定 的目标发展。由于项目阶段集中了信息系统实施的主要开支，而取得的利益却很 少，对进度和费用进行正确的控制是后继项目阶段顺利开展的前提。项目阶段越 长，从系统取得的总体经济利益就越少。而且如果项目阶段运行很差，项目可能 会被终止，或者缩减项目范围，从而失去对核心战略流程的支持。 项目阶段的主要评价内容为系统的进度、质量和成本。主要的评价指标包括： 系统建设评价指标：系统实旅进度、用户需求满足程度、系统开发效率、 资源利用率、系统建设规范程度、系统整体先进程度等。 系统性能评价指标：系统可靠性、系统效率、系统适应性、系统可移植 性、系统可维护性、系统可扩充性和系统的安全保密性等。 系统实施成本评价指标：相对于预算而言的项目成本。 ( 3 ) 提升阶段 在提升阶段，旧系统被取代或良好整合，新系统开始稳定运行，用户对新系 统的操作逐渐熟练，管理者利用系统提供的数据进行决策，并对业务流程和软件 配置进行附加的变革。此外，企业还需承担额外的新费用，用于暂时的、加班的 人工成本、咨询费用、额外的i t 资源投资等。系统从上线到稳定所需的时间越 长，系统的整体效益就越差，并且如果该阶段的效果太差，系统可能被移除或企 业员工不愿意再去使用系统，从而阻碍信息系统整体效益的发挥。 因此，在提升阶段，信息系统评价的重点在于系统上线后关键绩效指标的波 企业信息系统成功评价研究 动和企业通过信息系统获得了哪些商业利益。主要的评价指标有： 关键业务绩效取得f 常或预期水平要达到的时间 取得的商业利益，如i t 运作成本降低、节约库存保管费用等等 系统稳定运行后，实施新版本、新技术、新变革的容易性 2 3 企业信息系统成功评价的多主体性 2 3 1 评价主体的划分 信息系统是一个复杂的社会技术系统。系统在组织内的实施，不仅会涉及到 组织中的部门和员工，还会对企业外部的顾客、供应商甚至整个社会产生影响， 产生所谓的扩散效益。 因此，对企业信息系统的评价存在多个主体”。这些评价主体主要包括： ( 1 ) 系统用户。系统使用和维护的主体。系统用户可以分为主要用户和次 要用户。主要用户是基于系统输出进行决策的群体，如组织中的管理人员。次要 用户是为系统提供和维护数据的群体，但他们并不直接从系统输出中获益，如数 据录入者，控制人员等。 ( 2 ) 信息系统项目团队。团队主要负责和支持系统的组织、实施和控制工 作。项目经理为团队的领导者，团队成员包括系统分析师、程序员以及参与系统 开发和实施的用户。 ( 3 ) 高层管理人员和企业所有者。高层管理人员和企业所有者往往是企业 信息系统项目的发起人和倡导者，主要负责信息系统实施的发起、计划、组织、 协调和支持工作。他们的支持是企业信息系统实施的关键成功要素。 ( 4 ) 外部实体。企业信息系统的实施，还会影响到企业和客户、供应商等 的合作关系。因此，客户、供应商等外部实体也将作为评价主体之一对信息系统 的实施进行评价。此外，外部实体还包括第三方评价机构、参与项目的咨询机构 等。 2 3 2 不同评价主体的评价准则 任何主体都是从自身需要出发来评价信息系统。既然不同的评价主体所关心 的重点和利益不尽相同，因此，他们选择的评价原则也将大不相同。 企业信息系统成功评价研究 ( 1 ) 系统用户 从用户的角度来看，信息系统的价值很大程度上取决于系统能够帮助用户更 有效、更高质量地完成工作的程度。不为用户所支持的信息系统，很明显将不能 给组织提供价值。因此，系统用户主要评价系统及其服务的质量。 用户信息满意度是用户对信息系统进行评价的有力工具。所谓信息满意度， 是指用户认为信息系统能满足他们的信息需求的程度“。满足用户需要的信息系 统会加强用户对它的满意度。而如果系统不能提供用户需要的信息，用户会对系 统产生不满意，从而减少信息系统的使用，并最终阻碍信息系统利益的实现。 用户信息满意度的衡量主要涉及两个方面。2 “。： 提供的信息产品的质量：主要评价信息系统的内容( 如准确性、相关性) 和提供的信息的方式( 如格式、模式等) 。评价指标包括输出可靠性、准 确性、及时性、界面友好性等。 系统人员和服务的质量：主要评价信息服务部门提供的信息服务的综合 质量。评价指标包括：培训、文档化、开发流程和系统维护等。 ( 2 ) 信息系统项目团队 信息系统项目团队主要负责信息系统的开发、实施和管理。他们主要关注的 是信息系统的技术特性，以及系统是否按照进度、预算和预期目标进行“1 。因此， 系统项目人员对系统的评价主要包括： 系统建设评价指标：系统建设评价是指对信息系统实施和管理过程进行 评价。主要的评价指标包括：用户需求满足程度( 是否达到或超过了期 望值) 、系统开发效率( 项目建设程度) 、资源利用率、系统建设规范程 度( 系统文档的规范性、完备性) 、系统整体先进程度( 系统总体方案和 丌发方法的先进性) 等。 系统性能评价指标：信息系统的特性是出信息系统的各组成部分( 包括 计算机硬软件资源、人员、规程和各种规章制度) 形成的整体队使用者 所表现出来的技术特性。系统性能的好坏决定了系统运行和应用的持久 效果。因此，系统性能评价指标是信息系统评价的主要内容。普遍使用 的评价指标主要包括：系统可靠性( 系统的无差错概率、容错能力等) 、 系统效率( 周转时间、响应时阳j 、吞吐量等) 、系统适应性、系统可移植 性、系统可维护性、系统可扩充性和系统的安全保密性。 ( 3 ) 高层管理人员和企业所有者 高层管理者和企业所有者关注的是企业的总体利益和长远发展，他们支持信 4 企业信息系统成功评价研究 息系统项目实施的根本目的在于借助于系统的实施来实现其战略目标，并在未来 创造更大的竞争优势，如全球合作的潜力，提高组织形象，吸引更多有价值客户 等。因此，高层管理者和企业所有者在评价信息系统成功与否时，主要考虑系统 给企业带来的利益，不仅是有形的，还包括无形的利益。根据s h a n g s e d d o n 提 出的信息系统利益框架，管理人员期望从系统实施中得到的利益主要有以下五大 类： 运作利益：节约成本、缩短周转周期、提高生产率、提高产品质量、提 高客户服务质量 管理利益：优化资源管理、优化决策制定、优化绩效控制 战略利益：支持现有和未来的业务增长计划、支持业务联盟、支持业务 创新、支持成本领先、支持产品差异化、支持外部协作、支持全球性扩 张、支持电子商务 i t 基础利益：增加业务弹性、节约i t 成本、提高i t 基础能力 组织利益：支持组织变革、促进组织学习和拓宽员工技巧、促进授权、 形成共同愿景、支持变化的员工行为、更好的员工道德和工作满意度 ( 4 ) 外部实体 客户、供应商等外部实体主要关心的问题可以分为四类：时间、质量、性能 和服务、成本”1 。其中时间评价公司满足外部实体需要的时间，如公司收到订单 到实际运送产品的时间，新产品从开始研发到实际投入市场的时间，等等。质量 评价包括外部实体对公司产品或服务质量的认知和评价，公司提供产品或服务的 及时性，准确性，等等。性能祁服务评价公司的产品或服务如何为外部实体创造 价值。而成本则是指外部实体为了获得公司的产品或服务而必须付出的代价。 因此，外部实体对公司信息系统的评价也主要关注系统如何在这四个方面为 他们带来更大的价值和满意感。由此，相关的评价指标为： 系统实施是否缩短响应时间 系统实施是否提高产品和服务质量 系统实施是否能创造更大的价值 系统实施是否降低产品或服务的成本 2 4 企业信息系统成功评价的多层次性 信息系统实施给企业带来的效益是多方面的会扩散到企业中的各个层次。 企业信息系统成功评价研究 而且每一个层次都有不同的系统使用水平和系统使用要求。因此，在进行信息系 统评价时，必须结合每一个层次的系统使用特点，选取适合的评价指标。 2 4 1 评价层次的划分 信息系统实施给企业带来的效益主要体现在以下四个层次上”“： ( 1 ) 操作层：信息系统主要被用于处理例行性的同常业务活动，提高日常 工作效率和效益，如库存管理，销售额统计等等。 ( 2 ) 知识层：信息系统主要服务于知识和数据工作者，其作用在于帮助企 业发现、组织和整合新的信息和知识，并对企业内部、企业与外部环境的信息传 递进行协调，以保证信息流的顺畅。 ( 3 ) 管理层：信息系统主要被用于协助企业的中层管理者规划和控制企业 的运作，获得整个企业内部和外部的信息，以解决半结构化问题。辅助决策的制 定。信息系统的重点在于优化企业决策，保证企业的良性运营。 ( 4 ) 战略层：信息系统是帮助企业实现战略目标的有力工具。它能提供准 确、充分的信息，使企业根据外部环境的动态变化，不断做出调整，从而在激烈 的竞争中保持或获得竞争优势。信息系统实施的重点在于支持企业形成和实现竞 争战略。 2 4 2 不同评价层次的评价准则 企业信息系统在每一个层次上的不同使用水平和因此而带来的不同效益， 这就决定了企业信息系统评价必须结合每一个层次的系统使用特点，选取适合 的评价指标。 ( 1 ) 操作层 企业信息系统实施给操作层带来的效益，主要体现为企业生产、工作效率 的提高，实施后企业成本的降低等。因此，系统评价的重点在于系统对企业日 常运行和控制的支持。评价指标主要包括： 成本缩减：人工成本、库存成本、管理费用等； 生产率的提高 周转周期的缩短：客户或供应商订单服务的周期缩短、资金周转周期缩 短： 企业信息系统成功评价研究 客户服务质量提高：客户数据的易于获取、客户请求的快速响应； ( 2 ) 知识层 企业信息系统实施在知识层上的效益主要体现为用知识和数据支持相关人 员的工作，并帮助公司整理和提炼有用的信息和知识。因此，系统评价的重点 在于系统对知识员工工作的支持。主要评价指标包括： 系统的信息质量：准确性、及时性、完整性、相关性、可理解性和格式 等； 知识员工工作质量的提高：工作效率、自动化程度、快速学习能力； 知识员工工作环境的改善：统一的工作平台、集成的数据库、员工间的 有效沟通。 ( 3 ) 管理层 企业信息系统实施在管理层的效益主要体现为对企业决策的优化，并保证 企业的良性运营。因此，系统评价的重点在于系统对决策的支持程度。评价指 标主要包括： 决策制定的优化：操作层决策( 资源管理柔性化、生产变动的快速响应) 、 战略决策( 快速市场反应、有效的n n , t u 成本控制) 、客户服务决策等； 绩效控制的完善：财务绩效控制( 产品、顾客、部门等组合信息的及时 获取) 、生产绩效控制( 生产变动预测、监控和快速调整) 等； 资源管理的优化：库存管理优化( 库存周期缩短、及时准确的库存信息、 令