IT项目绩效评价体系的研究和应用_第1页
IT项目绩效评价体系的研究和应用_第2页
IT项目绩效评价体系的研究和应用_第3页
IT项目绩效评价体系的研究和应用_第4页
IT项目绩效评价体系的研究和应用_第5页
已阅读5页,还剩4页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、IT项目绩效评价体系的研究和应用 镇江市审计局 汤晓超 【点击数: 537 】【时间:2011-01-14 11:05:23.0】     摘要 针对IT项目绩效审计刚刚起步以及现行审计人员在IT项目绩效审计所遇到的绩效评价困难,通过对现行评价体系的研究,提出了一种全新的IT项目绩效审计评价体系,并根据该体系建立了相应的评价模型。通过审计实务的验证,证明了该评价体系的创新性和实用性。    关键词 绩效审计;IT项目;评价体系;评价模型     IT项目绩效审计又称为信息系统绩效审计1,是对一个

2、组织利用IT资源的经济性、效率性和效果性的评价。如当今我国政府重点推出“金财、金税、金 审”等电子政务工程,企业也投入资金购买或开发ERP管理系统,目的就是通过信息技术提高单位工作效率,创造更多的经济效益和社会效益。随着这些IT项目 被越来越多的单位使用,这将大大降低管理成本,改善管理效益,提高管理部门的服务水平和工作效率。但在IT项目实施后,单位却难以对其应用效果及其带来的 绩效进行有效评价。因此审计部门有必要对IT项目进行绩效审计,对IT项目投入、建设和应用等方面进行全面的了解和分析,建立相应的绩效评价指标体系,确 定IT项目的水平及效益状况。2010年4月12日,世界审计组织IT审计工作

3、组第6届效益审计研讨会上刘家义审计长提出“中国审计署已经确定,到 2012年,所有的项目都要开展绩效审计,绩效评价指标体系必不可少。建立一个适用的、能得到业界广泛认同的衡量体系,促进IT项目绩效审计的规范化,正 是世界审计组织IT审计工作组能够发挥作用之处。”由此可见,作为监督部门的审计机关,其工作手段、技术方法、组织方式乃至工作思维都要与之相适应,因此 IT项目绩效审计成为绩效审计的一个重要组成部分,而IT项目绩效评价体系的建立和应用更是审计部门亟需解决的问题。    本文通过研究现行IT项目绩效评价体系,提出了全新的绩效评价模型,并结合我单位09年某市公路收费

4、系统审计案例,探讨了该指标体系的应用过程。    一、IT项目绩效评价的现状    1. IT项目绩效评价的层次    (1)IT项目绩效评价的宏观层面。宏观评价主要是单位根据信息化总体目标的要求,建立绩效评价的标准指标体系和数据的测度方法,统一测算和颁布不同行业 不同规模的标准值,作为不同行业和不同规模企业进行IT绩效横向比较的依据,以判断单位在同行业、同规模、同区域的水平地位和主要差距,更有利于绩效评价 制度的科学性。目前世界上较为流行的IT项目绩效评估体系有:a.哈佛大学与世界经济论坛的“网络化准备

5、指数”评估体系2;b.美国国际数据公司 (IDC)“信息社会指数”评估体系3;c.澳大利亚“信息经济办公室指数”评估体系;d. 英国电子经济评估体系;e. 韩国“信息化指数”评估体系4等等。    (2)IT项目绩效评价的微观层面。微观评价主要是以IT项目作为主要对象进行评价,即单位根据自身业务发展和信息化项目的需要,评价自身信息化实施的状 态和效果。信息化在实施过程中往往分为几个不同层面:战略层、控制层、执行层,分别对应于单位的战略管理层、信息部门和具体的项目组。因此,对于IT项目 绩效评价也可以根据不同管理层不同关注重点划分为三类5:a.以信息化战略施为基础的

6、绩效评价;b.以信息化管理控制为基础的绩效评价;c.以信息化 项目管理为基础绩效评价。    2. IT项目绩效评价的复杂性    IT项目实施绩效评价是对单位在生产和经营的各个环节推广和应用的IT项目对企业生产、管理和决策等的效率、水平与经营效率的影响进行全面估计、检查、测 试、分析和评审,对照统一的标准,建立特定指标体系,运用数理统计、运筹学等方法,按照一定的程序,通过定量定性对比分析,对一定经营期间的IT项目的效 果做出客观、公正和准确的综合评价。它包括对实际指标和计划指标进行比较,以求确定项目目标的实现程度,并对IT项目建成后

7、产生的经济效益和社会效益进行 全面的评价。    IT项目实施绩效评价的复杂性6主要表现在以下几个方面:    (1)IT项目建设具有特殊的技术经济特点:由于IT项目投资的复杂性以及投资回报主要体现在“间接效益”方面,因此,不能指望所有的IT项目投资都有可以度量的回报,并且其建设发挥作用的时间较长,有明显的滞后效应。    (2)IT项目建设具有特殊的技术融合特点:由于信息技术处于不断的变化发展过程,而且变化的节奏使单位无形中承受巨大的机会风险,并且信息技术本身具有 很强的渗透性特征,表现出IT项目需要与

8、业务进行融合。信息技术具有的价值潜力,必须在单位资源整合、组织机构发生重大变革后,才能显现出来。    (3)IT项目建设具有特殊的技术评价特点:IT项目的建设几乎会影响到单位内、外部各个方面的运作,因此,对其成功的评价必须考虑多方面的因素。IT项 目本身的表现(例如:系统质量、信息质量等)固然重要,但更重要的是人们如何理解、使用、维护IT项目,并利用IT项目带来经济利益和社会效益。    3. IT项目绩效评价主要存在的问题    近年来,随着各单位加大了IT项目的资金投入,审计部门也加强了对IT项目的

9、绩效审计,但是在实际操作中,审计人员对IT项目的绩效评价存在着较多的问题:    (1)IT项目绩效评价着眼于投入角度的评价。近几年IT项目绩效审计主要是从IT项目设备、IT项目资源开发利用等投入角度综合考虑IT项目的绩效评 价,但实际上对IT项目建设高投入并不意味着能够提高单位的经济效益、社会效益和竞争力,即IT项目投入与其绩效不是成正比关系,以投入为主的绩效评价难 以全面和正确衡量IT项目的绩效。    (2)IT项目绩效评价结果失真。近年来,审计人员侧重于财务方面的评价,通常采用投资回收期、投资收益率、净现值等方法衡量IT项目应

10、用的效果。这种评 价最大弊端在于忽视了IT项目的无形收益,而无形收益占据IT项目收益的相当大比例,另外财务指标是结果型指标,只能反映出最终结果,而无法反映出过程, 造成了IT项目绩效评价结果失真。    (3)缺乏成熟、明确的评价指标体系。由于各单位开展的业务不同,IT项目绩效审计的对象千差万别,针对IT项目经济性、效率性和效果性的评价指标很难统 一,甚至同一项目会有多种不同的评价指标,而采用不同的评价指标,得出的结论也会有所差别。现阶段我们在进行IT项目绩效审计评价时,受诸多因数的一项, 评价指标相对单一、定量评价内容相对较多,定性评价相对不足,这就造成了我们的

11、IT项目绩效审计结果不全面、准确性差。     在国家信息化水平评价方法的指导下,一些用于IT项目的评价模型也已被提出,但主要还是根据信息化装备水平、员工信息化知识、信息系统覆盖范围等方面进行 评价,而缺乏对于IT项目体系结构、信息化规划的质量、信息共享与集成的技术等方面进行评价,因此只能是IT项目信息化水平的宏观评价。本文从IT项目提 供商、系统用户、监理方等角度寻求一种共赢切入点,从技术、非技术、经济角度等对IT项目进行全方位考虑,注重IT项目过程和结果的评价,从价值增值的角 度来评价IT项目绩效,将IT项目绩效与对组织绩效的影响联系在一起,形成一套完整的、能

12、够被广泛接受的IT项目绩效评价模型。    二、IT项目绩效评价指标体系    建立IT项目绩效评价指标体系的目的是检验IT项目现有或者潜在价值。IT项目绩效评价与其他评价不同,其突出在IT项目建设和应用过程中,尤其是项目实 施效果,在评价指标体系设定时,重点考虑技术因素、组织管理和学习创新方面的内容,而系统的特征一般有若干个要素来体现。这些因素的结合被称为评价系统的 特征,这些因素就被称为评价指标。所谓综合评价指标体系7是指一套能够全面反映所评价IT项目的总体目标和特征,并且具有内在联系、起互补作用的指标 的集合。 

13、60;  1指标体系建立的原则。IT项目绩效评价指标体系的设计是正确、合理评价IT项目绩效基础,为单位战略决策提供有力依据,使IT项目更加完善,产生更大 的经济和社会效益。为此,指标体系设计应遵循以下原则:a.指标体系科学性与先进性原则:它应有效地反映IT项目的基本特征,并能全面地反映评价对象的综 合情况,从中抓住主要因素,既能反映直接效果,又能反映间接效果,以保证绩效评价的全面性和可信度;b.可测性原则:指标涵义明确,数据资料收集方便,计 算简单,易于掌握;c.定性分析与定量分析相结合原则:为了进行综合评价,必须将部分反映IT项目基本特点的定性指标定量化、规范化,为采用定量评价方法

14、 打下基础;d.指标之间应尽可能避免显见的包含关系:对隐含的相关关系,要在模型中用适当的方法消除。    2指标体系的建立。一般来讲,对IT项目进行绩效评价需从系统建设、系统性能、经济效益和社会效益等方面去综合考虑。在以前的一些研究中,指标体系的建 立比较注重对IT项目自身的评价,而对于系统所带来的效益方面强调的不是太多,与常用IT项目绩效评价指标不同的是本文将经济效益和社会效益分开都作为一 级指标,并对社会效益进行了详细的划分,从而突出了IT项目带来的效益。把IT项目自身的性能和其带来的效益并重,进行了综合评价。充分考虑IT项目组织 管理者、用户和提供商等意见,

15、遵循评价指标设计的原则,并参考一些相关专家的意见,设定IT项目系统建设、系统性能、经济效益、社会效益及对使用者价值等 五个一级指标,并分别设置相应二级指标。如图1所示IT项目绩效评价指标体系。图1 IT项目绩效评价指标体系    三、IT项目绩效评价模型    1IT项目绩效评价模型的建立    IT项目绩效评价模型可分为概率模型和统计模型两类。概率模型主要是利用已知的信息导出所求问题的数学表达式和关系式,从而确定决策信息。统计模型是事先 并不知道所求问题的数据分布,只能从观测数据出发通过分布的假设来推断

16、数据总体的分布类型,进而估计分布参数及其取值。IT项目的数学模型包含若干具有明显区别的树立阶段,用图2来表示。图2 IT项目综合绩效评价模型建立过程图    这个图可以帮助我们成功地组建IT项目评价的模型,并且给我们提供了对任何的评价问题建模的通用的思考途径。    2IT项目综合绩效评价的实现    (1)确定指标值。对评价指标进行量化处理从上表可以看出,绝大部分的指标均为定性指标,难于用数量来表示。有的指标虽然可以用定量来表示,但要确切计算 出数值的大小是不容易的。例如社会效益指标,更是难以用定量来表

17、示,对于这类指标采用定性评价会更方便些。在实际评价工作中,由专家对指标作定性评价,然 后进行量化处理。假定专家对某一指标的定性评价用9,8,7,6,5,4,3,2,1计分,非常好为9分,非常差为l分。记为第i个信息系统在第m方面的 第n个指标的得分,则相应的指标值。    (2)计算指标间关联度。根据设立的指标体系设计调查表,向专家发放调查表,请各位专家对该企业信息系统评价指标体系进行评分,从而得出各层次指标间的相 互重要程度。考虑到指标和比较期在总体评价中的作用不同,应对数据进行加权处理,而加权系数的确定可采用AHP法。    (3

18、)构建判断矩阵。计算单一准则重要性排序,采用特征方程计算出矩阵的最大特征根,所求特征向量即为各评价指标重要性排序,也就是权数分配。并进行一致性判断,检验权数的分配是合理的;否则需调整判断矩阵,直到达到满意的一致性为止。    (4)确定指标的隶属度。该领域的专家、高层管理人员和用户一起对IT项目进行评价,评价结果用隶属度矩阵R表示。    (5)计算评价值。在隶属度矩阵R获得后,接下来就是计算IT项目的综合评价向量S,为了在综合评价中能适当兼顾各因素,并保留单因素评价的全部信息,采用综合评价的加权平均型模型,可以获得较好的效果,所以有

19、:        (6)对评价结果的分析与利用绩效评价实质上是一种管理控制手段,它不过是将已发生的结果和预先确定的标准来进行对比,来判断现在的状态的好坏,以供管理者采取下一步进行时参考。    3IT项目综合绩效评价模型    (1)权重的设置    a.由决策者两两比较各因素si(i=1,2,n),按萨迪标度或其他方法给出判断矩阵A=(aij)n*m;    b.用特征向量法或者几何平均法算得权重向量w以及相应的最

20、大特征值。因为特征向量法计算太复杂,本研究中采用精度很高的几何平均法。权重计算方法为:         最大特征值的计算方法为:        c.对判断矩阵进行一致性检验,若CIKn,则R基本满足一致性,w可用,停止;否则转步骤(4)。其中一致性指标CI的计算方法为:        d.依法修正判断矩阵R,返步骤(b)。    (2)指标评价矩阵的建立  

21、  在数值模糊化基础上,每个专家对每个二级评价指标可以给出一个评价值,用评价向量Si= (si1, si2, si3, sik)表示,元素rks表示第k个评价因素对第s个评价等级的隶属度,它反映了各评价因素与评价等级之间用隶属度表示的模糊关系。    根据得到的权重矩阵Ri和评价矩阵Si,得到第i个一级评价指标的评价向量Bi。    Bi= Ri×Si= (Ai1Ai2Aim)×    (3)模糊综合评价     将单要素模糊评价结果B

22、i(j=1,2,n)进行集成,构成更高一级的评价矩阵S,将评价方面权系数矩阵R乘以S(注:这里的运算可以采取多种算 子),从而得出综合评价结果,即:B = AR= (a1,a2,am)(B1,B2,Bm)T,综合评价矩阵B不仅考虑了所有因素的影响,而且保留了各级评价的全部信息。根据综合评价矩阵B,利 用最大隶属度原则就可以得到信息系统绩效的水平等级。通过分数等级向量的计算还可以算出具体分值。    四、IT项目绩效评价模型在实际审计中的应用    2009年,我们对某市公路处公路收费信息系统进行了信息系统审计,并将IT项目绩效评价模型

23、首次应用到审计项目中。我们通过对专家、企业高层管理人员和用户一起根据所确定的评语集对上述建立的指标体系进行评价,得到的公路收费信息系统绩效评价矩阵如表1所示。表1 公路收费信息系统绩效评价矩阵评价方面 评价因素 评价等级优秀良好较好合格不合格信息系统实施系统目标实现度系统整体先进性系统的实惠性资源利用率0.40.10.30.20.20.30.20.30.20.30.20.30.20.20.20.20.00.10.10.0信息系统性能系统可靠性系统可维护性系统可移植性系统保密性0.40.30.20.40.30.20.20.30.20.30.30.20.10.10.20.10.

24、00.10.10.0经济效益有形经济效益无形经济效益0.40.30.20.20.20.20.10.20.10.1社会效益提高应变能力提高人员素质减少决策失误和事故提高社会信息化水平0.20.20.30.30.30.30.30.30.20.20.20.10.20.20.10.20.10.10.10.1信息系统价值用户满意度对管理的科学性0.20.20.30.40.20.20.20.10.10.1    模糊矩阵是利用专业测试方法和专家调查用隶属度表示的,其中IT项目建设评价要素的模糊矩阵为S1,权重系数为R1,该要素的综合评价矩阵为:  

25、0; B1= A1×R1=      = (0.26 0.26 0.22 0.28 0.04)    将结果进行归一化得:B1= (0.25,0.25,0.16,0.28,0.06),采用相同的方法可以得到“系统性能”、“经济效益”等评价方面的综合评价矩阵,分别为:    B2= (0.26,0.26,0.15,0.15,0.18)    B3= (0.40,0.23,0.21,0.13,0.03)    B4= (0.25,0.32,0.16,0.15,0.12)  

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论