政务信息化后评价指南

政务信息化后评价指南

1范围

本标准规定XX省政务信息化后评价的原则、内容、方法、程序和机构。

本标准适用于策划、组织、实施各种类型XX省政务信息化项目的后评价工作。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件,

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T23691—2009项目管理术语

GB/T25647—2010电子政务术语

GB/T25069—2022信息安全技术术语

3术语和定义

GB/T23691—2009、GB/T25647—2010.GB/T25069—2022界定的以及下列术语和定义适用于本文

件。

3.1项目后评价postprojectassessment;postprojectevaluation

对」结束项目的目标、执行过程、结果、效益、作用和影响等进行分析、总结和评估的活动。

[GB/T30339—2013,定义3.1]

37项目应用机构projectoperationorganization

项目建设主体机构，或项目使用、运营的主体机构。

[GB/T30339—2013,定义3.2]

?3项目评价机构projectassessmentorganization;projectevaluationorganization

实施项目评价的主体机构。

4符号和缩略语

LFA,逻辑框架法(logicalframeworkapproach)

CE,综合评价(ComprehensiveEvaluation)

AHP,层次分析法(AnalyticHierarchyProcess)

CI,一致性指标(ConsistencyIndex)

RI,随机一致性指标(RandomIndex)

CR»一致性比例(ConsistencyRatio)

5基本原则

5.1独立性

XX省政务信息化后评价工作应由具备相应能力的独立第三方机构单独进行，不应受项目利益相关方

的干扰。

5：客观性

XX省政务信息化后评价过程应以事实为依据，客观反映项目决策、项H管理、运行维护和应用的实

际状况，在可靠的文件及明确的数据基础上，实事求是地得出评价发现与结论。

53针对性

应针对XX省政务信息化项目的具体特征选择评价方法，综合考虑项目级别、类型，规模，复杂程度

等要素，确保分析和结论的科学、适当、实际。

5.4结构性

应针对XX省政务信息化项目，综合考虑项目实体业务结构和数字化功能结构，集合公共管理与IT

技术等多视角，做好科学解读和综合研判。

6XX省政务信息化后评价方法

61基本方法

XX省政务信息化后评价主要采用定性和定量相结合的方法，包括综合评价法、逻辑框架法、层次分

析法、成功度评价法，以及国际国内通行的其他方法等。具体项目的后评价方法应根据项目特点和后评

价的要求，选择一种或多种方法对项目进行综合评价。

A3综合评价法

2

综合评价法即多指标综合评价方法，是指使用比较系统的、规范的方法对于多个指标、多个单位同

时进行评价的方法。综合评价一般采取主客观结合的方式，评价指标的选取和指标权重设置是关键。该

方法采用的计算方法需要考虑的问题比较复杂，但因其综合性和系统性的显著特点在实践中广泛应用。

计算机的普及降低了综合评价的计算方法复杂度，增强了评价作用。

6.3逻辑框架法

逻辑框架法是一种设计、计划和评价的方法，通过投入.产出、具体目标、宏观目标四个层面对项

目进行分析和总结。从确定待解决的核心问题入手，向上逐级展开，得到其影响及后果，向下逐层推演

找出其引起的原因，得到“问题树”，并将描述的因果关系转换为相应的FI标关系，得到“目标树”和

对应的“规划矩阵”。逻辑框架汇总了项目实施活动的全部要素，并按宏观目标、具体目标、产出成果

和投入的层次归纳了投资项目的目标及其因果关系。

A4层次分析法

层次分析法是指将一个复杂的多目标决策问题作为一个系统，将目标分解为多个目标或准则，进而

分解为多指标（或准则、约束）的若干层次，然后采取求解判断矩阵特征向量的方法获得每一层次的各

元素对上一层次某元素的优先权重，最后用再加权求和的方式递阶归并各目标对总目标的最终权重，以

作为目标（多指标）、多方案优化决策的系统方法。

6S成功度评价法

成功度评价法也叫专家打分法，是依靠评价专家组的经验，对照项目立项阶段所确定的目标和计划,

综合测评项目各项指标的评价结果，对项目的成功程度做出定性的分析。

7XX省政务信息化后评价程序

7.1基本程序

根据《XX省省级政务信息化项目管理办法》（川办发（2021）49号），XX省政务信息化后评价包括

前期准备、应用机构自评、实施评价、评价报告撰写、评价结果应用五个阶段。

XX省政务信息化后评价程序如图1所示。

3

XX省政务信息化后评价指标可划分为管理维度和成效维度，评价基本指标应包括投资决策与建设管

理、运维水平、应用效果、项目效益等四个方面，其中：管理维度具体分为投资决策与建设管理和运维

水平两个方面，成效维度具体分为应用效果和项目效益两个方面。

XX省政务信息化后评价指标体系框架如图2所示。

四川省政务信息化项目后评价指标体系

管理难度成效维度

投资决策与建设管理运维水平应用效果项目效益

业

务

应

项

项

资

项

运

网

用

目

目

源

目

维

络

集

建

投

利

运

组

安

约

设

资

用

行

织

全

化

管

决

水

状

保

保

发

理

策

平

况

障

障

展

水

平

图2XX省政务信息化后评价指标体系框架

82投资决策与建设管理

8.2.1项目投资决策

项目投资决策主要根据项目实施完成的实际情况，对项目立项决策事项进行评价。

8.2.2项目建设管理

项目建设管理主要评价项FI建设实施管理的水平。

8.2.3资源利用水平

资源利用水平主要对项目系统实际运行过程中通信、计算、存储等资源实际使用率与建成的能力进

行比较评价。

8.2.4业务应用集约化发展水平

5

业务应用集约化发展水平主要评价项目系统与内外部其他信息系统的协同开发的程度，以及集约化

共性平台的协同共享情况。

83运维水平

8.3.1项目运行情况

项目运行情况主:要评价项目实际运行的情况。

8.3.2运维组织保障

运维组织保障主要评价项目运维的资金、组织和队伍的保障水平。

8.3.3网络安全保障

网络安全保障主要评价项目运行维护过程中的网络安全保障水平。

84应用效果

8.4.1应用程度

应用程度主要评价项目对业务的支撑力度、系统功能应用频次及受益者满意程度。

8.4.2管理和政务服务效能

管理和政务服务效能主要评价项目对政务FI标的实现程度、业务办理效率提升及改善程度。

8.4.3信息资源共享及数据归集效果

信息资源共享及数据归集效果主要评价信息数据质显以及信息数据开放共享水平。

R£项目效益

8.5.1社会效益

社会效益主要对项目系统使用以后产生的社会效益进行评价。

8.5.2经济效益

经济效益主要对项目系统使用以后产生的经济效益进行评价。

8.5.3应用前景

应用前景主要评价项目创新能力以及应用的可持续性、可推广性。

9XX省政务信息化后评价机构

91总则

6

后评价机构应具有明确的法律地位，应有文件描述其职能和从事技术相关应用咨询的能力范围。

9Z独立性

后评价机构应独立于所涉及的各方，不应是其评价项目的设计方、集成方、供应商、监理方和运维

方，也不应是上述任何一方的授权代表。

92公正性

开展后评价的人员应不受可能影响其判断的来自商业、财务和其他压力的影响，应严格执行工作程

序确保评价的结果不受评价机构意外的人员或组织的影响。

94保密性

评价机构应确保对后评价活动过程中获得的信息保密。

7

错误!文档中没有指定样式的文字o

附录A

（规范性）

评价指标体系

评价指标体系的详细情况如表A.1所示。

表A.1评价指标体系

一级二级

一级一级指二级三级指

指标指标二级指标说明三级指标三级指标说明

指标标说明指标标编号

编号编号

评价项目的立项实施是否符合

1-1-1规划衔接相关政府规划及法律法规的要

求。

根据项U实施

项目完成的实际情评价项目技术方案的先进性以

1-1投资况，对项目立1-1-2技术方案及与批复文件技术方案的差

决策项决策事项进异。

评价项行评价。

自主可控评估项FI应用自主可控软硬件

目投资

投资1-1-3的情况，以及项目批复文件及

决策以水平

决策实际建设情况的差异。

及项目

1与建

建设管评价项目招标采购方案中技术

设管1-2-1招标采购

理的水参数设置的合理性。

理

平和能项目评价项目建设

评价项FI验收整改情况及效

力。1-2建设实施管理的水1-2-2验收整改

果。

管理平。

评价项目实施、运行、维护过

1-2-3档案管理

程中档案规范管理情况。

资源评价项目确定的系统请求响应

在项目系统运请求响应能

1-3利用1-3-1能力和利用率的目标实现程

行时，通信、力利用率

水平计算等资源实度。

8

错误!文档中没有指定样式的文字o

一级二级

一级一级指二级三级指

指标指标二级指标说明三级指标三级指标说明

指标标说明指标标编号

编号编号

际使用率与建评价项目确定的业务计算处理

计算处理能

成的能力进行1-3-2能力和利用率的目标实现程

力利用率

比较评价。度。

评价项目确定的信息系统数据

数据存储能

1-3-3存储能力和利用率的目标实现

力利用率

程度。

评价项目系统外部协同评价项目与承担单位外部的其

业务与内外部其他1-4-1他信息系统之间协同开发的程

应用信息系统的协程度度。

集约同开发的程

1-4

化发度，以及集约

内部整合评价项目与承担单位内部的其

展水化共性平台的

1-4-2他信息系统之间协同开发的程

协同共享情

平程度度。

况。

评估项目系统完成要求的功能

2-1-1系统可用性

的能力。

项目

评价项目实际评估项目系统在运行过程中的

2-1运行2-1-2系统可靠性

运行的情况。连续正常运行情况。

情况

评价项

系统可升级

目系统评价项H系统升级与更新频

2-1-3

性次。

运维的运维

2

水平能力和

运维制度评价项目维保期到期后，申请

保障水2-2-1

维保资金规范性、合理性等。

平。评价项目运维保障

运维

的资金、组织

2-2纽织评价运维服务在岗人员、技术

和队伍的保障

保障运维队伍能力，及使用方对第三方服务

水平。2-2-2

保障商的监督制度建立及落实情

况。

9

错误!文档中没有指定样式的文字o

一级二级

一级一级指二级三级指

指标指标二级指标说明三级指标三级指标说明

指标标说明指标标编号

编号编号

等级分级评价系统达到的信息安全和信

2-3-1

保护水平息系统等级或分级保护等级。

信息安全

评价项n系统运行信息安全保

评价项目运行2-3-2

网络障防护能力的有效性。

维护过程中的技术保障

2-3安全

网络安全保障

保障信息安全

水平。评价项目系统运行安全管理规

2-3-3

管理保障范实施的有效性。

密码应用安评价项目密码管理体系的有效

2-3-4

全性评估性。

评价项目实际应用的系统功能

3-1-1功能应用率

模块的覆盖率以及使用频率。

评价项目对业

务的支撑力评价项目实际应用机构/用户数

应用

3-1-2用户覆盖率

3-1度、系统功能

程度量的情况。

应用频次及受

评价项

靛者满意度。受益者

目满足

3-1-3项目系统受益者的满意程度。

业务需满意度

应用求的能

3公共服务普评价项目对改善公共服务普惠

效果力和信3-2-1

惠改善程度成效的贡献。

息资源

管理

共享的评价项目实现秩序类公共事务

和政评价项目对提

水平。机制秩序改管理转型，改善竞争、博弈及

3-2务服升政务效能的3-2-2

善程度合作活动秩序，维护协同机制

务效贡献度。

健康的贡献。

能

业务流程和评价系统使用后的业务办理流

3-2-3

质量程和业务办理质量提升情况。

10

错误!文档中没有指定样式的文字o

一级二级

一级一级指二级三级指

指标指标二级指标说明三级指标三级指标说明

指标标说明指标标编号

编号编号

评价信息系统中的数据是否符

合相关标准和数据规范，或者

3-3-1数据标准化

项目制定了新的标准规范，以

及标准规范的使用程度。

评价项目系统内部以及与其他

系统之间对同一业务对象的描

3-3-2数据一致性

述在编码、格式、含义等方面

的一致性。

评价项H系统在数据采集、加

333数据时效性工、计算和展示方面的及时性，

信息

是否在规定时间内更新信息。

资源

评价信息数据

数据共享

共享评价项H确定的部门间数据共

质量以及信息3-3-4

3-3及数享接口的部署情况。

数据开放共享接口部署率

据归

水平。

集效提供共享评价项目提供给其他部门的数

果3-3-5

数据信息量据信息量及共享数据方式。

提供数据

评价项目为其他部门（单位）

3-3-6

服务次数提供数据服务的情况。

数据共享评价项目数据共享机制建设及

3-3-7机制及应用实际利用数据处理支撑平台的

平台情况。

信息资源评价项目实际利用外部系统的

3-3-8

利用率数据的次数和频度。

评价项促进政府

项目社会评价项目系统评价项目促进政府职能转变方

4目建设4-14-1-1

效益效益使用以后产生职能转变面的效益。

的经济

11

错误!文档中没有指定样式的文字o

一级二级

一级一级指二级三级指

指标指标二级指标说明三级指标三级指标说明

指标标说明指标标编号

编号编号

社会效的社会效益。提高办事评价项目提高办事效率方面的

益以及4-1-2

效率效益。

应用前

景O提高工作

评价项H提高工作效率方面的

4-2-1

评价项FI系统效率效益。

经济

4-2使用以后产生

效益

的经济效益。节约行政评价项目节约行政成本方面的

4-2-2

成本效益。

项目创新

评价建设应用后形成的创新

4-3-1

能力点。

评价项目创新

项目试点

应用能力以及应用评价项目的试点示范推广应用

4-34-3-2

前景的可持续性、示范推广情况。

可推广性。

表彰获奖

评价项目取得的表彰获奖情

4-3-3

情况况。

12

错误!文档中没有指定样式的文字o

附录B

（资料性）

采用层次分析法计算评价指标权重示例

B.1层次分析法基本原理

层次分析法根据问题的性质和要达到的总目标，将问题分解为不同的组成元素，并按照元素间的相

互关联影响以及隶属关系将元素按不同层次聚集组合，形成一个多层次的分析结构模型，从而最终使问

题归结为最低层（供决策的方案、措施等）相对于最高层（总目标）的相对重要权值的确定或相对优劣

次序的排定。

具体到本计算示例，得到XX省政务信息化后评价结果（用得分表示）是总目标，投资决策与建设管

理、运维水平、应用效果、项目效益等四个一级指标为组成元素。本计算示例采用层次分析法计算各评

价指标的权重.

B.2采用层次分析法计算评价指标权重步骤

（1）建立层次结构模型

将决策的目标、考虑的元素（决策准则）和决策对象按它们之间的相互关系分为最高层、中间层和

最低层，绘出层次结构图。最岛层是指决策的目的、要解决的问题。最低层是指决策时的备选方案。中

间层是指考虑的元素、决策的准则。对于相邻的两层，称高层为目标层，低层为元素层。

（2）构造判断矩阵

在确定各层次各元素之间的权重时，采用一致矩阵法，印不把所有元素放在一起比较，而是两两相

互比较，对此时采用相对尺度，以尽可能减少性质不同的诸元素相互比较的困难，以提高准确度。如对

某•准则，对其下的各方案进行两两对比，并按其重要性程度评定等级。

bu表示对于上层元素而言，下层元素b和bj相对重要性的数值，表B.1列出9个重要性等级及其

赋值。按两两比较结果构成的矩阵称作判断矩阵。判断矩阵具有如下性质：

。"bji

判断矩阵元素bu的标度方法如下表B.1所示。

表B.1比例标度表

元素i比元素j量化值

13

错误!文档中没有指定样式的文字o

同等重要1

稍微重要3

较强重要5

强烈重要7

极端重要9

两相邻判断的中间值2,4,6,8

(3)一致性检验

对于上一步构造的判断矩阵，需要检验其一致性，以保证后续做出的排序和决策是可靠的。判断矩

阵B=(bij)nxn一致性是指满足条件b火bkj=b46乜/=1,2,「冷，它反映了两两比较判断之间是

协调一致、不矛盾的。由于实际问题的复杂性和不确定性，特别是涉及的元素较多时，构造的判断矩阵

可能不完全满足上述一致性。为此，提出了判断矩阵只要满足“满意一致性”，就可以进入下一步操作。

具体的“满意一致性”计算方法：对每一个判断矩阵求其最大特征根入max及一致性指标:

r.（入max~九）

C/=（H-1）

再计算一致性比例:

CR=Ri

其中，斤/是平均随机一致性指标，它与n有关，如表3.2所列。

表B.2平均随机一致性指标值

n123456789

R1