中国标协标准《信息系统效能评价指标设计导则》(征求意见稿)编制说明

一、工作简况1、任务来源2020年9月16日，中国标准化协会印发了<关于《城镇排水管道非开挖施工、检测安全文明施工检查标准》等6项中国标准化协会标准立项的通知>（中国标协【2020】245号文件），通知要求各申请立项的单位按照《中国标准化协会标准管理办法》的规定开展工作。本规程编制由中国标准化协会城镇基础设施分会组织，邀请了全国行业内的专业人士参与编写工作，清华大学、中国电子科技集团公司电子科学研究院、中国司法大数据研究院有限公司、安徽富驰信息技术有限公司、北京城市管理科技协会、北京中质通标准技术服务有限公司等6家单位，均具有多年的工作经验，参编者都曾参与过相关技术标准的编写。2、主要工作过程1）调研阶段2019年8-12月期间，清华大学公管学院在智慧司法和政务大数据治理等管理课题的研究工作中发现，目前我国尚无信息系统效能评价指标体系设计的标准，且随着我国政务数据化治理的发展，信息系统的效能评价指标体系也是非常必要和迫切的。编制组还与雄安新区管委会进行了沟通，新区相关部门表示对此标准有需求，并愿意编制完成后适用到实际的工作中。2）申报阶段经过编制组前期调研总结并一致讨论通过，鉴于信息系统效能评价工作属于新型基础设施领域，本标准在中国标准化协会城镇基础社会分会立项申报，撰写标准立项申报书，并于2020年3月提交到中国标准化协会。3）论证批复阶段2020年5-8月期间，经中国标准化协会办公会讨论论证，并与城镇基础设施分会往来文件就标准的名称、内容范围、与国内相关标准、国际标准的衔接等问题进行询问论证，于2020年9月批复立项。4）编制阶段2020年10月初，经过前期准备在中国标准化协会城镇基础设施分会的组织下，召开了本标准的编制启动会，邀请了全国海关信息中心周青处长、标准化院闫涛主任、智慧法院研究中心程慧芳主任作为会议专家，对标准的编制工作，给与了编制指导，经过专家分析讨论一致同意将标准名称变更为《信息系统效能评价指标体系设计导则》2020年10-11月，经过启动会专家指导，编制组经过了2次工作会议交流总结。第一次视频会议：编制组按照启动会专家的指导丰富完善了标准的初稿。第二次视频会议：针对标准的核心内容，指标设计体系进行了专项讨论。在2次视频会议基础上，初步完成了征求意见稿。拟面向社会征求意见。3、主要参加单位和工作组成员及其所作的工作等本标准由清华大学，中国电子科技集团公司电子科学研究院，中国司法大数据研究院有限公司、安徽富驰信息技术有限公司、北京城市管理科技协会、北京中质通标准技术服务有限公司等单位共同负责起草。主要成员：张楠、周亮、赵子骏、王珩、周宇、张少彤、赵立明、王璠、黄梅银、张丹、杨晨星、吴正午、金灼。所做的工作：张楠任工作组组长，主持全面协调工作。周亮、赵子骏为本标准主要执笔人，负责本标准的起草、编写。赵立明、张少彤、黄梅银、杨晨星、王璠负责对国内信息技术应用效能评价指标体系现状与发展情况进行全面调研，同时广泛搜集和检索国内文献、标准资料，进行研究分析、资料查证等工作。张丹、吴正午、金灼提供了所在单位在该领域的企业内标准和应用案例参考。二、规范编制原则和主要内容1、规范编制原则本规范的编制符合绩效评估工作开展的原则，本着科学性、合理性和可操作性的原则以及规范的目标、统一性、适用性、一致性和规范性原则来进行本规范编制工作。2、规范主要内容的论据本规范主要规定了范围、规范性引用文件、术语和定义、设计原则、设计流程、评价指标设计、评价指标类型设计、指标权重设计、效能评价主要场景设计等技术内容。（1）范围本规范适用于应用效能评价指标体系的指标项要点、指标类型和权重设计。（4）设计原则规定了指标设计的主要原则，包括了目标导向、逻辑自洽、量化可比、操作性强、数据驱动等原则。（5）设计流程规定了指标设计的主要流程，包括确定目标、框定范围、梳理要点、指标赋权、意见征集、试评修订、迭代更新等环节。（6）评估价指标设计规定了指标项设计的主要方式，包括效率驱动方式、能力驱动方式、效果驱动方式和效益驱动方式等。（7）评价指标类型设计规定了指标项的主要类型，包括静态指标与动态指标、定量指标与定性指标、原生指标与衍生指标、相关性指标与因果性指标、先见性指标与后见性指标。（8）评价指标权重设计规定了指标权重设计的主要方法，包括主观赋权法、客观赋权法和组合赋权法。效能评价主要场景设计规定了效能评价主要场景，包括安全稳定性评价、结果经济性评价、用户满意度评价等，并对上述主要场景下，评价指标、评价指标类型、评价指标权重的使用情况进行说明。3、解决的主要问题本规范为编制项目，能够为信息系统效能评价指标设计提供支撑作用，更加合理、准确的制定出实际发展的现状的评价指标。规范能够聚焦效能指标设计过程中的核心要点，为有效准确的明确评价要点、合理确定评价对象重要性提高效率，从而有效发挥信息效能评价工作的支撑作用。三、主要试验（或验证）情况《信息系统效能评价指标设计导则》规范中规定的技术要求已在长期的指标体系设计和效能评价实践中得到验证，具有较强的实用性。四、标准中涉及专利的情况本标准不涉及专利问题。五、预期达到的社会效益、对产业发展的作用等情况当前，利用信息技术开发建设信息系统，进而支撑、创新和推动工作开展已经成为普遍共识。如何评价信息系统效能并持续改进发挥其作用成为各领域、行业主管单位关注的要点，越来越多的做法是通过开展效能评估，以评估评价的手段促进和推动应用效率提升、效益改进，实现发展目标和发展战略。但是，在开展信息系统效能评价指标设计过程中，往往存在的流程不合理、手段不科学、方法不完善等等问题，对实际评价工作推进带来了较大的难度。本规范为编制项目，在充分总结大量评价实践的基础上，通过对信息系统效能评价指标设计原则、设计流程、指标项设计方法、指标设计类型和指标权重设计方法进行规范，为设计指标设计提供科学合理的指导，推动效能评价工作更好地反应评价目标需求，发挥评价促进作用，为提升优化效能提供支撑。六、与国际、国外对比情况本标准没有采用国际标准。本标准制定过程中未查到同类国际、国外标准。本标准水平为国内先进水平。七、在标准体系中的位置，与现行相关法律、法规、规章及标准，特别是强制性标准的协调性本标准与现行相关法律、法规、规章及相关标准协调一致。八、重大分歧意见的处理经过和依据无。九、标准性质的建议说明本标准为中国标准化协会推荐性标准，属于自愿性标准，建议本标准的性质为推荐性团体标准，供政府、行业和社会自愿采用。十、贯彻标准的要求和措施