（管理科学与工程专业论文）城市政府门户网站绩效评估数据采集与处理方法研究.pdf

城市政府门户网站绩效评估数据采集与处理方法研究 摘要 随着i n t e m e t 技术的普及，作为电子政务建设的核心，政府网上公共服务的 直接载体一一政府门户网站越来越受到社会公众的普遍关注。近几年，我国的 政府网站建设取得了巨大进展，但还存在不少问题，为了有效地推进政府网站 建设，政府门户网站服务绩效评估也被逐渐提上日程。那么，如何进行政府门 户网站绩效评估，在政府门户网站绩效评估的各个环节中使用何种方法更为科 学合理并保障绩效评估的质量，则是政府门户网站绩效评估实践者们必须要面 对的问题。本文立足城市政府门户网站服务绩效的视角，基于安徽省近四年政 府系统政府门户网站绩效评估实践，探讨了在城市政府门户网站绩效评估中的 数据采集、信息集结、信度分析三个环节的不同方法，阐明了它们的理论来源、 计算方法，同时佐以实际案例进行说明，以分析这些方法的适用条件、优点与 不足。 文章首先阐述了政府门户网站绩效评估的国内外研究现状，归纳了城市政 府门户网站绩效评估的相关概念，并总结了目前城市政府门户网站绩效评估方 法研究中存在的不足。其次，围绕安徽省政府系统政府门户网站绩效评估工作 丌展了若干研究性实验，通过实验探讨了城市政府门户网站绩效评估数据采集 的三种方法的优劣。再次，结合安徽省政府门户网站绩效评估结果，将两种加 权算法引入到城市政府门户网站绩效评估信息集结模型中去，构建了一种全新 的城市政府门户网站绩效评估信息集结模型。最后，从两个方面对城市政府门 户网站绩效评估的信度进行分析，分别是：指标体系信度分析和评估者信度分 析。指标体系信度分析分为两个部分：分级指标之间信度分析和同级指标内部 信度分析；评估者信度分析也分为两个部分：全体评估者信度分析和单个评估 者信度分析。此研究不仅丰富了城市政府门户网站绩效评估方法理论，对政府 门户网站绩效评估实践工作者开展评估工作也具有一定的指导意义。 关键词：城市政府门户网站；绩效评估；数据采集；信息集结；信度分析 a n a l y s i so nd a t aa c q u i s i t i o na n dp r o c e s s i n g m e t h o d so fc i t yg o v e r n m e n t a lp o r t a lw e b s i t e s p e r f o r ma n c ee v a l ua t i o n a b s t r a c t a st h ep o p u l a r i z a t i o no ft h ei n t e r n e tt e c h n o l o g y ，g o v e r n m e n tp o r t a lw e b s i t e s ， a st h ec o r eo fe g o v e r n m e n td e v e l o p m e n ta n dt h ed i r e c tc a r r i e ro fg o v e r n m e n t a l o n l i n ep u b l i cs e r v i c e ，h a v ed r a w nm o r ea n dm o r ec o m m o nc o n c e r no ft h ep u b l i c g o v e r n m e n t a lw e b s i t e sc o n s t r u c t i o ni nc h i n ah a sm a d eg r e a ta d v a n c e si nr e c e n t y e a r s ，b u tt h e r ea r es t i l lm a n yp r o b l e m s i no r d e rt op r o m o t et h eg o v e r n m e n t a l w e b s i t e sc o n s t r u c t i o ni n s t a n t l ya n de f f e c t i v e l y ，s e r v i c ep e r f o r m a n c ee v a l u a t i o no f g o v e r n m e n t a lp o r t a lw e b s i t e sh a sb e e np u to nt h ea g e n d a t h e nh o w t oc a r r yo u t s u c hp e r f o r m a n c ee v a l u a t i o n ? w h a tk i n d so fm e t h o d sc a nb ea p p l i e dt oe v e r ys t a g e o fp e r f o r m a n c ee v a l u a t i o nt og u a r a n t e ei t sq u a l i t ys c i e n t i f i c a l l ya n dr e a s o n a b l y ? t h e s eq u e s t i o n sh a v et ob ea n s w e r e db ys o m em e t h o d s f r o mt h ep e r s p e c t i v eo f g o v e r n m e n t a lp o r t a lw e b s i t e s s e r v i c e sp e r f o r m a n c ea n db a s e do nt h ep r a c t i c ei n a n h u ii nr e c e n tt w oy e a s ，t h i sp a p e rd i s c u s s e sa b o u td i f f e r e n ta p p r o a c h e se m p l o y e d i nt h r e el i n k so fd a t ac o l l e c t i o n ，i n f o r m a t i o na g g r e g a t i o na n dr e l i a b i l i t ya n a l y s i si n t h i sp r o c e s s ，c l a r i f i e st h e i rt h e o r e t i c a ls o u r c e sa n dc a l c u l a t i o nm e t h o d s m e a n t i m e ， a c t u a lc a s e sa r eu s e dt oa n a l y z ea p p l i c a t i o nc o n d i t i o n s ，a d v a n t a g e s a n d d i s a d v a n t a g e so fs o m et h e s em e t h o d s t h i sp a p e rf i r s t l ys e t sf o r t ht h er e s e a r c hs t a t u so fg o v e r n m e n t a lp o r t a lw e b s i t e s p e r f o r m a n c ee v a l u a t i o na th o m ea n da b r o a d ，g e n e r a l i z e si t sr e l e v a n tc o n c e p t sa n d s u m m a r i z e st h ed e f i c i e n c yo fc u r r e n tr e s e a r c h e s s e c o n d l yc a r r i e do u ts o m e r e s e a r c h e sw h i c hf o c u so np e r f o r m a n c ee v a l u a t i o no fg o v e r n m e n t a lp o r t a lw e b s i t e s i na n h u ig o v e r n m e n ts y s t e m s a n dt h e nt h ea d v a n t a g e sa n dt h ed i s a d v a n t a g e so f t h et h r e em e t h o d so fp e r f o r m a n c ee v a l u a t i o na r ei n v e s t i g a t e dt h r o u g ht h e s e e x p e r i m e n t s t h i r d l y ，c o m b i n i n gt h e r e s u l t sp r o d u c e di na n h u i ，t w ow e i g h t e d a l g o r i t h m sa r ei n t r o d u c e di n t ot h ei n f o r m a t i o na g g r e g a t i o nm o d e la n dan e w m o d e l i sb u i l t l a s t l y , t h er e l i a b i l i t yo fp e r f o r m a n c ee v a l u a t i o ni sa n a l y z e df r o m “t w o a s p e c t sa n df o u ra n g l e s ”t h i sr e s e a r c hn o to n l ye n r i c h e st h et h e o r yo na p p r o a c h e s t oc i t yg o v e r n m e n t a lp o r t a lw e b s i t e sp e r f o r m a n c ee v a l u a t i o n ，b u ta l s oi si n s t r u c t i v e f o rp r a c t i t i o n e rt oc a r r yo u te v a l u a t i o nw o r k k e y w or d s ：c i t yg o v e r n m e n t a lp o r t a lw e b s i t e s ； c o l l e c t i o n ；i n f o r m a t i o na g g r e g a t i o na n d p e r f o r m a n c ee v a l u a t i o n ；d a t a r e l i a b i l i t ya n a l y s i s 插图清单 图2 1城市政府门户网站绩效评估的一般过程图1 8 图3 1般数据采集方法与5 分制数据采集方法对比( 极差法) 错误! 未 定义书签。 图3 2一般数据采集方法与5 分制数据采集方法对比( 方差法) 2 6 图3 3 指标细则细分与指标细则未细分对比( 极差法) 2 9 图3 - 4指标细则细分与指标细则未细分对比( 方差法) 3 0 图3 5 一般数据采集方法与流水作业数据采集方法对比( 极差法) 3 2 图3 - 6一般数据采集方法与流水作业数据采集方法对比( 方差法) 3 3 图4 1 加权前四组经验值不同人员极差对比4 0 图4 2加权前四组经验值不同人员方差对比4 0 图4 3 无经验组和有经验组评分平均值序列曲线图4 2 图4 4加权后四组经验值不同人员极差对比一4 4 图4 5 加权后四组经验值不同人员方差对比4 4 表格清单 表2 12 0 0 9 年安徽省地市级政府网站绩效评估指标体系及评分细则( 节 选) 1 6 表4 - 1a h p “1 9 ”分级比例标度参考表3 7 表4 - 2 指标权重系数线性加权3 8 表4 5无经验组和有经验组评分平均值序列的关联系数4 3 表5 - 1分级指标之间信度分析( p e a r s o n 相关系数值) 4 9 表5 - 2同级指标内部信度分析( c r o n b a c h sa 系数值) 5 0 表5 3两年中一级指标内部信度c r o n b a c h sa 系数值分布情况5 0 l 表5 - 4 样本集( 矿 ；f ) 中8 家网站等级排名以及评估等级之和r 情况5 3 表5 - 5样本集4 中8 家网站等级排名以及s p e a r m a n 秩相关系数5 4 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标志和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得佥自墨王些态堂 或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签字：碱、舷签字日期：z 加年彳月菇日 学位论文版权使用授权书 本学位论文作者完全了解金毽王些太堂有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被 查阅或借阅。本人授权盒胆王些太堂 可以将学位论文的全部或部分论文内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇 编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名：而忽 导师签名： 耘抄 签字日期：如7 0 年年月弘日 签字目期：矽瞬9 月死珀 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编： 特别声明 本学位论文是在我的导师指导下独立完成的。在研究生学习期 间，我的导师要求我坚决抵制学术不端行为。在此，我郑重声明， 本论文没有任何学术不端行为，如果被查处有任何学术不端行为， 一切责任完全由本人承担。 学位论文作者签名：储、詹 签字日期：知f o 年彳月弓移e t 致谢 本论文从选题到定稿，每一步都是在我的导师寿志勤老师的悉心指导下完 成的，论文的很多过程和细节都凝聚了老师的汗水和心血。寿老师博大精深的 专业知识，严谨求实的治学态度，精益求精的工作作风，诲人不倦的高尚师德， 身教言传的教育方法深深地影响了我，不仅让我学会了做学术研究的基本方法， 也让我明白到了许多做人做事的道理。寿老师虽然工作繁忙，仍不忘给予我生 活上的关心、学习上的督促以及人生道路选择上的点拨，正是在寿老师的严格 要求和悉心关怀下，我才能有所收获、逐渐成长。衷心感谢寿老师三年来对我 的谆谆教诲和精心指导，祝愿尊敬的寿老师身体健康，工作顺利。 感谢管理学院电子政务研究所的郭亚光老师和许君老师对我的关心和帮 助，谨在此向他们表达诚挚的谢意。在三年的研究生学习阶段，我还得到了研 究所的同学陶建平、周其信、吴春芳、曾攀攀以及其他同学的帮助，他们积极、 开朗的生活态度让我感动，他们踏实、勤奋的学习精神令我钦佩，他们更让我 收获了兄弟姐妹般的友情，祝愿大家未来生活更加美好。特别要感谢陶建平同 学对我的论文提出了很多建设性意见，希望能在未来的日子里，我们还能有缘 携手并进，继续探索管理科学的无穷奥秘。 深深的谢意送给我的家人和爱人，是他们给予了我世界上最无私的爱、最 真挚的关怀，他们的支持和鼓励是我前进的永恒动力。 最后，感谢所有帮助过我的老师、同学和朋友! 作者：陈鑫 2 0 10 年0 4 月 第一章绪论 如今，信息网络已被公认为继报纸、广播、电视之后的第四大媒体，它包 融并延伸了所有媒体的主要特色功能，深入涉及到人们生产生活的各个方面， 尤其在公共服务领域应用地十分广泛，电子政务随着信息网络的强劲发展应运 而生。在电子政务领域，政府门户网站作为政府公共服务电子化的直接载体， 是政府部门面向社会公众的主要窗口，在一定程度上，代表着政府管理与服务 的水平，因此，它被各个国家和地区的政府视为“信息高速公路 建设的核心 项目，成为降低行政成本、提高行政效率的必选方案。不言而喻，它的重要地 位与作用也决定着其建设发展必将是一项重大而艰巨的工程。 众多实践表明，绩效评估活动在推动社会发展中发挥了重要作用，在某些 领域，其影响力甚至超过了政策、法律、法规，电子政务绩效评估就是其中一 例。由于政府门户网站在电子政务发展中居于核心地位，政府网站绩效评估成 为了目前电子政务绩效评估最常用的方式，而政府门户网站绩效评估采取何种 方式方法又是政府门户网站绩效评估活动的重中之重。 本文立足城市政府门户网站服务绩效的视角，基于安徽省近四年政府系统 门户网站绩效评估实践，探讨了在城市政府门户网站绩效评估中的数据采集与 处理阶段的三个环节应用到的方法，阐明了它们的理论来源、计算方法，同时 佐以实际案例进行说明，以分析这些方法的适用条件、优点与不足。笔者希望 通过该研究丰富政府门户网站绩效评估理论体系，为政府门户网站绩效评估理 论研究者和实践者展开相关工作提供一定的借鉴。 1 1 研究背景及意义 在信息技术突飞猛进的大背景下，电子政务建设不断推进，作为推动电子 政务发展的强有力臂膀电子政务绩效评估，也受到各国各地区各种组织和 机构越来越热情的关注和研究。放眼全球，联合国、欧盟、美国、加拿大、印 度等国相继开展了电子政务绩效评估工作，埃森哲( a c c e n t u r e ) 、欧盟的凯捷 ( c a p g i m i n i ) 等一大批著名的高级管理咨询公司每年都投入到电子政务的绩效 评估中去，发表了大量具有全球影响力的评估报告。此外，美国布朗大学( b r o w m u n i v e r s i t y ) 、美国瑞歌大学( r u t g e r su n i v e r s i t y ) 、韩国成均馆大学( k o r y o s o n g g y u n g w a n ) 等一些教育机构以及经济合作及发展组织( o e c d ) 、世界市场 研究中心( w m r c ) 、哈佛大学国际发展中心( c i d ) 、联合国与美国行政学会 ( u n u s p a ) 、t n s 公司、i b m 公司等研究机构和公司都加入到研究电子政务 绩效评估的行列中来。 2 0 0 2 年，联合国公共经济学与公共管理部( u n d p e p a ) 和美国公共管理 协会( a s p a ) 联手对联合国19 0 个成员国的电子政务进行调查，根据调查结果 联署发布了2 0 0 1 年全球电子政务发展评估报告b e n c h m a r k i n ge g o v e r n m e n t ： ag l o b a lp e r s p e e t i v e a s s e s s i n gt h eu nm e m b e rs t a t e s ) ) ，在这份报告中研究者把 电子政务发展视为某种由高到低的“线性”过程，并依据评估结果归纳出了电子 政府发展阶段。需要特别注意的是，在对不同国家和地区进行电子政务发展状 况进行研讨时，研究者关注的对象，其实基本是集中在政府门户网站上。这种 偏重于对政府网站进行评估的电子政务绩效评估方法，在此后数年间，依然代 表了该领域的主流j 。 在我国，政府门户网站的绩效评估工作从2 0 0 2 年开始起步，到今年已经 进入第九年。赛迪顾问受国务院信息化工作办公室委托，从2 0 0 3 年起连续7 年承担对我国部委、省、地市、区县四级政府门户网站绩效评估的指标设计和 年度评估工作，并每年发布评估结果和对评估结果进行解释。在省市层面，北 京、上海、广州、深圳、吉林、青岛、宁波、山东、安徽等省市均已开展政府 门户网站绩效评估工作。笔者所在的合肥工业大学管理学院电子政务发展研究 所自2 0 0 6 年起作为第三方评估机构( t h et h i r dp a r t ye v a l u a t i o na g e n c i e s ， t p e a ) 参与安徽省政府门户网站绩效评估工作，每年对全省省直( 厅) 局、地市、 区县三级政府门户网站进行一次绩效评估，迄今已逾四年。安徽省政府门户网 站从最初只有几十家，到现在拥有1 7 5 家，其中省直厅( 局) 级政府部门网站 5 2 个、地市级政府门户网站1 7 个和县( 区) 级政府门户网站1 0 6 个，各级政 府网站在线率达1 0 0 ；同时，政府网站服务功能从最初只提供信息发布，到 现在越来越重视在线服务和公众参与。目前，安徽省政府门户网站绩效评估工 作已经成为一种制度化的年度活动。 实践表明，近年来，国内外各种政府网站成绩效果评估实践大大提高政府 网站的服务绩效水平。特别是对于处于初级阶段的我国电子政务发展来说，制 度化的政府网站绩效服务评估活动的持续开展将对我国电子政务，乃至我国政 府管理体制改革和政府部门职能的完善都具有及其重要而深远的影响。 但是在我国与其他国家和地区的政府门户网站的比较研究中，我们仍不难 发现，与美国、加拿大等发达国家相比，我们国家的政府门户网站在建设理念 和建设水平上还存在不小差距，特别是我国偏远地区城市政府门户网站的建设 水平还比较低。城市政府门户网站属于地方政府门户网站，其主要功能是直接 面向本城市社会公众，处理与人们生产生活密切相关的事务，为提高政府行政 效率、改善地方经济社会发展环境搭建虚拟平台，可以说它是与公众的联系最 为紧密的一类政府门户网站。而政府网站绩效服务评估作为政府门户网站绩效 评估的“推动力 ，它的的成效将直接影响政府门户网站的发展速度和程度。因 此，进一步加强对城市政府门户网站绩效评估将有利于促进地方城市政府门户 网站的健康发展，有利于为社会公众提供良好的政府网上在线公共服务，有利 于推动城市服务型政府建设。 而对于政府门户网站绩效评估来说，评估方法的使用和使用方式直接决定 了政府门户网站绩效评估的结果。对政府门户网站绩效评估方法的研究，有利 于政府门户网站绩效评估理论的不断丰富和完善，在政府门户网站绩效评估中， 我们可以更好的控制数据采集质量、更好的从数据中把握和发掘政府门户网站 建设的现状和存在的问题。虽然有很多组织机构和学者都在关注和研究政府门 户网站绩效评估，也有许多政府门户网站绩效评估的实际操作案例，但是，目 前还没有形成一套成熟的政府门户网站绩效评估方法理论体系。由于我国电子 政务建设起步较晚，政府门户网站绩效评估的发展还处于初级阶段，无论从理 论上还是实践上都还很不成熟，对于城市政府门户网站绩效评估理论与方法的 研究更是如此。因此，对城市门户网站绩效评估方法的研究无疑是非常必要和 紧迫的。 1 2 政府门户网站绩效评估研究现状 如前所述，电子政务的核心内容是政府门户网站建设，而政府门户网站与 城市政府门户网站是包含的关系，因此，为了体现研究的完整性和研究来源的 清晰性，在这里对研究现状的综述是对电子政务绩效评估的研究现状的综述， 但突出政府门户网站绩效评估的研究情况。 1 2 1 国外政府网站绩效评估回顾 在国际上，政府网站绩效评估已成为电子政务建设的必要环节和关键内 容。各国政府和地区都很重视政府网站绩效评估。 1 联合国 从2 0 0 2 年开始，联合国每年发布“全球电子政务准备度报告 ，该报告 以其成员国为评测对象。从2 0 0 3 年开始，联合国对于电子政务的测评主要根据 两个指标： 1 ) 电子政务就绪度指数( e g o v e r n m e n tr e a d i n e s si n d e x ) ： 2 ) 电子政务参与度指数( e g o v e r n m e n tp a r t i c i p a t i o ni n d e x ) 。 2 欧盟 欧盟从2 0 0 1 年至2 0 0 9 年，委托第三方公司凯捷( c a p g i m i n i ) 进行常年 政务绩效测评，迄今已组织了8 次在线公共服务绩效评估项目，通过评估2 0 项基本的为市民和企业提供的公共服务，来全面检查各个国家的政府组织机构 在线服务职能。1 9 9 9 年出台了“e e u r o p e 2 0 0 2 ”计划，2 0 0 2 年又制定了 “e e u r o p e 2 0 0 5 ”计划，旨在建设在线公共服务【2 1 。 3 美国 美国的电子政务绩效评估是由法律催生，这些法令为电子政务绩效评估的 实施打下了制度基础。美国的绩效评估体系核心为“绩效参考模型( p r m ) ”。 2 0 0 2 年，美国政府提出了联邦事业架构( f e d e r a le n t e r p r i s ea r c h i t e c t u r e ，f e a ) ， 包括五大参考模型：绩效参考模型、业务参考模型、服务组件模型、数据参考 模型以及技术参考模型，这五大参考模型均与政府业务相关。为了构建标准化 的电子政务体系提出了绩效参考模型，它是衡量美国政府各个部门电子政务系 统达成目标的基本参考标准，也是政府预算部门评定项目绩效的基本依据。绩 效参考模型处于整个f e a 体系的最顶层，是整个f e a 中最为重要和基本的一个 模型。绩效参考模型包括输入、输出、结果三个部分，由评估领域、评估类别、 评估组别和评估指标四个层次构成。输入包括人力资本、技术和其他固定资产， 输出包括业务流程，结果包括任务和业务结果以及客户结果。 2 0 0 7 年4 月，美国( o f f i c eo f m a n a g e m e n ta n db u d g e t ，o m b ) 出台了新的 绩效评估体系。该评估体系包括三个主要指标；参与度、使用度和用户满意度。 评估方法大致为：管理与预算办公室采集数据，该数据作为建立绩效基准标杆 的依据，然后将标杆向政府部门、公众公布，最后通过综合评估得出最终绩效 评估结果。 4 加拿大 埃森哲( a c c e n t u r e ) 连续3 年将加拿大电子政务建设评为全球第一，并认 为加拿大是惟一借助电子政务实现由管理型政府向服务型政府转变的国家。 2 0 0 2 年加拿大财政部与埃森哲合作，共同制定出一个名为“基于结果 ( r e s u l t s b a s e d ) 的评估体系，该体系由便利性、可访问性、可信程度、服 务成熟度、用户接受度、服务转型、用户满意度、安全性、个人隐私保护、效 益回报、创新等1 1 个指标构成，加拿大政府所建立的电子政务绩效评估体系受 到了其他国家的高度关注。在电子政务绩效评估方面，加拿大主要着眼于两大 方面：一是用户的满意度，二是政府服务品质的提升。它认为绩效评估不仅要 评测网站服务的可用性，同时还应评估电子政务发展是否提升了社会效益和对 公众传递的价值。2 0 0 3 年加拿大在联合国推出的全球电子政务评估报告公 共部门报告：十字路口的电子政务，被列为电子政务绩效评估的典范。 5 其他国际机构和组织 早在2 0 0 0 年，埃森哲( a c c e n t u r e ) 公司就开始了电子政务评估工作。它已 持续十年评估全球电子政务发展状况，以评估报告的形式发布全球电子政务建 设情况。可以说，它的报告以连续的方式追踪着世界各国电子政务发展动态， 同时也在影响着各国电子政务发展趋势。当前开展电子政务绩效评估研究和实 践的国际机构中具有代表性的还有：经济合作及发展组织( o e c d ) 、世界市场 研究中心( w m r c ) 、哈佛大学国际发展中心( c i d ) 、美国布朗大学( b r o w m u n i v e r s i t y ) 、联合国与美国行政学会( u n u s p a ) 、i b m 公司、t n s 公司、g a r t n e r 公司。其中美国布朗大学( b r o w mu n i v e r s i t y ) 、埃森哲( a c c e n t u r e ) 在电子政务绩 效评估中以对政府网站的绩效评估为主体，而i b m 公司是通过考察基础设施来 4 衡量电子政务发展水平，其他也有通过软硬件综合的指标体系、关注全社会的 网络绩效、利用基本的评估准则来评估电子政务发展水平。 1 2 2 国内政府网站绩效评估回顾 1 国内相关评估实践综述 由于政府门户网站建设是电子政务建设的核心内容，最能体现政府在线公 共服务的提供水平，因此目前我国电子政务绩效评估工作是以对政府门户网站 进行绩效评估为主要形式。对政府网站进行绩效评估，目的是通过这种方式来 衡量公共服务水平，随着信息技术的提高、行政职能和流程的改善以及电子政 务绩效制度的逐步完善，衡量的内容也将从公共服务扩展到社会管理和监督监 管领域，并最终实现在社会经济调节、文化生活等诸多领域的综合应用。近年 来，由于从中央到地方的政府都十分重视政府门户网站的建设，国内关于政府 门户网站的评价研究和实践工作发展得很快。自2 0 世纪9 0 年代以来，国内众 多政府部门、第三方机构以及专家学者运用各种方法，构建了不同的评价指标 体系，针对省、市、县级地方政府的政府门户网站开展了不同层次的评估实践 研究。 1 ) 计世资讯( c c wr e s e a r c h ) 在我国，政府门户网站的绩效评估工作是从2 0 0 2 年开始起步的，到今年 已经进入第九年。2 0 0 2 年北京时代计世资讯公司在国务院信息化工作办公室的 领导下，第一次在国内推出政府门户网站绩效评估体系，参照个别地方政府门 户网站评测的做法，按照突出政务、国际接轨、尊重现实、适度超前四个原则 建立了城市政府门户网站评估指标体系，其评估指标主要包括网站内容服务和 建设质量、网站功能服务、网上办公、公众反馈、网上监督、特色功能等，对 3 6 个省会城市、直辖市和计划单列市的政府门户网站进行质量测评和比较，这 对随后的我国电子政务的建设和发展产生了重大影响。 2 ) 赛迪顾问 赛迪顾问咨询公司受国务院信息化工作办公室委托，从2 0 0 3 年起连续7 年承担我国部委、省、地市、区县四级政府门户网站绩效评估的指标设计和年 度评估工作，每年发布评估结果并对评估结果进行解释。评估范围较大，多以 抽样评估为主。2 0 0 2 和2 0 0 3 年做全国网站的拥有率调查工作为主，评估为辅， 到2 0 0 4 - 2 0 0 6 年根据网站的“信息公开 、“公众参与”、“在线办事 三大功能 定位的四项，开始对各级政府门户网站的内容进行全面评测，2 0 0 7 2 0 0 8 年工 作层面进行了较大力度的扩充和调整，增加了“日常监测 和“用户调查”，目 的是引导各级政府网站注重平时内容的更新和维护，更好地满足企业和公众、 用户的需求。赛迪顾问咨询公司所采用的政府门户网站绩效评估模式被国内很 多政府部门和机构所沿袭，也是我国目前主流的政府门户网站绩效评估模式。 3 ) 北京大学网络经济研究中心 2 0 0 3 年北京大学网络经济研究中心开始对政府门户网站绩效评估研究， 同年发表中国地级市电子政务研究报告，从网站内容、网站功能、网站质量、 网站检验等指标，对我国的2 5 7 个地级市的政府门户网站进行了评估。北京大 学网络经济研究中心、北京大学光华管理学院与计世资讯2 0 0 6 年底联合发布了 中国电子政务研究报告( 2 0 0 6 ) ，完成了对我国2 8 9 家地级市、3 2 家省会城 市与计划单列市以及3 1 家省级政府门户网站的测评。 4 ) 广州时代财富科技公司 广州时代财富科技公司于2 0 0 2 年对l9 6 个政府门户网站进行分析，发布 了中国电子政务研究报告，指出我国的电子政务还处于比较低的水平，与公 众期望任存较大差距。 5 ) 各省市自主开展的政府网站绩效评估 安徽、吉林、北京、青岛、上海等省市政府网站主管部门均已开展政府网 站绩效评估工作。 安徽省政府最早开展全省政府网站绩效评估工作的雏形是自2 0 0 1 年开始 的全省各级政府网站评优工作。随后，2 0 0 5 年8 月，安徽省政府颁布实施安 徽省政府网站管理办法。首次明确每年组织优秀政府网站评选工作，其评估主 办方是安徽省政府网建设办公室( 安徽省政府办公厅下属机构，评估活动组织 者) 和安徽省经济信息中心( 政府评估主体) 。其中，安徽省经济信息中心也是 负责全省电子政务平台和省本级政府网站( w v c w a h g o v o n ) 的运营实体。最初 的安徽省g w p e 工作模式也极其简单，主要是由评估主办方组织，以公众调查 问卷、网站互评和专家评议等定性评估方式进行优秀政府网站评选，然后，召 开全省政府网站工作大会进行表彰与经验交流。但随着全省各级政府网站建设 与服务的快速发展以及各级政府对年度政府网站绩效评估结果的高度重视，原 有的安徽省政府网站绩效评估工作模式也暴露出如下弊端：评估主体单一，官 方的自我评估为主；没有外部客观、公正的评估主体参与；缺乏外部中立、有 效的评估主体制约。为此，从2 0 0 6 年开始，安徽省政府网站绩效评估主办方尝 试引入外部评估主体第三方评估机构( t h et h i r dp a r t ye v a l u a t i o na g e n c i e s ， t p e a ) ，共同建立一个客观公正、科学合理、权威规范的g w p e 工作机制，提 供专业化、规范化的g w p e 管理服务f 6 j 。 吉林省自2 0 0 3 年开始出台了一系列政府网站绩效评估办法，制定了规范 的政府网站绩效评估指标体系；此后评估指标逐年修改完善，评估范围逐渐扩 大到包括省政府、市( 州) 、县( 市) 的政府系统。 北京市从2 0 0 0 年开始进行政府门户网站评议活动，每年都确定评议的重 点主题。评议内容主要是参评网站的政务公开、在线服务、公众参与、网站管 理等方面。2 0 0 5 年，北京市政府网站绩效评估以专家评估为主：2 0 0 6 年，引入 6 了第三方咨询机构进行评估，完善了评估工作方法。北京市政府门户网站绩效 评估的最突出特点是注重多方参与，评估中引入了第三方专业机构进行专业评 估，成立了由市政府监察员、相关信息化专家组成的专家评议组进行综合考核， 组织由人大代表、政协委员、普通网民组成的公众评议组参加打分评议。 青岛市从2 0 0 3 年开始对全市1 2 个区市网站进行评估。评估由两个评估小 组对所有参评网站独立打分，汇总两个小组的评分结果后再取平均值，得到每 个网站的最终得分；根据评估结果，得出总体排名，评出每年的“青岛市优秀 政务门户网站”。 自2 0 0 2 年开始，上海市即针对5 0 家市政府部门网站开展评议，2 0 0 4 年 起将1 9 个区县政府门户网站纳入评议范围。2 0 0 7 年，政府门户网站评议范围 为5 0 个市政府部门网站和1 9 个区县政府门户网站，通过公众评议、专家评议、 参评部门自查、日常工作考查和网上办事核查等方式，主要评议“信息公开、 网上办事、便民服务、网上互动以及政府门户网站日常建设”等5 个方面的情 况，其中网上办事为重点。 此外，山东、江苏、广东、深圳、宁波、宁夏、常州等也都开始了政府网 站绩效评估工作。 综上，我国的政府网站绩效评估的实践活动可以从两个角度划分，一是从 评估主体划分，二是从评估层级划分。从评估主体来划分，主要有以政府为主 体的绩效评估、以第三方机构为主体的绩效评估和以社会公众为主体的绩效评 估。我国大多采用的是政府和第三方机构相结合的评估工作模式。从评估的层 次划分，可以分为国家和地方两个层级。 2 国内相关理论研究综述 国内许多专家学者也对电子政务绩效评估的战略研究、评估框架、指标体 系、评估方法做了大量研究。在电子政务绩效评估战略方面，互联网实验室 ( h t t p ：c h i n a l a b s c o m ) 于2 0 0 2 年发布了中国电子政务战略研究报告1 4 1 ， 2 0 0 3 年社会科学文献出版社发表了王长胜主编的电子政务蓝皮书：中国电子 政务发展报告n o 1 f 5 】。在政府网站绩效评估框架方面，很多学者提出了绩效 评估的框架模式，如寿志勤在安徽省政府网站绩效评估的基础上提出了“第三 方政府网站绩效评估框架”【6 l 。彭细正提出政府门户网站绩效评估五要素：评 估指标体系、指标评价标准、指标权重、综合评分方法、数据采集方法。在绩 效评估指标体系方面，长城战略咨询的万道濮、中南财经政法大学的刘腾红、 原信息产业部的彭细正、华中科技大学的马连杰、同济大学的杨云飞、自庆华、 中国人民大学的张成福、唐钧等人均做了大量研究。在绩效评估方法方面，华 中科技大学的孙彬提出综合评估模型，采用基于层次分析法的加权平均法和欧 式距离法作为评估指标的汇总计算方法【7 1 。中南财经政法大学的刘腾红等人利 用层次分析法计算指标体系的权重系数，采用理想解法评估电子政务系统，数 7 据采集方法则采用专家评审法、网上调查法、用户调查法的综合方法峭j 。武汉 理工大学的陈冬林提出了电子政务绩效评估的群体a h p 模型 9 1o 华中科技大学 的马连杰基于成本收益的思想建立了一套电子政务项目评估指标体系，提出用 非线形变换的方法对成本收益的结果进行预处理，然后比较成本和收益情况， 据此评估电子政务系统状况【l0 。武汉理工大学的陶飞和武汉市发展计划委员会 的胡大平运用模糊综合评价原理，构建了量化电子政务系统的评估模型 1 l lo 西 南交通大学的何代欣提出了基于电子政务绩效评估体系的平衡计分卡实施框架 【1 2 】。湘潭大学的颜佳华等人则采用b p 神经网络模型评估电子政务系统l l 引。 以上为诸多学者在电子政务绩效评估领域做出的部分研究成果，这些研究 成果较为丰富，但是仍然不够全面。学者们大多局限于理论框架研究，对于绩 效评估方法研究的着眼点多是指标体系构建方法，对于数据采集和处理的实证 研究甚少。另外，其他学者对于数据采集和处理方法的研究基本上是立足于单 个网站，没有考虑政府门户网站“大规模”评估活动的特性。同时，我们非常 清楚，政府门户网站绩效评估数据质量是绩效评估的“命脉 ，而基于“质量 的角度考虑数据采集和处理的研究成果相对较少。本文就从“大规模”、提高和 验证数据采集质量的角度出发探讨政府门户网站绩效评估数据采集和处理问 题，该研究是对政府门户网站绩效评估理论体系的一个补充。 1 3 论文研究内容 在本文的内容设计中，注重理论研究和案例分析的结合，各章的主要内容 简要介绍如下： 第一章：绪论。综述了国外政府门户网站绩效评估的研究现状、国内学者 对政府门户网站绩效评估的研究成果和国内相关评估实践情况，在此基础上介 绍本文的研究背景和意义，并阐述城市政府门户网站绩效评估方法研究的必要 性。 第二章：介绍了什么是城市政府门户网站、政府门户网站发展阶段、城市 政府门户网站功能以及城市政府门户网站绩效评估的概念、要素、过程和方法 等，为下文做铺垫。 第三章：讨论城市政府门户网站绩效评估数据采集方法。通过一组实验， 运用极差法和方差法对比分析了四种城市政府门户网站绩效评估数据采集的方 法的优劣。四种数据采集方法为：一般数据采集方法、5 分制数据采集方法、 指标细分数据采集法和流水作业数据采集方法。 第四章：探讨了两种城市政府门户网站绩效评估信息集结方法。这两种方 法分别是：“基于a h p 的指标重要性动态线性加权法 和“基于评估者经验值 的灰色关联度分析法”。本章将理论与实际案例相结合，分析了两种方法的适 用条件和优缺点。 第五章：城市政府门户网站绩效评估信度分析。从“两个方面四个角度” 对城市政府门户网站绩效评估的信度进行了深入分析。“两个方面 分别是：指 标体系信度分析和评估者信度分析。指标体系信度分析分为两个部分：分级指 标之间信度分析和同级指标内部信度分析；评估者信度分析也分为两个部分： 全体评估者信度分析和单个评估者信度分析，因此称之为“四个角度 。 第六章：总结展望。首先对全文的工作做一个总结，提出本文尚未解决和 存在的一些问题，最后对未来工作给予展望。 9 第二章城市政府门户网站绩效评估理论与方法概述 要研究城市政府门户网站绩效评估方法，首先要正确理解什么是城市政府 门户网站、政府门户网站的发展历程以及城市政府门户网站绩效评估的概念、 要点、基本方法等问题。 2 1 什么是城市政府门户弼站 要解释城市政府门户网站的概念，就有必要了解什么是政府门户网站。那 么什么是政府门户网站呢? 首先得认识一下什么是“门户”。门户( p o r t a l ) 的 原意是指正门、入口。颞名思义， “门户网站”即为“网站的入口”，这个概 念最初起源于商业网站。广义上讲，门户网站是一个应用框架，它将各种应用 系统、数据资源和互联网资源集成到一个信息管理平台之上，并以统一的用户 界面提供给用户，使企业可以快速地建立企业对客户、企业对内部员工和企业 对企业的信息通道，侵企业能够释放存储在企业内部和外部的各种信息。狭义 上讲，所谓门户网站，是指通向某类综合性互联网信息资源并提供有关信息服 务的应用系统。门户网站最初提供搜索引擎、目录服务，后来由于市场竞争日 益激烈，门户网站不得不快速地拓展各种新的业务类型，希望通过门类众多的 业务来吸引和留住互联网用户，以至于目前门户网站的业务包罗万象，成为网 络世界的“百货商场 或“网络超市”。在我国，典型的商业门户网站有新浪 网、网易和搜狐网等。商业门户网站技术的日益成熟为政府门户网站在技术条 件、建设模式提供了借鉴。可以说是互联网的广泛应用、网络经济的高速发展 和政府再造工程共同催生了政府门户网站的出现。 陈小筑在他的中国政府门户网站建设与应用一书中指出：政府门户网 站是一级政府行政管辖区域内所有政府部门网站的统一入口网站，具有惟一性、 综合性的特征。惟性，即指一级政府仅拥有惟一的一个政府门户网站：综合 性，是指政府门户网站包含了政府各种职能的内容，是一级政府所有组成部门 的综合体现，也是社会公众和企业获得所在地政府所有服务的一站式入口， 政府门户网站是政府