信息系统建设中的数据质量管理体系研究.doc

信息系统建设中的数据质量管理体系研究薹信息系统建设中的数据质量管理体系研究*StudyontheDataQualityManagementSystemintheConstructionofInformationSystem谷斌(华南理工大学电子商务学院广州510006)摘要从数据质量的概念演变入手,分析了影响信息系统数据质量的历史原因,技术水平,数据更新维护途径和数据质量监督管理措施等因素,讨论了数据质量评价指标的选择角度与评价实施步骤,阐述了全面数据质量管理的实施进程.关键词信息系统数据质量管理体系在信息时代,信息由数据构成,数据是信息的基础,数据已经成为信息系统建设的重要组成部分和信息化进程中的重要资源.在信息化社会,数据同人们的生活,工作,学习等各种活动息息相关,随着信息技术的发展和应用,存储在计算机中的电子化数据显得尤为重要.不论其表现为何种方式,数据都是信息系统赖以成功的一个主要因素.因特网的迅速发展,数字化信息资源的广泛存在,为数据质量的提高创造了更为广阔的空间,需要我们以发展的眼光来看待数据质量问题.作为信息系统的重要构成要素,数据质量问题是影响信息系统运行的关键因素,直接关系到信息系统建设的成败.根据进去的是垃圾,出来的也是垃圾(garbagein,garbageout)这条原理,为了使信息系统建设取得预期成果,就要求信息系统提供的数据是可靠的,没有错误,准确地反映客观现实.如果数据质量得不到保证,信息化进程的实施就根本不可能达到预期效果.高质量的数据来源于数据设计,数据收集以及数据分析,综合,展示活动的高品质和综合作用,这就需要建立一个有效的数据质量管理体系.因此,信息服务平台的数据质量的管理正在获得越来越多的关注.1数据质量概述随着信息化的不断推进,社会各个成员都能够获取大量数字化的信息,甚至淹没在数据的海洋之中.其中的某些数据没有多少价值,或者根本就是错误的.据美国一家着名的市场咨询公司(Gartner公司)的调查,有1/4的企业在与低质量的数据打交道.而在国内,这一比例还要大得多.美国麻省理工学院(MIT)的一项调查表明,只有35%的公司相信自己的数据,15%的公司相信合作伙伴的数据.从数据输入,数据集成到数据传输,每个过程都不可能完全避免错误.错误的或不充分的数据造成的损失是无法估计的.在美国仅因2000年问题而引起的诉讼费用就达10000亿美元.在不同时期,数据质量有不同的概念和标准.20世纪8()年代以前,国际上关于数据质量的标准基本上是以提高数据准确性为出发点.但是随着质量含义的不断延伸,对数据质量概念的认识也从狭义向广义转变,准确性不再是衡量数据质量的唯一标准.数据质量的高低必须从用户使用的角度来看,即使准确性相当高的数据,如果时效性差,或者不为用户所关心,仍达不到质量的标准.总的来看,现代数据质量概念主要包括以下几个方面:一是注重从用户角度来衡量数据质量,强调用户对数据的满意程度;二是数据质量是一个综合性概念,需要建立一套有效的数据质量管理体系,应从多角度来评价数据的好坏;三是适用性,准确性,适时性完整性,一致性和可比性等构成了数据质量的基本要素.2影响信息系统数据质量的因素影响数据质量的因素有很多,既有管理方面的因素,又有技术方面的因素.无论由哪个方面的因素造成的,其结果均表现在数据库中的数据没有达到预期的质量指标-2J.在数据的生产和处理中,任何一个环节的问题都会对信息系统的数据质量产生负面影响.一般说来,影响数据质量的因素主要有以下几种:21历史原因由于传统上提供服务的各个信息系统相互独立,在它们设计实施阶段都没有统一规划,各个系统往往采用不同的技术和架构,不同的业务规范和数据模式,导致数据粒度,名称,表达方式上的多样性;数据分散,不完整甚至可能会有冲突.22技术水平限制造成元数据不准确,数据不一致,数据重复,数据二义性等问题当前在元数据的处理上,有几种不同的元数据标准,而这些标准有其类似的地方,但不同的标准也存在着各自的个性.23设计时没有提供有效合理的数据更新维护途径目前许多信息系统在其设计过程中,大多注重自身的数据处理能力,而很少考虑与其他系统的兼容性,同时对于数据质量问题也很少考虑,数据更新和维护的途径较少.2.4信息服务机构缺乏数据质量监督管理措施在信息系基金项目:湖北省教科十五规划立项课题(编号:2005B131).作者简介:谷斌,男,1970年生,副研究员,研究方向为电子商务,信息管理.田统建设过程中,往往在业务流程上倾注过多的精力,人们更关心这些数据应该往哪里去,应该由谁处理它.对于提高数据的质量不够重视,数据只不过是信息处理过程中产生的副产品.2.5信息系统的数据质量还受到信息采集过程中信息选择主体的影响在信息选择过程中,认知,情感,意志等心理因素都起作用,还与人们一定的知识背景,兴趣,爱好等有关.并且受社会经济条件的制约.信息传播电有马太效应(MatthewEffect).这是一种社会心理,即已经有的还要加强,没有的总是处于弱势.经由名人透露和传播的信息往往具有较高的含金量,人们会互相传播,甚至添油加醋,而使信息走样和失真.即使是重要信息,如果出自无名之辈,也会被打折扣.由于人们的认识水平和思维创造能力影响心理活动的转化过程,在接受和利用信息的活动中,每个人都有差异,因而个人的选择也有不同【,并最终影响到信息系统的数据质量.3信息系统建设中数据质量的评价信息系统建设中数据质量的评价工作涉及到评价指标的确定和相应评价过程的实施o3.1信息系统建设中数据质量的评价指标在进行信息系统建设数据质量评价时,要根据具体的数据质量评价需求对数据质量评价指标进行相应的取舍.在进行数据质量评价时,我们可以从两个角度来进行:一是主观的角度;二是客观的角度.主观的角度对数据质量的评价主要是从信息系统数据的收集者,数据的管理者和数据的消费者的角度来考查数据的质量问题,而客观角度对数据质量的评价则包括了任务独立与任务非独立两种情形.任务独立,顾名思义即数据的状态与具体的任务之间没有知识结构上下文的关联关系,可以应用于任何一个数据集,而无须考虑具体的任务;而任务非独立则意味着数据与具体的任务之间在内容上关系密切.我们可以从不同的角度对数据质量进行评价,LeoL.Pipin(等人将数据评价的角度作了如下划分:在具体评价过程中,可以根据不同的任务,对上述各种指标给定相应的权值,并最终作出符合实际的评价分析来.衰1数摄质量评价的惫盍【】角度定义易用性敷据量的适度性可信度完整性表述上的简洁性表述上的一致性易操作性正确性互译性客理性榴关性好评程度安全性时问性可理解性增值性敷据可以使用,并且能够简单快捷地检索对某一个具体的任务来说,敷量是适度的敷据是真实可信的数据无缺省,在广度和深度上都是充分的敷据在表述上是精炼的敷据在表述上遵循同格式敷据易于操作并且适应于不同的信息保障任务数据是正确可靠的敷据以适当的语言,符号和单位表述出来,定义清楚数据收集整理过程中不带主观稿见,不主观臆断.公平公正数据可用.并与具体的信息保障任务相关数据在来源和内容方面获得的评价高在对数据存取的过程中维护数据的安全性数据对某一个具体的信息保障任务来说是最新的数据敷据是易于理解的数据是有益的.能够在使用时受益32信息系统建设的数据评价的实施在建立了信息系统数据质量的评价指标之后,接下来就可以实施评价了.在实施固评价过程中,一般应遵循以下几个步骤,如图l所示.a.执行主观和客观上的数据质量评估;b,比较评估的结果,找出误差所在,并在这些误差中找出造成这些误差的根本原因;c.采取必要的措施来提高信息系统的数据质量.圈1信息系统数据质量评价的实施通过对主客观影响因素的分析,其分析的结果可能有四种组合,如图2所示.高低IIIm低高客观评价圈2主客观评价圈在这里,我们以水平方向表示客观评价的高低,以垂直方向表示主观评价的高低.对评价结果的分析会落人图2的四个区域之一,我们的目标是分析的结果落到第块区域,实现客观和主观评价都比较高的目标.如果分析结果落在第1,块区域,则需要调查产生这种情况的主要原因,并采取措施予以纠正.4信息系统建设中的全面数据质量管理尽管由于多方面原因,给信息系统的数据质量带来一定的负面影响,但仍可以采取一定的措施来提升信息系统的数据质量.近来随着信息化的深.人.数据质量方面的工作也由原来的对数据质量的检查和纠错发展到建立全面数据质量管理(TotalDataQualityManagement,TDQM)I-z51.囊纂为了改进和提高数据质量,必须从产生数据的源头抓起,从管理人手,对数据运行的全过程进行监控,密切关注数据质量的发展和变化,深入研究数据质量问题所遵循的客观规律,分析其产生的机理,探索科学有效的控制方法和改进措施;必须深刻认识数据质量问题的普遍性和特殊性,分领域,分阶段,有计划,有步骤地深入研究提高数据质量的理论和方法;必须强化全面数据质量管理的思想观念,把这一观念渗透到数据生命周期的全过程,用这一观念指导参与信息系统建设的每一位专业与非专业人员,为加强全面数据质量管理,以保证数据的精确性,完备性,一致性,及时性,唯一性,有效性,提供坚实的理论基础和技术支持.数据质量问题的产生,既有客观因素,又有主观因素.在实践中,必须建立良好的数据质量管理系统,克服大量主观因素的干扰,从源头上控制数据质量问题的产生和蔓延.信息系统是数据运行的依托和支撑,加强全面数据质量管理,必须抓好信息系统的建设,使用和管理.实施全面数据质量管理,法规体系是根本保障.在信息系统建设的初期,就应当从法律,规章,标准等各个层次建立完备的法规体系,建立完善,科学的数据质量标准体系,评价体系,检查评估制度.只有这样,才能形成通用,共享,优质,高效的数据运行系统.健全的组织机构是实施全面数据质量管理的基础.应设置相应的组织机构,以不断完善数据质量管理系统,确定数据质量管理的整体目标和指标,制定切实可行的实现数据质量目标和指标的策略,方案,对数据质量及其管理过程进行检查,评估等.建立完备的数据质量管理法规体系和健全的数据质量管理组织机构,促进信息系统内部硬软件与人的有机结合,这样,就可以为加强全面数据质量管理建立可靠的运行系统和完善的运行机制.美国在这方面走在了前面,美国政府通过法律,法规的形式对数据质量问题加以规范,同时相应的研究机构也开展了对全面数据质量管理的方法与技术的研究,这方面比较有代表性的是美国麻省理工学院(MIT)和美国国防部.全面数据质量管理的思想强调:必须在信息系统建设的初始阶段直至全过程就把数据质量管理列为一个中心和焦点;必须使参与信息系统建设,使用和管理的每一位人员都有分工,有合作地介入数据质量管理的实践中来;必须形成一整套科学有效地计划一实施一评价一分析的管理措施,实现数据质量及管理过程的循环式改进和优化.这个循环过程可以用图3表示.一錾一一一评估的环境i图3全面数据质量管理进程图从图3可以看出,实施全面数据质量管理是一个循环往复团的过程.a.全面数据质量管理环境的建立.作为全面数据质量管理过程的第一步,建立全面数据质量管理环境通常是最困难的.数据质量管理部门应积极引导,从道德文化环境,制度法规体系,理论方法体系,人才培养与训练系统等方面,为建立全员,全时空的数据质量管理环境创造条件.营造信息系统建设的专业及非专业人员之间的合作氛围,建立完善的数据质量管理法规标准,促使信息系统建设,使用和管理的专业人员及用户,能够在信息系统建设,使用和管理的全程,相互合作,共同为提高数据质量而努力.b.通过专门的团队或个人制订全面数据质量管理的实施计划,包括该数据质量管理计划的总体目标和方向;达到既定目标所应采取的策略和方案以及测度数据质量管理规划完成的情况.通过计划管理和目标的分解细化,保障信息系统建设的全面数据质量管理顺利地得以实施.计划是制定后续实施环节的一个必不可少的前提.e.全面数据质量管理措施的实施.进行全面数据质量管理,应当首先制定全面数据质量管理的战略规划,确定数据质量需求,确立数据质量标准.然后,对数据质量进行分析,查找和验证劣质数据的产生原因,选择有效的数据质量改进时机,制订可行的数据质量改进方案,并对每个方案制定具有可操作性的计划.最后,选择改进方案并执行.d.全面数据质量管理过程的评估.评估是实现数据质量管理过程不断优化,数据质量持续改进的关键一步.科学地制定数据质量评价指标体系,适时对数据质量进行评估.通过对数据质量问题发生的时间,地点,频率和种类进行统计分析,回答:一些重要的错误发生在什么地方,有无某类错误比其它错误更频繁,为了高效地改进数据质量,应该主要在哪些地方下功夫?等关键问题,对一些重要错误进行定位,对某些频繁发生的错误进行考察,对制约质量提高的管理漏洞进行分析,从而掌握现行数据质量管理过程和方法的优缺点,研究改进措施,实现管理过程的不断优化【6J.在信息系统的建设过程中,应建立科学有效的数据质量管理体系,对信息系统的数据质量实施全程,全域和全员管理,将数据质量管理以制度化,规范化的方式落实到数据生成,传递和使用的各个过程,方面和人员之中,充分发挥信息系统在国家信息化进程中的基础性的作用.参考文献1商广娟.有效的数据质量管理体系w21世纪管理的基石.航空标准化与质量,2005;(2)2管尊友.冯建华.一个可扩展的数据质量元模型计算机工程,2005;(4)3谷斌.基于Web的信息选择原则与方法研究.情报杂志.2006;(1)4LeoLPipino.YangWLee.RichardYWang.DataQualityAs.,sment.COM.MUNICATIONSOFTHEACM,2002;45(4)5RichardMar