（计算机系统结构专业论文）中文数据清理的方法研究和应用.pdf

中文数据清理的方法研究和应用 上海大学硕士学位论文 摘要 随着经济的发展，信息技术的大量应用，人们做决策时对数据的依赖性越来越强。 过去，数据只出现在事务处理型系统中。但如今，要求数据也支持决策型系统。由于 数据的正确性很大程度上影响着决策的正确性，从而对数据的要求发生了变化，要求 数据的质量满足决策系统的需要。在现实中，数据一般都存在各种各样数据质量问题， 含有各种类型脏数据。因此，为了提高数据的质量，就需要对数据进行数据清理工作。 本文对数据清理方面的知识进行了比较全面、详细的描述。介绍了数据清理的概 念、意义和国内外的研究现状。并对数据清理的原理、方法、流程、实现方式等进行 了分析和总结。其中，重点对字段匹配技术、匹配度公式定义和记录匹配算法进行了 论述。 在字段匹配技术中，讲述了单字符、多字符、拼音等作为字段匹配单位的情况。 在多字符情况下，又分为自动分词、特征词、标识词三种匹配单位形式，给出了各自 的构造方法，分析了他们各自的应用环境和优缺点。 在记录匹配算法中，给出了一种伸缩窗口的s n a ( s o r t e d - n e i g h b o r h o o da r i t h m e t i c ) 算法，描述了算法的思想和优缺点，并与固定窗口的s n a 算法进行了比较。论文中也 引入了优先级队列的s n a 算法和自己完善后的模糊聚类算法。在s n a 系列算法中， 给出了一种计算重复记录聚类的传递闭包算法。 论文中对属性清理进行了描述。将属性清理也分为三个阶段：分析属性、应用属 性规则发现错误、处理错误。 我们开发了一个针对中文的数据清理工具，具有属性清理和记录清理功能。数据 清理中的结构转换工作都交给数据提取时的数据提取工具( d t s ) 完成。数据清理工 具中集成了多种相似度公式、字段匹配单位形式和记录匹配算法。通过在相似度公式、 字段匹配单位和记录匹配算法中进行组合选择，可以实现多种记录清理方案。 通过应用该工具，可以帮助用户分析数据，并从工具提供的众多清理方案中选出 自己需要的清理方案，减少用户在方案规划阶段所用的时间。 工具的实现中没有对时间和空间因素给予过多的考虑，因为工具的目的是提供一 个数据清理方案的实验平台。许多时候，数据清理的用户最关一心的是数据清理的准确 性，对时间和空间的限制没有很严格的要求。在论文中，我们运用基本的s n a 算法和 改进的伸缩窗口s n a 算法对某大型连锁超市的数据作了数据清理的实验，分析了不同 字段匹配单位和记录匹配算法组合下的记录清理性能。 在文章的结尾，总结了我们研究的不足之处，提出了我们对未来数据清理技术发 展的看法。 关键字：数据清理，字段匹配，s n a ，特征词，自动分词 i v ! 苎墼塑翌型堕互堡塑塑塑壁旦 圭堡查兰堡主兰壁垒塞 a b s t r a c t w i t ht h ed e v e l o p m e n to fe c o n o m i c ，a n da p p l i c a t i o no fi n f o r m a t i o nt e c h n o l o g y , p e o p l ed e p e n do n d a t am o r ea n dm o r ew h e n m a k i n g t h e i rd e c i s i o n i nt h ep a s t ，d a t ao n l ys e l v e st h et r a n s a c t i o ns y s t e m n o w p e o p l ea l s ow a n tt h a tt h ed a t as u p p o r tt h ed e c i s i o n m a k i n gs y s t e m b e c a u s et h eq u a l i t yo fd a t al a r g e l y i n f l u e n c e st h ev a l i d i t yo fd e c i s i o n ，a n di nf a c t ，d a t aa l w a y sc o n t a i n sa l ll d n d so f d i r t y q u a l i t yo fd a t a s h o u l d b ed o n e t o m e e t t h e n e e d o f d e c i s i o n - m a k i n gs y s t e m i no r d e r t oe n h a n c e t h eq u a l i t yo f d a t a ，t h e r e a d p e a r st h er e s e a r c ho f d a t ac l e a n i n g i nt h i sp a p e r , w ed e p i c tt h ek n o w l e d g eo fd a t ac l e a n i n gi nd e t a i l f i r s t ，w ei n t r o d u c et h ec o n c e p t ， m e a n i n ga n dp r e s e n ts i t u a t i o no fd a t ac l e a n i n g t h e nw ed e s c r i b et h et h e o r i e s ，m e t h o d s ，w o r k f l o w , a n d p r a c t i c ew a y s e s p e c i a l l y , w ed e s c r i b et h ef i e l dm a t c ht e c h n o l o g i e s ，m a t c hf o r m u l a e ，a n dr e c o r dm a t c h m e t h o d s o u ra i mi st oc o n s t r u c tas o f t w a r ep l a t f o r mt ot e s tt h ed a t ac l e a n i n gs c h e m e ，a n dt os e r et h e d e s i g no f d a t ac l e a n i n gs c h e m e o ff i e l dm a t c ht e c h n o l o g i e s ，p a p e rd e p i c t st h ef i e l dm a t c hu n i t s ，s u c ha s s i n g l e c h a r a c t e ru n i t ， m u l t i c h a r a c t e ru n i t , p i n y i nu n i t ，a n ds oo n o nt h em u l t i c h a r a c t e ru n i t , t h e r ea r et h r e ec o n c r e t ek i n d s o f u n i t s ：a u t o m a t i c a l l ys e g m e n t i n gw o r d su n i t ，s p e c i a lw o r d s u n i ta n d i d e n t i f yw o r d s u n i t w eg i v ea l lt h e c o n s t r u c t i o nw a y so fu n i t s ，a n dd e s c r i b et h ev i r t u ea n dd r a w b a c k so ft h e m ，a n dd e s c r i b et h e i ra p p l i c a t i o n c i r c u m s t a n c e o fr e c o r dm a t c hm e t h o d s ，w eg i v eaz o o mi n o u tw i n d o w ss n a ( s o r t e d - n e i g h b o r h o o da r i t h m e t i c ) m e t h o d ，w r i t eo u tt h em e t h o di d e a sa n di t sv i r t u ea n dd r a w b a c k s ，m a t c hi tw i t ht h ed e f i n i t i v ew i n d o w s n am e t h o d i np a p e r , w ea l s oi n t r o d u c et h ep r iq u e u es n a m e t h o d ，a n df u z z yc l u s t e r i n ga r i t h m e t i c w h i c hw ea d dn e wi d e at oi t i nt h es e r i e so fs n a a r i t h m e t i c ，w eg i v eap a s s - c l o s ec l u s t e r i n ga r i t h m e t i c w ea l s od e p i c tt h ef i e l dc l e a n i n gt e c h n o l o g y , a n da n a l y z ei tf r o mt w o a s p e c t s w ed e v e l o p e das o f t w a r et o o lo fc h i n e s ed a t ac l e a n i n g ，w h i c hp r o v i d e dw i t ht h ef u n c t i o n so ff i e l d c l e a n i n ga n dr e c o r dc l e a n i n g t h es t r u c t u r et r a n s f o r mj o bo fd a t ac l e a n i n g ，w et a k ei tt ot h ed t s t o o l i n t e g r a t e ss e v e r a lc o m p u t i n gc o m p a r a b i l i t y v a l u ef o r m u l a e ，f i e l dm a t c ht e c h n o l o g i e sa n dr e c o r dm a t c h t e c h n o l o g i e s b ya s s e m b l i n gt h ef o r m u l a ，f i e l dm a t c h u n i ta n dr e c o r dm a t c ha r i t h m e t i c ，w ec a ng e tm a n y d a t ac l e a n i n gs c h e m e i nt h i st o o l ，w ed o n l tt a k ei n t oa c c o u n tm o r et h et i m ea n dr o o m ，b e c a u s eo u ra i mi st oc o n s t r u c tat e s t p l a t f o r m a tm o s tt i m e ，u s e rc a r e sm o r e o nt h ev a l i d i t yo fd a t ac l e a n i n g ，n o to nt h ep e r f o r m a n c eo ft i m e a n dr o o m ，i np a p e r , w em a k eat e s tw h i c hd a t ac o m ef r o mas h a n g h a im u l t i p l es h o pi nt h et e s t ，w e r e s p e c t i v e l yu s es i n g l ew i n d o ws n a a n dz o o mi n o u tw i n d o ws n a ，s i n g l ef i e l dm a t c hu n i ta n d s p e c i a l w o r d sf i e l du n i t w i t ht h er e s u l to f t e s tw e a n a l y z e t h ep e r f o r m a n c eo fs e v e r a ld a t ac l e a n i n gs c h e m e i nt h ee n do fp a p e r ，w ep o i n to u tt h ei n s u f f i c i e n c yo fo u rw o r k ，a n dg i v eo u to u rv i e w st ot h e d e v e l o p m e n t o f d a t ac l e a n i n gt e c h n o l o g yi nt h ef u t u r e k e y w o r d ：d a t ac l e a n i n g ，f i e l dm a t c h ，s n a ，s p e c i a lw o r d s ，s e g m e n t i n gw o r d sa u t o m a t i c a l l y v 中文数据清理的方法研究和应用 上海大学硕士学位论文 第一章概述 本章介绍了数据清理问题提出的背景，数据清理的基本概念，数据质量的概念，以及国内外对 数据清理的研究现状。最后说明本文的研究内容和章节安排。 1 1 问题的提出 不洁数据，也就是脏数据过去一直在许多系统中存在着，我们并没对其多加注意， 这是因为这些脏数据的存在并没有影响到事务处理系统的正常运行。但现在我们对数 据的需求发生了改变。要求数据不仅支持事务处理型系统，也要支持决策分析型系统。 希望在基于历史的、现存的数据的基础上去为将来的企业发展作决策和预测，这时候 数据的质量问题就变的很关键。错误的数据，将会导致出错误的分析结果，并最终影 响正确决策的做出。决策失误，则后果将很严重。此时，数据质量成为决定决策价值 的关键因素。高质量的数据导致高质量的决策，而低质量的数据导致低劣的决策。 目前，随着经济的全球化，信息技术的飞速发展，许多商业企业都积累了大量的电 子数据。商业领域激烈的竞争，迫使企业需要对自身和同行有更多的了解，做到知己 知彼。而企业拥有的企业数据集中就隐藏着许多宝贵的经济信息。为了得到和应用这 些信息，各种决策和预测技术( 例如d m 、k d d 、决策支持等) 都被企业拿来应用。 这些技术最基本的要求是需要高质量的数据集的支持。这样，原来事务处理型系统中 的脏数据就需要清理。另一方面，企业快速发展过程中从其他渠道得来的数据也由于 各种各样的原因( 如数据没有进行标准化、数据输入错误、属性值缺失、数据值冲突、 数据模式冲突等) ，也需要被清理。一般的，大型公司的数据库里都存在错误，错误率 从5 到3 0 1 。 当前，各种决策和预测技术所用到的数据的存在形式基本上都是用数据仓库存放 的形式。为了提高数据仓库中数据的质量，在数据仓库的构建过程( 提取、转换、清 理、集成、汇总) 中，专门有一个步骤是做数裾清理工作的。本文研究的就是这一部 分的内容，且由于中文和英文的语言差别比较大，文章中主要论述的是对中文的数据 清理内容。 上海某大型连锁超市在构建数据仓库的过程中，发现现有数据集中存在着许多错 误和重复记录，需要清理。我们的论文就是基于该项目而进行研究的。在研究的过程 中，我们应用多种思路和方法去进行数据清理工作，最终目的是希望提供个为数据 清理服务的工具。 中文数据清理的方法研究和应用 上海大学硕士学位论文 1 2 1 数据清理的定义 1 2 数据清理简介 对数据清理技术的研究最早出现在美国。美国信息业和商业的发达，更早得刺激 了对这方面的研究。在英文中，数据清理的翻译有d a t ac l e a n i n g 、d a t ac l e a n s i n g 和 d a t as c r u b b i n g 三种说法，翻译到中文有数据净化，数据清洗，数据清理三中译文。尽 管在西文中具体含义上三者有微小差别，但对于三种中文译法，研究者一般都将其看 作是一个意思。 除了语言表达上有几种方式以外，对数据清理具体含义的定义，目前还没有统一 的表述。数据清理在不同的应用领域其要求不完全相同，这也使得定义各异。在数据 仓库环境下数据清理是e t l 过程的一个重要部分，要考虑数据仓库的集成性与面向主 题的需要( 包括对数据的清理及结构转换) ；在k d d 中数据清理主要是提高数据的可利 用性 2 ( 去除噪声、无关数据、空白数据域，考虑时间顺序和数据的变化等) 。按照 3 ，数据清理是一个减少错误和不一致性、解决对象识别的过程。 根据我们的理解这里给出一个定义，数据清理，就是通过各种技术和手段去提高 数据质量的过程。其实，我更趋向于用“数据整理”去替代数据清理这个说法。因为 目前所讨论的数据清理，并不单单是清除了脏数据，还有修改，整理脏数据的意思。 1 2 2 数据质量描述 数据清理的工作是去提高数据的质量，这里对数据质量知识进行些描述。 不同领域对数据质量的要求不同，数据质量一般都体现为一系列规则。按符合规则 的程度，来判断数据的质量。领域不同，定义的规则也就不完全想同。但有一些规则 是任何领域都需要的。例如，准确的、高质量的数据必须满足以下几个规则： 数据是准确的。数据值与客观实体相一致。 数据与定义的数据类型相一致。二维表属性( f i e l d s 或a t t r i b u t e s ) 定义了某种 数据类型( 数值型、字符型、整型等) ，元组( t u r p l e s 或r e c o r d s ) 必须与它 一致。 数据有完整性定义。必须正确定义参照完整性，防止数据被意外的破坏和改变。 数据是致的。数据形式和内容应该一致。数据可以在多个部门( 通过多个应 用和多个平台) 之间集成和共享。 数据是唯一的。数据记录( 及其码值) 是唯一的。 数据遵守商业规范。比如贷款余额从来不会是负数，这个规则来自商业，定义 数据时必须遵守它。 数据是适时的。适时性是主观的，只能由用户来决定。对用户指定的时间都能 提供相应的数据。 数据是有效的。维护的数据足够严格以满足分类准则的接受要求。 中文数据清理的方法研究和应用 上海大学硕士学位论文 数据是完整的。非空值的属性中没有缺失值的情况。 为了提高数据的质量，就的尽可能全面的定义限制数据的规则。通常，规则不可能 次定义好。工作中根据对数据理解的深入，应该来不断加强对规则定义的完善。在 我们日常的应用中，有许多应用规则控制数据质量的例子。例如，各种级别数据库上 的类型、大小范围、关键字等数据约束，以及触发器等更近一步的约束。就连w o r d 办公处理软件也有拼写检查、语法检查等。一个企业，如果有一个完善的对数据定义 的规范，并在数据进入的时候进行规范检查，则数据的质量就比较高，从而为以后的 对数据的利用提供了方便。 在一定程度上可以说，数据清理是当数据质量控制过程没被遵守时，人们不得不 做的工作。但有时即使企业作了数据质量控制过程的工作，可当需要外部的在企业控 制之外的数据时，仍需要去做数据清理工作。然而，这样的数据一般比较少。 两个相关的概念：脏数据和数据生命周期。脏数据，就是不符合数据质量要求的 数据，是数据清理工作要清理的对象。数据生命周期，是对数据的整个存在过程的描 述。对于失去存在价值( 既失去声命) 的数据，没有对其进行数据清理的需要。 可以说，数据清理就是去为数据质量服务。 1 2 3 数据清理的意义 数据清理通过清理脏数据去提高数据的质量，为以后的基于数据集基础上的决 策和分析工作，提供了一个坚实的基础。没有合乎质量的数据，k d d 、d m 等就无 从谈起。 尽管数据清理过程能提高数据的质量，但最好是在数据进入的时候做数据质量 控制工作。因为许多时候如果没有与原始数据相关的文档的存在，数据的意义在做 数据清理工作的时候就无法确切，从而数据清理工作就无法进行。 1 3 1 国外研究现状 1 3 数据清理研究现状 国外对数据清理的研究至少有十几年了，最初可以从美国对全美国的社会保险号 码的错误纠正开始。需求刺激技术的发展，c r m 、d w 、d m 、k d d 等在企业的快速 应用，都要求高质量的企业数据集的支持，从而带动在项目的实施过程中对提高数据 质量方法的研究。特别是近几年，国外的数据清理技术发展的很快，这可以从市场上 存在的数据清理软件数目看出来。有商业上的数据清理软件，也有各大学和研究机构 中文数据清理的方法研究和应用 上海大学硕士学位论文 开发的数据清理软件。 商业上的数据清理软件主要有： 4 】s a si n s t i t u t e 公司的s a s w a r e h o u s e a d m i n i s t r a t o r 5 e l e c t r o n i cd i g i t a l d o c u m e n t s ，i n c 公司的d a t a c l e a n s e r 6 d a t aj u n c t i o nc o r p o r a t i o n 公司的d a t aj u n c t i o n 7 p l a t i u mt e c h n o l o g y 公司的i n f o r e f i n e r 【8 v a l i t yt e c h n o l o g y 公司的i n t e g r i t yd a t ar e e n g i n e e r i n ge n v i r o n m e n t 【9 】w i n p u r el t d 公司的w i n p u r e 各大学研究机构的数据清理软件主要有： 【1 0 加州b e r k e l e y 大学分校的p o t t c r s w h e e l a b 。c ，一个交互式的清理工具。用c 语 言，p e r l 语言或者工具提供的宏语言来写转换规则。 【1 1 新加坡国立大学的i n t e l l i c l e a n 。一个基于知识的智能数据清理工具。使用了一个j a v a 语言的专家系统外壳。 1 2 】法国i n r i a 研究机构的a j a x ，一个可扩展的数据清理工具。 从上面，我们可以看出，国外的数据清理研究已经比较成熟。但由于中西文本身 的差异，国外的数据清理技术并不完全适用中文，下面一节我们会描述中文数据清理 的研究现状。这里先对国外数据清理的研究现状总结以下： ( 1 ) 在属性清理方面，研究的重点大都是人名和地址的清理，有几家公司出了这样 的商业软件产品，采用得技术集中在属性间的约束关系，外部数据，模式别等。 也有有关数值型属性的清理，主要采用了数理统计方法和人工智能方法( 如聚 类，关联规则等) ( 2 ) 在记录清理方面( 重复记录清理) ，应用的方法主要为基本邻近有序算法，全 匹配的f u z z yp u r g e m e r g 算法。重复记录清理的核心是记录得模糊匹配，借鉴 精确匹配的思想。 ( 3 ) 大多清理方案都是针对特定应用问题，只适用于较小的范围。通用的，与领域 无关的得算法，方案较少。大学，研究机构的研究，一般的方案和算法比较通 用。例如，加州b e r k e l e y 大学分校的a b c 交互式清理方案，将错误检测和清 理紧密结合，图形化，当不满意清理结果时可以取消上一步操作。可以将清理 操作编译后执行，且不针对特定的领域，更多得体现了研究性。 ( 4 ) 大多数清理方案都提供了用户编程接口，一般都是描述性的，且都是现有人们 熟悉的语言的扩充。如a j a x 提供的扩充s q l 语言( s q l 语句加上外部函数 组成) ；p o t t e r sw h e e la b c 中用到的c 语言、p e r l 语言、工具本身提供的宏语 一 口。 通过以上概述，可以看出，国外在数据清理的理论研究和应用上发展的都比较快。 4 中文数据清理的方法研究和应用上海大学硕士学位论文 1 3 2 国内研究现状 通过在万方、维普和互联网上检索中文字符串数据清理，数据净化和数据清洗关 键词，几乎发现不了有关学术性的这方面的文章。虽然在一些学术期刊及学术会议上 也能见到一些有关这方面的理论性文章，但直接针对数据清理，特别是中文数据清理 的论文并不多。大多是在作为数据仓库，决策支持、数据挖掘的研究中。做些比较简 单的阐述。目前，在银行、保险和证券等对客户数据的准确性要求很高的行业，都在 做自己的客户数据的清理工作，都是针对自己的具体应用而开发软件，且很少有理论 性东西公布出来。 中文数据清理在理论研究上的欠缺。也使得在市场上看不到有关中文数据清理的 软件工具。现在许多公司都在迸行数据仓库、决策支持系统的开发，都对数据清理软 件工具有需求，且需求应该是迫切的。例如， 1 3 上海社保中心的胡力旗将数据的清理 工作形容为清理信息化“污水”，社保卡项目中出现的数据问题有：象形字写错，繁体 和简体混用，身份证号码写错，居民身份证错号、重号等。到该文章发表时，上海市 还有4 0 万左右的人的姓名和身份证号码等基本信息由于各种原因在各个管理部门还不 能共享。 总的来说，国内的数据渍理研究还处在开始的阶段。 1 , 3 3 数据清理中存在的问题与发展趋势 一、当前数据清理中存在的问题有： 1 ) 数据清理将注意力多放在重复记录的清理上，对属性清理的研究不很多。这也和 属性清理的难度和复杂度有关。当前，属性清理主要集中在单个字段属性的清理上， 多个字段问的属性清理还很不成熟。数据挖掘算法在数据清理中的应用还不成熟。对 字符型属性的自动识别与清理有待于进一步的研究。 2 ) 中文数据清理的研究比较少。中文与英文数据清理有较大的不同( 例如，清理对 象不同，英文数据清理中的技术与方法并不都适用于中文) ，中文数据清理没有引起重 视。 3 ) 重复记录清理的算法仍需要改进。尽管采取了许多改进方法与流程，但识别效率 与识别精度仍不高，对时间和空间的要求也仍比较高。有待于更好的记录预处理和记 录比较算法，以及冲突处理算法的出现。 4 ) 对非关系型数据的清理几乎没有涉猎。随着x m l 等半结构化数据的应用，半结 构化数据会受到越来越多的重视。x 虬数据所具有的特点( 通用性，自描述性) ，使得 x m l 在数据清理中位置会越来越重要。但由于半结构化数据的种类有很多种且出于其结 中文数据清理的方法研究和应用 上海大学硕士学位论文 构不确定，所以现在对他们的研究不多。现在的半结构化数据主要是指：x m l 数据和 日志数据。由于在数据的管理上，关系型数据技术上已经很成熟。目前阶段可以考虑， 将x m l 数据和日志数据，转化为结构式的数据来处理。 5 ) 用户友好性方面，很多系统都提供了描述性语言，但基本上都是对某种已有 语言( 如s q l ，x m l ) 根据自己需要经过扩展实现，不能很好地满足数据清理中模糊匹配 的需要，且不具有互操作性。 二、数据清理的发展趋势： 1 ) 无论是属性清理还是重复记录清理都变得越来越自动与智能化。 2 ) 交互性清理框架由于其高效性、友好性将受到了越来越多的用户青睐。 3 ) 特定领域的数据清理仍是应用重点，但较通用的清理方案会受到越来越多的关 注。 4 ) 数据清理和现有的关系数据库管理系统结合起来。 1 4 本文的研究内容与安排 本文介绍、分析、研究了有关数据清理的问题，论述了数据清理问题的相关知识， 并对中文数据清理进行了一定的探索和研究。 我们的研究放在两个方面，属性清理和重复记录清理。在属性清理方面，应用外 部数据，领域划分，同音字词，同意词典，以及传统属性清理的方法一数理统计方法 和人工智能等方法。对于重复记录清理，在属性清理的基础上，强调属性字段匹配单 位的选择，应用多种改进的记录匹配算法。我们的研究将重点放在重复记录清理的准 确性上，因为准确性的少许提高，在大数据集的环境下，能极大的减轻后续人工参与 的程度，减少人工劳动强度。 本文内容安排如下： 第一章主要介绍了数据清理问题的提出背景，数据清理的简单概念和定义，数据 质量概念，以及国内外的研究现状。 第二章主要介绍了数据清理的原理，方法，方案和评价标准等。综合了英文和中 文两方面的数据清理知识。 第三章主要介绍了属性清理的知识，它的基本方法，过程和算法。 第四章主要介绍了重复记录清理，主要阐述了“改进的基本邻近有序算法+ 自动分 词+ 频繁词”方案，及其实际测试结果。 第五章主要介绍了我们数据清理工具的结构和实现方案。 第六章给出我们的结论与展望。 中文数据清理的方法研究和应用 上海大学硕士学位论文 第二章数据清理知识 数据清理从大的方面讲包括数据值清理和数据模式清理。模式清理，也称为结构 清理。在数据仓库的e t l 过程中，模式清理主要表现在转换过程中。在数据仓库的构 建过程中，数据从原系统析取出来后，将要被存在数据准备区，在这里可以对数据进 行装入数据仓库前的清理和转换工作。在一些时候，转换工作也可以在析取的过程中 完成。但如果析取过程中这些转换可能会影响联机原系统的性能和操作，则应将这些 转换工作推迟到析取完成后执行。 在清理和转换阶段，可以进行验证数据的正确性，一致性，将数据转换成常用格 式以及合并代理键等工作。必要时候，可能要手工操作协调数据的不一致或解决二义 性文本字段输入项。每次需要手工操作时，都应该试着确定一种方法来消除在以后的 数据转换操作中的手工步骤。某些隋况下，也许能够修改原数据系统以消除数据源上 的起因。但主要的工作应该尽可能的自动化，减少人工的参与度，提高效率。 数据仓库构建过程中的数据流动方向如下面图1 所示： 我们的研究是在数据准备区进行的，为的是不干扰现有事务处理系统的运行。 2 1 数据清理的对象 数据清理的对象主要就是数据集中的不洁数据，也就是脏数据，包括脏的数据值和 脏的数据模式。 下面列出常见的脏数据的表现形式 1 4 ，1 5 ，1 6 ： 空值，需要有值存在，但字段值为空。 错误值，包括书写错误造成的错误。 不精确值，包括默认值。 不一致值，即属性间的值不致。 不规范值。例如日期字段值用了多种格式形式表示。 不能解释的值。例如由于资料缺失，对以前交易金额的货币单位不能确切是美 元还是人民币。 非结构化值。例如将单位名称和单位地址放在一个字段里，使用的时候不得不 去做分解工作。 7 中文数据清理的方法研究和应用 上海大学硕士学位论文 重复记录。尽管关系数据库能防止完全的重复记录出现，但不能防止不完全的 重复记录出现在数据库中。 通过对脏数据的认识，我们可以根据产生的来源与发生的层次将脏数据进行分类， 从而更好的对其进行理解，并有针对性的研究其清理的技术和方法。 1 7 最初根据数据的来源，将脏数据分为单数据源问题和多数据源问题。再根据 发生的层次，将脏数据分为模式级问题和实例级问题，如下面图2 所示： 数据质量问题 单数据源问题 模式级 ( 缺乏完整性约束 粗劣的模式设计) 叫一值 参考完整性 实例级 ( 数据输入错误) 拼写错误 冗余重复 矛盾的数据 多数据源问题 模式级 ( 不同的数据模型 和模式设计) 命名冲突 结构冲突 图2 ：数据质量问题 实例级 ( 矛盾的或不一致 的数据) 不一致的聚集层次 不一致的时间点 简单分析： 在单数据源问题中，模式级问题通常是由于结构设计的不合理，缺少必要的完 整性限制造成的；实例级问题表现为实际数据内容中存在错误或不一致。实例 级问题由于下述原因而大量存在：打印错误、书写错误( 当输入数据时) 、缺失 值、简写、缩写、错误引用、冲突、冗余、重复记录。 在多数据源问题中，脏数据主要是由于异构的数据模型与结构设计。来自不同 系统的数据，结构与命名冲突非常普遍；同时因为没有统一的表示标准，几个 数据源的数据可能有不同的表示方法，某些数据源中字段可能包括嵌入值；当 合并多数据源数据时，一方面要处理结构和命名冲突，另一方面必须解决重复 记录问题。同时，单数据源问题也会出现在多数据源问题中。 在此说明下，数据清理是一个复杂的反复的过程，且必须遵循一定的顺序， 尽可能少的依赖于未清理的数据。对脏数据进行分类，能更好的理解清理的过程和 顺序。例如，数据由记录组成，记录由属性组成，在做脏数据清理的时候，就应该 先从属性清理开始，然后才是记录清理。同样的，一般先做单数据源的清理，在做 多数据源的清理。 中文数据清理的方法研究和应用 上海大学硕士学位论文 2 2 1 数据清理的原理 2 2 数据清理的原理和方法 数据清理的原理，就是通过分析脏数据的产生原因和存在形式，利用现有的技术 手段和方法去清理掉脏数据，从而提高数据集的数据质量。 数据清理的原理主要是利用回溯的思想，从脏数据产生的源头上开始分析数据， 对数据集流经的每一个过程进行考察。最后，得到一个全面的对脏数据的分析考察资 料。根据这份资料，将其变成相应的清理规则和策略。让数据集流经这个由规则和策 略组成的闸门，这样脏的数据如果不进行净化和清洗工作，就不能通过闸门。 数据清理工作，主要的任务就是对数据的分析，提取规则和策略。后面的任务就 是在数据集上应用规则和策略发现脏数据和清理脏数据。规则和策略的强度，决定了 闸门的强度，并最终决定清理后数据的质量。 2 2 2 数据清理的方法 脏数据的表现形式有多种，从而数据清理的方法也有多种，分别针对不同的脏数 据类型。下面分类进行说明： 第一、模式级的脏数据清理方法 模式级主要是结构设计不合理和缺乏属性间的完整性约束造成的。模式级问题可 以通过设计程序计算机自动去发现，但由于模式设计更多的涉及到对数据本身的理解， 对应用数据的属领域的认识。所以当发现模式问题时，并不表示很容易能够解决问题。 一般的需要在理解数据意义和应用领域的基础上去做修改。从而很难用计算机自动的 对模式结构进行修改。 一般的模式级问题，都需要人工手工去实现清理。当然，在此过程中，也能够利 用到一些计算机的结构转换函数，例如对列操作的c o p y ，s p l i t ，d i v i d ，a d d 、 d r o p 等函数，以减轻手工纠正的劳动强度。现在有人在研究自动化的模式级问题清 理工具，但还很不成熟。 第二、实例级的脏数据清理方法 大的分类主要分为以下两种情况： 1 、重复记录的清理方法 记录重复现象十分普遍，重复记录清理也获得了很大的关注，其方法，过程，算 法等方面的文章较多。消除重复记录的基本方法是匹配与合并，匹配算法主要分为数 据记录的全匹配算法和部分匹配算法。同时，匹配时的匹配单位选择也有多种，包括 单字符，多字符，以及语音匹配单位等。 具体在第五章有详细描述。 2 、属性清理方法 脏数据最多的表现形式就是属性值中的脏数据。这里列出解决属性值脏数据的主 中文数据清理的方法研究和应用上海大学硕士学位论文 要几种形式： f 1 ) 空值的解决方法 空值是数据清理经常面对的问题。一般的空值问题可分为两种：一是缺失值，二 是空值。缺失值是指值实际存在，但没有存入值所属字段，如成年人都有身份证，如 果某个成年人身份证号属性值为空，就属于缺失值；空值指因实际并不存在而空的值， 如未成年人没有身份证，因此他们的身份证号属性为空。数据清理所要处理的是缺失 的值。处理方法有： 某些缺失值可以从本数据源或其它数据源推导出来。由于原始单据不同、 录入习惯不同、不同系统对记录属性的要求不同，导致同一实体对应的各 个记录缺失程度不同，通过清理可以得到一条相对完整的记录。 可用平均值、中间值、最大值、最小值或更为复杂的概率统计函数值代替 缺失的值。但准确性比较低。 人工输入一个可按受的值。前面两个方法都是可自动化，但手工输入方法 的准确性要比较高。 ( 2 ) 错误值的检测及解决方法 用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守 分布或回归方程的值。 使用简单规则库( 常识性规则、业务特定规则等) 检测和修正错误。 使用不同属性间的约束检测和修正错误。 使用外部数据检测和修正错误。 f 3 1 不一致性数据的解决方法 不一致数据产生主要是由于系统和应用造成的不同的数据类型、格式、制式、 粒度、同义词、编码方式等，另外由于错误的输入、硬件或软件故障、不及时更新、 外部因素造成的数据库状态改变等。解决的方法，主要是在分析不一致性数据产生原 因的基础上，应用多种变换函数，格式函数，汇总分解函数、标准库去实现清理。 目前，与重复记录清理比较起来，对属性清理的研究相对比较少，大多是集中在 具体的几个常用属性上，比如人名，地址字段上。在第三章，我们对属性清理进行详 细的论述。 2 3 数据清理的基本流程 数据清理的整个过程也是一个解决问题的过程，和大多数解决问题的流程一样， 也可分为三个阶段： 第、分析数据。对数据集进行分析，发现其中存在的问题，对分析得到的结果 定义清理转换规则与流程，然后对数据样本进行清理验证，当不满足清理要求时调整 清理规则、流程或系统参数。分析的时候，可以用一切方法，包括对数据应用领域的 理解，数据域的考察，概率统计方法，数据挖掘方法等。清理转换规则与流程的质量， 决定了清理的效率和质量。这是一阶段是一个反复的过程。 中文数据清理的方法研究和应用 上海大学硕士学位论文 二、发现脏数据 在整个源数据( 或备份数据) 上执行前一阶段得到的清理规则与流程去发现脏数 据。这一步的工作可以完全自动化实现。主要要处理好的问题是如何对脏数据进行位 置定位标注，为下一阶段的对脏数据的清理工作服务。可以是发现一个脏数据就处理 一个，也可以是等全部脏数据都发现以后，再去处理。有时，也会根据脏数据的具体 情况，决定马上处理还是留待以后处理。根据处理方式的不同，清理工具分为交互式 清理工具和非交互式清理工具。 三、清理脏数据 在数据集中发现脏数据以后，就得根据脏数据存在形式的不同，应用不同的方法 去解决。上一节的数据清理的方法对此进行了介绍。 一个数据清理流程如下面图3 所示： 分析数据 刮蒸嚣瞎刮赫笋脏麟 发现脏数据 图3 ：数据清理流程 1 ) 模式级问题处理 2 ) 实例级问题处理 a 属性清理 b 记录清理 日志管理 清理脏数据 一点说明：对数据中存在的问题进行清理是一个复杂的过程，数据的清理流程是 一个多次反复的过程。同时，数据清理也有先后的问题，一般的先解决模式级的问题， 然后是实例级问题。在实例级问题中，先解决属性数据的问题，在解决记录数据的问 题。 2 4 数据清理的实现方式 从总的方面看，数据清理的一般实现方式主要是提供一个数据清理应用程序，然 后再给用户提供一个编程接口。应用程序的功能，适用平台，易用性，接口的简单性 等都是评价一个数据清理工具好坏的因素。但在具体的实现方式上，也可以进行些分 类，下面进行几个概括分类： 2 4 1 按与数据库的关系分类 中文数据清理的方法研究和应用 上海大学硕士学位论文 有独立式的，也有和数据库管理系统结合的实现方式。 美国e l e c t r o n i cd i g i t a ld o c u m e n t s ，i n c 公司的d a t a c l e a n s e r 是一个申 请了专利的数据清理工具，这个工具是和i n f o r m i x 数据库管理系统结合起来使用的。 这样一些清理中的工作可以借用i n f o r m i x 的功能实现。用这种方式实现，在效率上可 能要低些，但它的灵活性很强。并且由于关系数据库管理系统在许多方面有国际标准， 这样很容易移植到其他类型的数据库关系系统上去。 2 4 2 按交互性分类 分为基于交互性和基于非交互性的实现方式。 加州b e r k e l e y 大学分校的p o t t e r s w h e e l a b ，c 是一个不错的交互性数据清理工具。 主要特点是在后台发现错误，前台显示和清理错误，彼此可以交互同时进行。用户不 用编制完整的清理程序，可以步一步应用各种清理方法，当对所有自己使用的方法 满意的时候，将各种方法组成个完整的过程来执行，有点象搭积木。其清理过程由 一系列原子操作完成，这些原子操作也可以是自己编制好后加进去的模块。此方案较 好的解决了非交互性情况下用户盲目等待漫长清理过程的缺点。在该实现方式下， p o t t e r sw h e e la b c 为了支持恢复操作，对数据集进行了多次备份，因而需要的空间 比较大。 2 4 3 按智能性分类 分为基于知识推理和基于非知识推理的实现方式。 新加坡国立大学的i n t e l l i c l e a n 系统是基于知识推理的代表。它的开发利用了一 个用j a v a 语言开发的名称为j e s s 的专家系统外壳( 美国的一个名叫s a n d i a 的国家实验室研 究机构开发的，个人用户可以试用) 。该外壳能处理用j a v a 语言书写的规则，也能够在外壳里调 _ i = jj a v a 各种的函数。i n t e l l i c l e a n 系统的主要特点是清理过程由一系列规则组成，并 能根据已有规则推出新的规则。有用于重复记录识别的规则、合并规则、更新规则、 警告规则等。此实现方式目前还处在初期阶段，没有成型的软件工具在商业上使用。 i n t e l l i c l e a n 是新加坡国立大学实验室中的一个产品。 实现方式的总结：通过上面的几个分类方式的说明，我们可以看出如果一个数据 清理工具比较容易和现有多种数据库管理系统结合起来，有高度的交互性，高智能化， 则将是一个优秀的数据清理工具。目前的数