大数据数据清洗数据分析数据挖掘

数据清洗

1.基本概念

数据清洗从名字上也看的出就是把"脏"的"洗掉"，指发现并纠正数据文件中可识别的

错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的

数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数

据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲

突的数据显然是我们不想要的，称为“脏数据"。我们要按照一定的规则把"脏数据""洗掉

",这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交

给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数

据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不

同，录入后的数据清理一般是由计算机而不是人工完成。

折叠残缺数据

这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的

区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失

的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数

据仓库。

折叠错误数据

这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后

台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日

期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不

可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之

后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错

误需要去业务系统数据库用SQL的方式挑出来，交给业务主管部门要求限期修正，修正

之后再抽取。

折叠重复数据

对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出

来，让客户确认并整理。

数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题,解决问

题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或

者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，

促使他们尽快地修正错误同时也可以做为将来验证数据的依据。数据清洗需要注意的是

不要,等有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和

形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过

程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。

类型

在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证

性数据分析;其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析

则侧重于已有假设的证实或证伪。

探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一种方法，是对传

统统计学假设检验手段的补充。该方法由美国著名统计学家约翰・图基（JohnTukey）命

名。

定性数据分析又称为“定性资料分析"、"定性研究"或者"质性研究资料分析"，是指对

诸如词语、照片、观察结果之类的非数值型数据（或者说资料）的分析。

数据挖掘（英语：Datamining）,又译为资料探勘、数据采矿。它是数据库知识发

现（英语：Knowledge-DiscoveryinDatabases,简称：KDD）中的一个步骤。数据挖

掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性（属于Association

rulelearning）的信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析

处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来

实现上述目标。

折叠数据挖掘的基本步骤

数据挖掘的步骤会随不同领域的应用而有所变化，每一种数据挖掘技术也会有各自的

特性和使用步骤，针对不同问题和需求所制定的数据挖掘过程也会存在差异。此外，数据

的完整程度、专业人员支持的程度等都会对建立数据挖掘过程有所影响。这些因素造成了

数据挖掘在各不同领域中的运用、规划，以及流程的差异性，即使同一产业，也会因为分

析技术和专业知识的涉入程度不同而不同，因此对于数据挖掘过程的系统化、标准化就显

得格外重要。如此一来，不仅可以较容易地跨领域应用，也可以结合不同的专业知识，发

挥数据挖掘的真正精神。

数据挖掘完整的步骤如下：

①理解数据和数据的来源(understanding)。

②获取相关知识与技术(acquisition)。

③整合与检查数据(integrationandchecking)。

④去除错误或不一致的数据(datacleaning)。

⑤建立模型和假设(modelandhypothesisdevelopment)。

⑥实际数据挖掘工作(datamining)。

⑦测试和验证挖掘结果(testingandverification)。

⑧解释和应用(interpretationanduse)。

由上述步骤可看出，数据挖掘牵涉了大量的准备工作与规划工作，事实上许多专家都

认为整