数据清洗数据分析数据挖掘

1、 从多个业务系统因为数据仓库有的数据中抽取而来而且包含历史数据，这样就避 定 认是否任务是过滤那些不符合要求的数据，将过滤的结 之后再进行抽取。的数据、错误的数据、重复的数据三大类。数据清洗是与 期格式不正确、日期越界等。这一类数据也要分类，对于类似语句 的这一类错误会导致 ETL 运行失败，这一类错误需要去业务系统数据库用 的方 将重复数据记录的所有特别是维表中会出现这种情况-对于这一类数据- 字段 只有不断的发现问题，解决问题。对于是否过滤，是否修正一般要求客户确认， 可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误,同时 数据分析是指用适当的统计分析方法对收集来的大量数据进行

2、分析， 提取有用信息和形成结论而 对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实 用中，类型在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则;性数据分析 侧重 于已有假设的证实或证伪。探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一 种方法，是对传 命名。统统计学假设检验手段的补充。该方法由美国著名统计学家约翰 图基 (John Tukey)，是指对诸或者质性研究资料分析定性资料分析、 定性研究定性数据分析又称为 或 又译为资料探勘、数据采矿。数据挖掘(英语：

3、 Data mining)中的一个步骤。数据挖掘一般是 指从大 KDD)Databases，简称： Knowledge-Discovery in)的信 learningAssociation rule 量的数据中自动搜索隐藏于其中的有着特殊关系性(属于机器 科学有关，并通过统计、在线分析处理、情报检索、息的过程。数据挖掘通常与计算机 模式识别等诸多方法来实现上述目标。 学习、专家系统(依靠过去的经验法则) 数据挖掘的基本步折叠数据挖掘的步骤会随不同领域的应用而有所变化，每一种数据挖掘技术也会有各自的 不同领域中的运用、规划，以及流程的差异性，即使同一产业， 也会因为分析技术和专业知识的 涉入程

4、度不同而不同，因此对于数据挖掘过程的系统化、标准化就显得格外重要。如此一来， 不仅可以较容易地跨领域应用，也可以结合不同的专业知识，发挥数据挖掘的真正精神。 数据挖掘完整的步骤如下： 理解数据和数据的来源(understanding)。 获取相关知识与技术(acquisition)。 整合与检查数据(integration and checking)。 去除错误或不一致的数据(data cleaning)。 建立模型和假设(model and hypothesis development)。 ) 。data mining 实际数据挖掘工作( 测试和验证挖掘结果(testing and verification)。 解释和应用(interpretation and use)。套数 据挖掘的过程中，有 80%的时间和精力是花费在数据预处理