第3章大数据管理

1、第第3 3章章 大数据管理大数据管理本章内容本章内容 3.1 3.1 大数据的清洗3.1.1 3.1.1 数据质量3.1.2 3.1.2 数据清洗的作用3.1.3 3.1.3 数据清洗的方法和过程3.1.4 3.1.4 数据清洗实例 3.2 3.2 数据类型和数据转换3.2.1 3.2.1 数据类型3.2.2 3.2.2 数据转换数据转换 3.3 3.3 大数据的提取和加载实验3 数据处理3.1 3.1 大大数据数据的清洗的清洗 大数据时代下，管理的关键依靠着数据，但随着信息量的不断增长、智慧工具的不断涌现，如何对数据进行有效清洗实现数据的真实性，有效性，唯一性变得十分具有挑战。为了使数据的记

2、录更准确、一致，消除重复和异常记录就变得很重要，所以数据预处理工作是相当必要的。数据清洗作为数据预处理的一个重要环节，在大数据分析过程中占据重要位置。 3.1.1 3.1.1 数据质量数据质量 1.数据质量的四大要素 在技术发展的不同阶段，对数据质量有不同的定义和标准。早期对数据质量的评价标准主要以数据准确性为出发点，随着信息系统功能和定位的不断延伸，用户关心的重点逐步由数据准确性扩展至合法性、一致性等方面。归纳起来，数据质量具有四大要素： 完整性 一致性 准确性 及时性2. 数据质量管理的关键 制订规范的数据质量度量标准建立有效的数据质量监管体系建立完善的数据质量管理制度 3.1.2 3.1

3、.2 数据数据清洗的作用清洗的作用 数据清洗就是按照一定的规则把“脏数据”“洗掉”，过滤不符合要求的数据，主要包括不完整的数据、错误的数据、重复的数据，然后将过滤的结果交给业务主管部门，确认是否过滤掉还是修正之后再进行提取。因此如何对数据进行有效的清理和转换，使之成为符合数据分析要求的数据源，是影响数据分析准确性的关键因素。3.1.3 3.1.3 数据数据清洗的方法和过程清洗的方法和过程1. 数据清洗的方法 通过人工检查 通过专门编写的应用程序 针对特定应用领域的数据清理 针对与特定应用领域无关的数据清理3.1.3 3.1.3 数据数据清洗的方法和过程清洗的方法和过程2. 数据清洗的过程第一阶

4、段：数据分析、定义错误类型第二阶段：搜索、识别错误记录第三阶段：修正错误3.1.4 3.1.4 数据数据清洗的实例清洗的实例DataEye 原始数据源提供一组游戏下载时长数据集 如果直接计算游戏平均下载时长，得到的结果为23 062.57 秒，约6.4小时，与实际情况严重不符，说明这一数据集受到噪声数据的显著影响。3.1.4 数据清洗的实例将数据集等分为240 300 个区间，找到数据集中区域0，3 266.376，对取值之间的数据做箱型图分析，对此区间外的数据剔除离群值，重新计算平均下载时长最后计算目标数据源的平均下载时长为192.93 秒，约3.22 分，符合实际情况。通过数据分布特征及箱

5、型图的方法来识别、剔除噪声数据较为快捷且效果显著。3.2.1 3.2.1 数据类型数据类型1. 整理数据类型（1）INT（或INTEGER）数据类型；（2）SMALLINT 数据类型（3）TINYINT 数据类型；（4）BIGINT 数据类型2. 浮点数据类型（1）REAL 数据类型；（2）FLOAT 数据类型（3）DECIMAL 数据类型；（4）NUMERIC 数据类型3. 二进制数据类型（1）BINARY 数据类型 ；（2）VARBINARY 数据类型 3.2 3.2 数据数据类型和数据转换类型和数据转换3.2.1 3.2.1 数据类型数据类型4. 逻辑数据类型 BIT 数据类型5. 字符

6、数据类型（1）CHAR 数据类型；（2）NCHAR 数据类型（3）VARCHAR 数据类型；（4）NVARCHAR 数据类型6. 文本和图像数据类型（1）TEXT 数据类型；（2）NTEXT 数据类型；（3）IMAGE 数据类型7. 日期和时间数据类型 DATETIME 数据类型用于存储日期和时间3.2.2 3.2.2 数据转换数据转换 数据转换是将数据从一种表示形式变为另一种表示形式的过程。由于每一个软件后台数据库的构架与数据的存储形式都是不相同的，因此就需要对数据进行转换。例如，对两个操作数进行运算，当操作数的类型不同，而且不属于基本数据类型时，经常需要将操作数转换为所需要的类型，这个过程即为强制类型转换。强制类型转换有两种形式：显式强制类型转换和隐式强制类型转换。3.3 3.3 大数据的提取和加载大数据的提取和加载 大数据的提取和加载是指将转换好的数据保存到数据仓库中去。大数据在加载时一般采用两种方式：完全刷新加载从技术角度上说，完全刷新加载比增量提取和加载要简单得多，它适用于数据量不大并且时