大数据管理课件

第3章大数据管理第3章大数据管理本章内容3.1大数据的清洗3.1.1数据质量3.1.2数据清洗的作用3.1.3数据清洗的方法和过程3.1.4数据清洗实例3.2数据类型和数据转换3.2.1数据类型3.2.2数据转换3.3大数据的提取和加载实验3

数据处理本章内容3.1大数据的清洗3.1大数据的清洗

大数据时代下，管理的关键依靠着数据，但随着信息量的不断增长、智慧工具的不断涌现，如何对数据进行有效清洗实现数据的真实性，有效性，唯一性变得十分具有挑战。为了使数据的记录更准确、一致，消除重复和异常记录就变得很重要，所以数据预处理工作是相当必要的。数据清洗作为数据预处理的一个重要环节，在大数据分析过程中占据重要位置。3.1大数据的清洗大数据时代下，管理的关键依靠着数据

3.1.1数据质量

1.数据质量的四大要素

在技术发展的不同阶段，对数据质量有不同的定义和标准。早期对数据质量的评价标准主要以数据准确性为出发点，随着信息系统功能和定位的不断延伸，用户关心的重点逐步由数据准确性扩展至合法性、一致性等方面。归纳起来，数据质量具有四大要素：

①完整性

②一致性

③准确性

④及时性3.1.1数据质量1.数据质量的四大要素2.数据质量管理的关键①制订规范的数据质量度量标准②建立有效的数据质量监管体系③建立完善的数据质量管理制度

2.数据质量管理的关键3.1.2数据清洗的作用

数据清洗就是按照一定的规则把“脏数据”“洗掉”，过滤不符合要求的数据，主要包括不完整的数据、错误的数据、重复的数据，然后将过滤的结果交给业务主管部门，确认是否过滤掉还是修正之后再进行提取。因此如何对数据进行有效的清理和转换，使之成为符合数据分析要求的数据源，是影响数据分析准确性的关键因素。3.1.2数据清洗的作用数据清洗就是按照一定的规则3.1.3数据清洗的方法和过程1.数据清洗的方法①通过人工检查②通过专门编写的应用程序③针对特定应用领域的数据清理④针对与特定应用领域无关的数据清理3.1.3数据清洗的方法和过程1.数据清洗的方法3.1.3数据清洗的方法和过程2.数据清洗的过程第一阶段：数据分析、定义错误类型第二阶段：搜索、识别错误记录第三阶段：修正错误3.1.3数据清洗的方法和过程2.数据清洗的过程3.1.4数据清洗的实例DataEye原始数据源提供一组游戏下载时长数据集

如果直接计算游戏平均下载时长，得到的结果为23062.57秒，约6.4小时，与实际情况严重不符，说明这一数据集受到噪声数据的显著影响。3.1.4数据清洗的实例DataEye原始数据源提供一组3.1.4数据清洗的实例将数据集等分为240300个区间，找到数据集中区域［0，3266.376］，对取值之间的数据做箱型图分析，对此区间外的数据剔除离群值，重新计算平均下载时长最后计算目标数据源的平均下载时长为192.93秒，约3.22分，符合实际情况。通过数据分布特征及箱型图的方法来识别、剔除噪声数据较为快捷且效果显著。3.1.4数据清洗的实例将数据集等分为240300个区3.2.1数据类型1.整理数据类型（1）INT（或INTEGER）数据类型；（2）SMALLINT数据类型（3）TINYINT数据类型；（4）BIGINT数据类型2.浮点数据类型（1）REAL数据类型；（2）FLOAT数据类型（3）DECIMAL数据类型；（4）NUMERIC数据类型3.二进制数据类型（1）BINARY数据类型；（2）VARBINARY数据类型

3.2数据类型和数据转换3.2.1数据类型1.整理数据类型3.2数据类型和3.2.1数据类型4.逻辑数据类型BIT数据类型5.字符数据类型（1）CHAR数据类型；（2）NCHAR数据类型（3）VARCHAR数据类型；（4）NVARCHAR数据类型6.文本和图像数据类型（1）TEXT数据类型；（2）NTEXT数据类型；（3）IMAGE数据类型7.日期和时间数据类型DATETIME数据类型用于存储日期和时间3.2.1数据类型4.逻辑数据类型3.2.2数据转换

数据转换是将数据从一种表示形式变为另一种表示形式的过程。由于每一个软件后台数据库的构架与数据的存储形式都是不相同的，因此就需要对数据进行转换。例如，对两个操作数进行运算，当操作数的类型不同，而且不属于基本数据类型时，经常需要将操作数转换为所需要的类型，这个过程即为强制类型转换。强制类型转换有两种形式：显式强制类型转换和隐式强制类型转换。3.2.2数据转换数据转换是将数据从一种表示形式3.3大数据的提取和加载

大数据的提取和加载是指将转换好的数据保存到数据仓库中去。大数据在加载时一般采用两种方式：①完全刷新加载从技术角度上说，完全刷新加载比增量提取和加载要简单得多，它适用于数据量不大并且时间代价和条件代价较小的情况。②增量提取和加载如何精准快速地捕