《数据预处理技术》课件-数据预处理概述

项目一

数据预处理预备篇《Python数据预处理》学习目标/Target

了解数据预处理的概念及意义

熟悉常见的数据问题

熟悉数据预处理的流程

掌握pycharm或Jupyter的安装与使用

掌握python代码基础章节概述/Summary在大数据环境的作用下，现实世界中充斥着海量的数据，这些数据一般是质量不高的“脏”数据，直接使用可能会导致分析结果或挖掘结果产生偏差。为提高数据的质量及分析或挖掘结果的准确度，数据预处理技术运用而生，数据预处理不仅可以清理“脏”数据，还可以将初始数据的内容与格式调整成符合分析或挖掘需求的内容与格式，以达到改进数据质量、提高分析与挖掘效率与准确率的目的。本章将针对数据预处理的相关知识进行讲解。目录/Contents010203什么是数据预处理常见的数据问题数据预处理的流程04开发工具与环境05基础练习什么是数据预处理1.11.1什么是数据预处理

先定一个小目标了解数据预处理的概念，理解预处理的作用了解数据预处理的意义，为后期预处理操作奠定基础1.1什么是数据预处理随着大数据技术掀起的计算机领域的新浪潮，无论是数据分析、数据挖掘还是机器学习、人工智能，都离不开数据这一主题。数据1.1什么是数据预处理在实际应用中，初始数据一般是多数据源且格式多样化的数据，这些数据的质量通常是良莠不齐的，或多或少存在问题，不能直接被使用到数据分析或数据挖掘工作中，直接使用会造成低质量的分析或挖掘结果。初始数据初始数据在进行分析或挖掘之前需要经过一定的处理，调整成符合分析或挖掘需求的数据。1.1什么是数据预处理从初始数据到得出分析或挖掘结果的整个过程中对数据经过的一系列操作称为数据预处理。什么是数据预处理1.1什么是数据预处理数据预处理是数据分析或数据挖掘前的准备工作，也是数据分析或数据挖掘中必不可少的一环，它主要通过一系列的方法来清理脏数据、抽取精准的数据、调整数据的格式，从而得到一组符合准确、完整、简洁等标准的高质量数据，保证该数据能更好地服务于数据分析或数据挖掘工作。据统计发现，数据预处理的工作量占据整个数据挖掘工作的60%，由此可见，数据预处理在数据挖掘中扮演着举足轻重的角色。1.1什么是数据预处理VS预处理前的摩拜单车数据预处理后的摩拜单车数据用户编号、单车编号、单车类型是一些冗余的属性，对分析目标而言没有任何意义；骑行时长是对分析目标起关键作用的属性，但该列中有若干个空缺。城市和骑行时长列的数据是比较完整的，也根据城市名称进行了归类，方便用户快速地得出各城市用户的平均骑行时长。1.1什么是数据预处理若使用预处理前的摩拜单车数据对各城市用户的平均骑行时长进行分析，会导致分析结果存在一些偏差，相反地，使用预处理后的摩拜单车数据进行分析，会得到一个较为准确的分析结果。结论常见的数据问题1.21.2常见的数据问题

先定一个小目标熟悉常见的数据问题，为后期有针对性地处理这些数据问题奠定基础1.2常见的数据问题数据冗余数据值冲突数据噪声数据冗余是指数据中存在一些多余的、无意义的属性。数据值冲突是一类同一属性存在不同值的问题。数据噪声是一类属性值不符合常理的问题。数据缺失数据重复数据异常数据缺失是一类属性值为空的问题。数据重复是一类同一条数据多次出现的问题。数据异常是一类个别数据远离数据集的问题。常见数据问题1.2常见的数据问题上述问题是数据分析或数据挖掘时期比较常见的一些数据问题，这些问题数据会对分析或挖掘结果产生一定的偏差影响，只要被处理成“干净“的数据之后，才可以直接应用到数据分析或数据挖掘中。结论数据预处理的流程1.31.3数据预处理的流程

先定一个小目标熟悉数据预处理的流程，为后期有次序地处理数据奠定基础1.3数据预处理的流程初始数据获取数据清理数据集成数据变换数据规约12345初始数据获取是预处理的第一步，该步骤主要负责从文件、数据库、网页等众多渠道中获取数据，以得到预处理的初始数据，为后续的处理工作做好数据准备。数据清理主要是将“脏”数据变成“干净”数据的过程，该过程中会通过一系列的方法对“脏”数据进行处理，以达到清除冗余数据、规范数据、纠正错误数据的目的。数据集成主要是把多个数据源合并成一个数据源的过程，以达到增大数据量的目的。数据变换主要是将数据转换成适当形式的过程，以降低数据的复杂度。数据规约指在尽可能保持数据原貌的前提下，最大限度地精简数据量，其方法包括降低数据的维度、删除与分析或挖掘主题无关的数据等。数据预处理的流程1.3数据预处理的流程数据清理示意图与左图表格相比，右图表格中空缺的位置被填充了指定的值。1.3数据预处理的流程数据集成示意图右图表格整合了从多个数据源获取的所有数据。1.3数据预处理的流程数据变换示意图右图表格中全部的值转换为0~1范围内的值。1.3数据预处理的流程数据规约示意图与左图表格相比，右图表格的行列数明显都减少了。1.3数据预处理的流程需要说明的是，数据清理、数据集成、数据变换、数据规约都是数据预处理的主要步骤，它们没有严格意义的先后顺序，在实际应用时并非全部会被使用，具体要视业务需求而定。开发工具与环境1.4python下载：1.4.1安装python1.4.2安装与使用Jupyter安装Jupyter使用pip工具可以方便地安装Jupyter。pip工具是Python的包管理工具，Python3.4以上的解释器自带了pip管理工具。pipinstalljupyternotebook安装命令Installingcollectedpackages:jupyterSuccessfullyinstalledjupyter-1.0.0输出以上输出如下信息表明Jupyter工具安装成功。1.4.2安装与使用Jupyter步骤1使用Jupyter以E:\python目录为例，在该目录下打开命令行窗口，输入Jupyter的启动命令。步骤2步骤3步骤4步骤5步骤61.4.2安装与使用Jupyter使用Jupyter执行Jupyter的启动命令后，会在默认的浏览器中呈现Jupyter主界面。值得一提的是，主界面显示的文件默认会保存到E:\python目录中。步骤2步骤1步骤3步骤4步骤5步骤61.4.2安装与使用Jupyter使用Jupyter单击文件列表右上方的“New”，在弹出的下拉列表中选择“Python3”，直接创建一个Python文件。步骤3步骤1步骤2步骤4步骤5步骤61.4.2安装与使用Jupyter使用Jupyter创建Python文件后，Jupyter会在浏览器中打开一个新的页面。文件名菜单栏工具栏步骤4步骤1步骤2步骤3步骤5步骤61.4.2安装与使用Jupyter使用Jupyter在Jupyter文件页面的“In[]:”后的文本框中输入如下代码：print('helloworld!')步骤5步骤1步骤2步骤3步骤4步骤61.4.2安装与使用Jupyter使用Jupyter单击文本框上方的“运行”按钮，程序执行结果将会在文本框下方直接输出，具体如下图所示。使用快捷键Ctrl+S（或修改文件页面的文件名）可以将当前页面中编辑的代码和代码的运行结果都保存在以“.ipynb”为后缀名的文件中，保存后的文件将会出现在Jupyter主界面的文件列表中，单击列表中的文件，可在浏览器中打开并继续使用文件。步骤6步骤1步骤3步骤4步骤5步骤21.4.3安装与使用pycharm安装pycharm/pycharm/python基础1.51.5python程序基础

先定一个小目标掌握python简单输入输出，为后期学习准备好基础1.5python程序基础print（‘bro’）print（

）‘bro’print("拨打："+)print("拨打："+)print("拨打："+)...1.5python程序基础my_lov