高中三年级全学期信息科技《数据清洗》教学课件_第1页
高中三年级全学期信息科技《数据清洗》教学课件_第2页
高中三年级全学期信息科技《数据清洗》教学课件_第3页
高中三年级全学期信息科技《数据清洗》教学课件_第4页
高中三年级全学期信息科技《数据清洗》教学课件_第5页
已阅读5页，还剩10页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

4.2.1数据清洗数据处理内容概要为什么要进行数据清洗什么是数据清洗怎样进行数据的清洗为什么要进行数据清洗？在数据采集过程中，由于各种原因导致数据分析的数据可能不完整或错误，在数据分析前需要对数据进行处理，剔除其中噪声、恢复数据的完整性和一致性后才能进行数据分析。什么是数据清洗？重复数据的处理缺失数据的处理噪声数据的处理数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。重复数据的处理数据库中属性值相同的记录被认为是重复记录。合并或清除是处理重复数据的基本方法。使用Pandas提供的drop_duplicates()能够删除重复数据。缺失数据介绍缺失值是数据中经常出现的问题，会影响数据分析工作的进行，还会导致分析的偏差。缺失数据的处理缺失值的处理包括缺失数据的识别和缺失值处理。Python中缺失值通常用NaN表示，可以使用函数isnull()判断缺失值是否存在。有缺失值返回True，否则返回False。同时可以使用函数isnull().sum()统计缺失值数量，函数返回数据文件中各字段中的缺失值个数。探究活动1导入本地学习资源包“test4-2.xlsx”文件，判断该文件中是否有缺失值，并统计文件中的缺失值情况。缺失数据的处理缺失值的处理包括缺失数据的识别和缺失值处理。缺失值处理常用方法有删除法、替换法、插补法等。1.删除法最简单的缺失值处理方法。删除观测样本。在Python中可通过dropna()函数移除所有含有缺失数据的行，适用于缺失值所占比例较小的情况。删除变量。适用于该变量中有较多缺失值且对研究目标影响不大的情况，通过dropna(axis=1)来实现整个变量的删除。缺失数据的处理2.替换法数值型变量的缺失，用均值来替换变量的缺失值；非数值型变量的缺失，用中位数或者众数来替换。用fillna()函数来实现。3.插补法找到缺失值的替代值来插补是最好的办法。简单的插补法是采取前后的数据值、变量均值、中位数等来代替。探究活动2导入本地学习资源包“test4-2.xlsx”文件，寻找其中的缺失值，并使用中位数替代身高字段中的缺失值。噪声数据的处理噪声数据是指数据中存在着错误或者异常的数据。不可以直接删除，因为有可能正是实验需要的异常数据。常用分箱（binning）、回归（regression）、聚类（clustering）、计算机与人工相结合等方法处理。分箱对数据进行排序，利用“近邻”来光滑数据。分箱方法中，可以使用箱均值、箱中位数或箱边界等进行光滑。Python中cut函数和qcut函数来实现。回归回归函数拟合数据来光滑数据。回归包括线性回归和多元回归。使得一个属性数据预测另一个数据。聚类聚类识别的噪声数据，考察在各个属性上的值与期望之间的距离以判定引起噪声的属性，使用与属性相近的数据进行平滑。课堂小结数据清洗的必要性。重复数据、缺失数据（重点）、噪声数据的处理方法。体验用Python语言处理缺失数据的具体操作。课后练习导入教科书

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论