Python数据预处理教学大纲

1、Python数据预处理课程教学大纲（课程英文名称）课程编号:XXXXX学 分：5学分学 时:38学时（其中:讲课学时26上机学时:12）先修课程：Python网络爬虫后续课程：Python数据可视化适用专业:计算机有关专业，信息技术有关专业或工科类专业开课部门:计算机系一，课程地性质与目的Python数据预处理是一门面向计算机类有关专业地，关于数据预处理地课程，本 课程设计数据预处理地基础知识，主要包括数据预处理概述，科学计算库一一 numpy,pandas库基础，数据获取，数据清理，数据集成，变换与规约，数据清洗工具一一 OpenRefine,在最后一章通过综合案例实战演练一一数据分析师岗位

2、分析来对所学知识 进行应用。通过对课程地学习，学生能够全面系统地掌握数据预处理地基础知识,具备清 理数据，分析数据地能力。二,教学条件要求课程设计理念：从某种意义上来说，人工智能已悄然进入我们地生活中。人工智能依托大数据，机器 学习,数据分析等新兴学科，而这些学科始终离不开“数据”这一话题。现实中地数据是存 在诸如缺失值，重复值等问题地脏数据，它无法直接被应用到人工智能设备。为提高数据 地质量产生了数据预处理技术。课程设计思路：在章节编排上，本书采用”理论知识+代码例如+案例练习”地模式,既有普适性地介绍, 乂提供了充足地案例，确保读者在理解核心知识地前提下可以做到学以致用;在知识配置 上，本

3、书涵盖数据预处理地常用库及工具。通过使用本书，读者可以全面地掌握Python数 据预处理地核心知识，具备开发简单程序地能力。操作系统：Windows 7及以上版本开发环境：Python 3.7 及以上 + numpy 1.19.0 + pandas 1.1.0 + OpenRefine 3.3三,课程地主要内容及基本要求第1章数据预处理概述章名数据预处理概述学时2学习目的. 了解数据预处理地概念及意义.熟悉常见地数据问题.熟悉数据预处理地流程与常用工具.掌握Jupyter地安装与使用.掌握数据预处理库地安装知识点了解熟悉掌握重占难点什么是数据预处理常见地数据问题V数据预处理地流程V常用地数据预

4、处理库安装与使用Jupyter安装数据预处理库第2章 科学计算库一一numpy2章名科学计算库numpy学时4学习目的.熟悉数组对象，可通过多种方式创立数组.掌握数组元素地访问方式.掌握数组地运算.掌握数组元素地常见操作.掌握数组地转置操作知识点了解熟悉掌握重点难点数组对象创立数组V使用整数索引访问元素使用花式索引或布尔索引访 问元素V使用切片访问元素形状相同地数组间运算形状不同地数组间运算数组与常量地运算排序检索数组元素V元素唯一化数组地转置第3章pandas库基础章名pandas库基础学时5学习目的.认识pandas地数据结构，可以采用多种方式创立 Series 与 DataFrame 类

5、对象.认识pandas地索引对象，可以轻松地创立分层索引.掌握pandas索引地有关操作，可熟练地使用单层索 引与分层索引访问数据.掌握pandas地重新索引操作.掌握pandas数据排序地方法,可以按索引与值列排 序.掌握pandas统计计算与描述地方法知识点了解熟悉掌握重点难点SeriesDataFrame索引对象使用单层索引访问数据VV使用分层索引访问数据重新索引按索引排序V按值排序V常见地统计计算统计描述绘制图表V第4章数据获取3章名数据获取学时5学习目的.掌握如何获取CSV与TXT文件地数据.掌握如何获取Excel文件地数据.掌握如何获取JSON文件地数据.掌握如何获取HTML表格中

6、地数据.掌握如何获取数据库地数据6.熟悉如何获取Word与PDF文件地数据知识点了解熟悉掌握重点难点从CSV与TXT文件获取数据从Excel文件获取数据VV从JSON文件获取数据从HTML表格获取数据从数据库获取数据python-docx 概述Vpython-docx地基本使用pdfplumber 概述pdfplumber地基本使用V第5章数据清理章名数据清理学时5学习目的.熟悉常见数据问题地处理方式.掌握缺失值地检测与处理.掌握重复值地检测与处理.掌握异常值地检测与处理知识点了解熟悉掌握重点难点数据清理概述缺失值地检测V缺失值地处理VV重复值地检测V重复值地处理异常值地检测V异常值地处理V案

7、例一一成都某地区二手房 数据清理V第6章数据集成，变换与规约章名数据集成，变换与规约学时6学习目的. 了解数据集成，数据变换,数据规约地常见操作.掌握合并数据操作，可通过多种方式合并数据.掌握轴向旋转，分组与聚合，哑变量处理，面元划分操 作.掌握重塑分层索弘降采样操作知识点了解熟悉掌握重点难点数据集成概述V合并数据数据变换概述V4轴向旋转分组与聚合哑变量处理面元划分数据规约概述重塑分层索引V降采样案例中国篮球运发动地基本信息分析第7章 数据清理工具OpenRefine章名数据清理工具OpenRefine学时8学习目的. 了解OpenRefine工具地特点.掌握OpenRefine地下载与安装.

8、掌握OpenRefine地基本操作.掌握OpenRefine地进阶操作知识点了解熟悉掌握重点难点OpenRefine 介绍OpenRefine地卜载与安装基本配置V创立工程V操作列V撤销与重做导出数据数据排序V数据归类重复检测JVV数据填充文本过滤V数据转换案例一多伦多市建筑许可 信息分析第8章实战演练一一数据分析师岗位分析章名数据清理工具OpenRefine学时4学习目的.熟悉工程地目的与思路. 了解数据分析地流程与pyecharts库.熟练使用pandas处理数据.熟练使用pyecharts绘制基础图表知识点了解熟悉掌握重占难点5数据分析地流程使用pyecharts绘制图表分析目的与思路V

9、数据收集数据预处理数据分析师岗位地需求分析数据分析师岗位地热门城市 ToplO不同城市数据分析师岗位地 薪资水平数据分析师岗位地学历要求四,学时分配章目讲课上机合计第1章数据预处理概述2学时0学时2学时第2章 科学计算库numpy3学时1学时4学时第3章pandas库基础4学时2学时6学时第4章数据获取3学时2学时5学时第5章数据清理3学时2学时5学时第6章 数据集成，变换与规约4学时2学时6学时第7草 数据清理工具OpenRefine4学时2学时6学时第8章 实战演练一一数据分析师岗位分析3学时1学时4学时合计26学时12学时38学时五,考核模式与成绩评定方法本课程为考试课程，期末考试采用百分制地闭卷考试模式。学生地考试成绩由平时成 绩(30%)与期末考试(70%)组成，其中，平时成绩包括出勤(5%)，作业(5%)，上机 成绩(2()