《大数据分析》课程教学大纲

1、大数据分析课程教学大纲课程英文名称：Survey Programming课程编号：HZ190650课程类别：个性化培养平台课程性质：选修课学分：2学时：32（其中：讲课学时：32实验学时：0上机学时：0）适用专业：测绘工程开课部门：环境与资源学院测绘与地理信息工程系先修课程：空间数据库基础、数据结构与算法（C语言）、网络编程技术基础B、大学计算机A、程序设计基础（C语言）后续课程：测绘工程专业毕业设计（论文）等一、课程目标通过本课程的学习，使学生具备以下知识和能力：1.能够将数学、自然科学与工程科学的基本理论运用相联系，运用大数据的相关理论和工具处理和分析复杂测绘工程存在的问题。2.在设计开发

2、的过程中，结合工程管理与经济决策方法，将大数据的相关处理方法正确应用在测绘实践项目管理中。二、课程目标与毕业要求的对应关系课程目标指标点毕业要求课程目标12.1能够将数学、自然科学与工程科学的基本理论运用到识别、分析复杂测绘工程存在的问题；2.问题分析：能够应用数学、自然科学和工程科学的基本原理与方法，识别、表达、分析复杂测绘工程问题，并通过文献研究寻求其解决方案，以获得有效结论。课程目标211.2具有项目经理应具备的规划、组织、协调及管理等基础素质，能在多学科环境下，在设计开发的过程中，运用工程管理与经济决策方法；11.项目管理：掌握测绘工程管理知识与决策方法，并将其在多学科环境中正确应用在

3、测绘实践项目管理中三、课程目标与教学内容和教学方法的对应关系单元大数据分析教学内容教学方法课程目标教学环节训练环节1大数据的基本理论授课4学时课程目标12爬虫知识概述授课8学时作业1：安装python3，熟悉开发环境课程目标13数据库设计原理与基本方法授课4学时作业2：创建数据库、创建数据表并往表中插入记录课程目标14数据可视化的概念与工具授课6学时作业3：练习绘制各种绘制图形课程目标25数据存储的基本概念授课2学时课程目标26数据清洗授课2学时作业4：使用Excle进行数据有效性分析课程目标27数据格式与编码技术授课6学时课程目标2四、课程的主要内容及基本要求（一）理论教学部分第一单元大数据

4、（4学时，支撑课程目标1）知识点大数据的定义、大数据的原理、大数据的发展历程、大数据的特征、大数据的战略意义、大数据的产业链重点大数据的特征、大数据的战略意义难点大数据的特征、大数据的战略意义基本要求1、识记：大数据的定义、大数据的原理、大数据的特征2、领会：大数据的发展历程、大数据的战略意义、大数据的产业链第二单元爬虫与大数据（8学时，支撑课程目标1）知识点爬虫的基本概念、爬虫的作用、爬虫的运行机制、Python3的安装与开发环境、Python3的各种数据类型及各种数据类型的相互转换、网页结构、爬虫的运行原理、爬虫的实现方法、Python3中的爬虫模块重点爬虫的原理、Python3的安装与开

5、发环境、熟练书写并运行Python3程序、熟练书写并运行Python3程序、各种数据类型的掌握及相互转换、urllib模块的应用、Requests的应用、网页结构难点爬虫的原理、Python3的安装与开发环境、熟练书写并运行Python3程序、熟练书写并运行Python3程序、各种数据类型的掌握及相互转换、urllib模块的应用、Requests的应用、网页结构基本要求1、识记：爬虫的基本概念、爬虫的作用、各种数据类型及各种数据类型的相互转换、网页结构2、领会：Python3的书写风格、爬虫的运行原理3、简单应用：书写并运行Python3、安装Requests库4、综合应用：使用Request

6、s爬取网页内容第三单元数据库连接与查询（4学时，支撑课程目标1）知识点数据库模型、MySql的安装、MySql的基本操作、Python中连接MySql数据库的基本原理及方法。重点MySql的基本操作、Python中连接与操作MySql数据库的基本方法难点MySql的基本操作、Python中连接与操作MySql数据库的基本方法基本要求1、识记：数据库模型2、领会：MySql数据库的基本操作3、简单应用：创建数据库、创建数据表并往表中插入记录4、综合应用：新建数据库，并建立数据表，使用Python进行数据库管理第四单元数据可视化基础与应用（6学时，支撑课程目标2）知识点数据可视化的概念、数据可视化

7、的发展、数据可视化的方法与应用、数据可视化的图表、numpy基础、matplotlib库的导入、matplotlib库可视化方法及可视化实现、使用precharts绘制图形重点数据可视化的方法、数据可视化的应用、numpy中的数学基础、matplotlib库的实现、数据可视化的应用、使用precharts绘制图形难点数据可视化的方法、数据可视化的应用、numpy中的数学基础、matplotlib库的实现、matplotlib库的可视化方法、使用precharts绘制图形基本要求1、识记：数据可视化的方法、numpy中的数学基础2、领会：数据可视化的应用、数据可视化的应用3、简单应用：使用mat

8、plotlib库各种图形、使用precharts绘制图形4、综合应用：练习绘制各种绘制图形第五单元大数据存储与清洗（4学时，支撑课程目标2）知识点数据存储的类型、数据存储的方式、数据存储的核心技术、数据清洗的基本概念、数据清洗的主要工具、数据标准化技术与实现重点数据存储的方式与核心技术、数据清洗的工具难点数据存储的方式与核心技术、数据清洗的工具基本要求1、识记：数据存储的类型、数据存储的方式、数据存储的核心技术。2、领会：数据存储3、简单应用：下载并安装OpenRefine与Kettle4、综合应用：使用Excle进行数据有效性分析，并清除重复的数据第六单元数据格式与编码技术（6学时，支撑课程

9、目标2）知识点文件格式、数据类型、字符编码、Kettle的工作流程与应用、数据抽取的定义、数据抽取的方法、数据抽取的工具、pandas数据分析与清洗重点字符编码、Kettle的各种用法、Kettle数据抽取方法、pandas数据分析难点字符编码、Kettle的各种用法、Kettle数据抽取方法、pandas数据分析基本要求1、识记：文件格式、数据类型、字符编码2、领会：数据抽取的定义、数据抽取的方法3、简单应用：字符编码的各种用法4、综合应用：Kettle数据清洗与转换的用法学时分配知识单元理论学时第一单元 大数据大数据概述、大数据的意义、大数据的产业链分析4第二单元爬虫与大数据爬虫概述、py

10、thon介绍、爬虫的相关知识、利用爬虫抓取网页内容8第三单元数据库连接与查询数据库、MySQL数据库、使用Python操作MySQL数据库4第四单元数据可视化基础与应用数据可视化、matplotlib可视化基础、pyecharts可视化应用6第五单元大数据存储与清洗大数据存储、数据清洗、数据标准化4第六单元数据格式与编码技术文件格式、数据类型与编码、数据清洗与转换工具的使用6合 计32五、教学方法与手段本课程是一门技术含量高、实践环节较强的专业选修课，因此授课过程中要求精讲多练，打好基础，加强实践，重在培养学生的空间想象力及实际动手能力，建议授课以多媒体为主，辅之以程序演示、课后作业等，理论与

11、案例相结合的手段进行教学。六、考核要求、方式与成绩评定考核要求：需覆盖大纲中各知识单元全部教学内容，理解讲授内容，掌握基本内容，能够独立或合作完成每次作业。考核形式：考查成绩评定：课程考核选择百分制模式，课题报告与平时作业相结合。课程考核总评成绩由两部分构成，具体计算为总评成绩课题报告50%+作业训练成绩50%。评价环节评估课程目标对应毕业要求平时成绩（100分）作业1课程目标12.1（20分）作业2课程目标12.1（20分）作业3课程目标211.2（40分）作业4课程目标211.2（40分）课题报告（100分）课题报告课程目标1、2、2.1、11.2平时成绩由提交作业成果与作业说明文档的评定

12、，作业会随教学进度多次上交评分，每次评分在作业总成绩中所占比重由授课教师根据作业量和难度确定，评分参考标准如下表：作业成绩评定标准考核内容90-100分75-89分60-74分低于60分按时提交作业（权重0.1）按时完成并提交。按时提交，但作业提交不全。补交作业，作业齐全。补交作业，且作业资料不齐成果质量（权重0.5）程序编写完成，运行结果正确，界面美观，代码冗余低，人机交互友好，有创新。程序编写完成，运行结果正确，代码少量冗余。程序编写完成，正常运行，代码冗余明显。程序编写未完成，无法正常运行，代码冗余明显。作业说明文档（权重0.4）文档思路清晰，结构合理，表述完整，实事求是，有思考，有特色。文档思路清晰，表述完整，有思考，实事求是。文档表述完整，思路较乱，无问题思考，有少量抄袭现象。文档思路不清，表述不完整，抄袭明显。七、选用教材、讲义和