《大数据技术导论》-教案

大数据技术导论教学教案适用专业：大数据技术、软件技术、人工智能等参考学时：共54学时，理论24学时/实践30学时授课对象：大一学生课程类型：专业基础课2023年9月

《大数据技术导论》课程教案授课章节项目一大数据与大数据时代课时1-4课时教学目的了解大数据技术的发展历程了解大数据时代的产生的原因了解大数据对社会的影响了解大数据行业应用和岗位掌握大数据的主要特征掌握大数据的社会价值教学内容任务1-1认识大数据时代1.1.1大数据时代1.1.2大数据时代产生的原因1.1.3大数据时代产生的变革任务1-2掌握大数据基本特征和处理流程1.2.1数据的定义和分类1.2.2什么是大数据1.2.3大数据的特征1.2.4大数据处理流程任务1-3大数据技术发展历程任务1-4大数据产业结构及行业应用1.4.1大数据产业结构 1.4.2大数据、云计算、人工智能、物联网深度融合1.4.3大数据技术在各行业领域应用案例任务1-5了解大数据岗位需求1.5.1大数据岗位需求1.5.2高职院校学生大数据就业定位教学重难点重点：1.2.3大数据的特征1.2.4大数据处理流程1.4.2大数据、云计算、人工智能、物联网深度融合1.4.3大数据技术在各行业领域应用案例1.5.2高职院校学生大数据就业定位难点：1.2.4大数据处理流程讨论、思考题及作业讨论：1.简述生活中的大数据应用。2.你未来是否会从事大数据相关工作？3.结合实际谈谈大数据的数据安全问题。思考题及作业：1.大数据的特征是什么？2.大数据时代的个人隐私如何保护？3.大数据的技术未来发展方向。《大数据技术导论》课程教案授课章节项目二初识大数据处理平台课时5-8课时教学目的了解为什么要构建大数据处理平台了解大数据处理平台的特征了解Hadoop简介和发展掌握HDFS和MapReduce设计思想掌握Hadoop生态系统架构教学内容任务2-1了解构建大数据处理平台的原因2.1.1大数据时代的数据类型2.1.2传统数据处理平台遇到的问题2.1.3大数据处理平台任务2-2认识最早的大数据生态系统—Hadoop2.2.1Hadoop的简介和发展2.2.2Hadoop的设计思想和特点2.2.3Hadoop两大基础组件2.2.4Hadoop生态系统架构和其他组件教学重难点重点：2.1.3大数据处理平台2.2.2Hadoop的设计思想和特点2.2.3Hadoop两大基础组件2.2.4Hadoop生态系统架构和其他组件难点：2.2.2Hadoop的设计思想和特点2.2.3Hadoop两大基础组件讨论、思考题及作业讨论：1.简述大数据处理平台有哪些特征。2.分布式文件系统HDFS的优点和缺点。3.MapReduce的优点和缺点。思考题及作业：1.HDFS设计思想是什么？2.画出HDFS架构图，并介绍内部各组件。3.列举Hadoop生态系统中常用的组件。《大数据技术导论》课程教案授课章节项目二初识大数据处理平台课时9-12课时教学目的了解几种常见的大数据计算模式了解互联网企业大数据处理平台架构案例掌握大数据处理平台基本架构及数据处理流程掌握五种主流大数据处理平台架构教学内容任务2-3熟悉大数据处理平台架构2.3.1几种大数据计算模式2.3.2大数据处理平台基本架构及数据处理流程2.3.3五种主流大数据处理平台架构2.3.4大数据处理平台架构案例介绍教学重难点重点：2.3.1几种大数据计算模式2.3.2大数据处理平台基本架构及数据处理流程2.3.3五种主流大数据处理平台架构难点：2.3.2大数据处理平台基本架构及数据处理流程2.3.3五种主流大数据处理平台架构讨论、思考题及作业讨论：1.五种主流大数据处理平台架构是哪些？2.Lambda和Kappa架构的区别。思考题及作业：1.叙述大数据处理基本流程。2.大数据计算模式有几种，每种计算模式的应用场景是什么。《大数据技术导论》课程教案授课章节项目三Hadoop开发环境搭建课时13-16课时教学目的了解什么是VMware了解什么是Ubuntu系统掌握VMware安装流程掌握Ubuntu系统安装流程掌握Ubuntu系统网络配置教学内容任务3-1安装VMware虚拟机任务3-2在VMware上安装和配置Ubuntu系统3.2.1Ubuntu系统的安装3.2.2Ubuntu系统的网络设置教学重难点重点：任务3-1安装Vmware虚拟机任务3-2在VMware上安装和配置Ubuntu系统3.2.1Ubuntu系统的安装3.2.2Ubuntu系统的网络设置难点：3.2.1Ubuntu系统的安装3.2.2Ubuntu系统的网络设置讨论、思考题及作业讨论：1.Linux系统有哪几种。2.为什么大数据技术多运行在Linux系统上。思考题及作业：1.在自己的电脑上完成VMware和Ubuntu系统的安装。2.分别为Ubuntu系统配置动态和静态IP，并确保能够上网。《大数据技术导论》课程教案授课章节项目三Hadoop开发环境搭建课时17-20课时教学目的了解什么是SSH了解Hadoop有几种配置模式掌握Java安装及配置掌握SSH以及免密码登录设置掌握Hadoop伪分布式配置掌握Hadoop自带词频统计案例的执行命令教学内容任务3-3在Ubuntu系统上安装配置Hadoop3.3.1安装配置Java环境3.3.2安装SSH以及免密码登录设置3.3.3安装配置Hadoop任务3-4在Hadoop上运行wordcount程序对文件进行词频统计教学重难点重点：任务3-3在Ubuntu系统上安装配置Hadoop3.3.1安装配置Java环境3.3.2安装SSH以及免密码登录设置3.3.3安装配置Hadoop任务3-4在Hadoop上运行wordcount程序对文件进行词频统计难点：3.3.2安装SSH以及免密码登录设置3.3.3安装配置Hadoop任务3-4在Hadoop上运行wordcount程序对文件进行词频统计讨论、思考题及作业讨论：1.为什么伪分布式配置需要SSH？2.SSH免密码登录原理是什么？思考题及作业：1.在自己的电脑上完成Hadoop的安装和配置，并正常启动HDFS。2.执行Hadoop自带的词频统计案例统计HDFS上某目录下的词频。《大数据技术导论》课程教案授课章节项目四数据采集与预处理课时21-24课时教学目的了解数据采集的概念了解传统数据采集和大数据采集区别了解常用的大数据采集工具掌握数据预处理的内容掌握爬虫的定义和分类教学内容任务4-1初识数据采集4.1.1传统数据采集和大数据采集4.1.2大数据采集方式4.1.3大数据采集工具4.1.4数据预处理任务4-2认识互联网数据采集4.2.1初识爬虫4.2.2爬虫编程语言及爬虫分类教学重难点重点：4.1.3大数据采集工具4.1.4数据预处理4.2.2爬虫编程语言及爬虫分类难点：4.1.3大数据采集工具4.1.4数据预处理讨论、思考题及作业讨论：1.谈谈自己平时采集数据的方式。2.谈谈爬虫的两面性问题。思考题及作业：1.数据预处理包含哪些内容？2.爬虫分为几类，每一类的特点是什么？《大数据技术导论》课程教案授课章节项目四数据采集与预处理课时25-28课时教学目的了解什么是requests和BeautifulSoup了解爬虫爬取数据过程了解网页的基本结构掌握Python3.x的安装和环境变量配置掌握requests和BeautifulSoup包基本使用掌握PyCharm安装掌握利用PyCharm编写Python应用程序教学内容任务4-3Windows下Python爬虫开发环境搭建4.3.1Windows下Python3.x的安装和环境变量配置4.3.2requests和BeautifulSoup包安装4.4.3PyCharm安装和使用任务4-4Python爬虫应用程序的编写4.4.1爬虫爬取数据过程4.4.2网页的基本结构教学重难点重点：4.3.1Windows下Python3.x的安装和环境变量配置4.3.2requests和BeautifulSoup包安装4.4.3PyCharm安装和使用难点：4.3.1Windows下Python3.x的安装和环境变量配置4.4.3PyCharm安装和使用讨论、思考题及作业讨论：1.常用的大数据采集工具有哪些？2.爬虫爬取数据的基本流程是什么？思考题及作业：1.在自己电脑的Windows环境下安装Python3.x的安装和环境变量配置2.在自己电脑的Windows环境下安装requests和BeautifulSoup包3.在自己电脑的Windows环境下安装PyCharm4.利用PyCharm编写简单的爬虫程序爬取指定网站的数据《大数据技术导论》课程教案授课章节项目四数据采集与预处理课时29-32课时教学目的了解网站数据抓取流程掌握利用BeautifulSoup解析网站数据掌握数据清洗的编程应用掌握编写Python应用程序爬取链家网数据并进行数据清洗教学内容4.4.3网站数据抓取4.4.4网站数据解析与数据清洗4.4.5编写完整的爬虫程序爬取数据并进行预处理教学重难点重点：4.4.4网站数据解析与数据清洗4.4.5编写完整的爬虫程序爬取数据并进行预处理难点：4.4.4网站数据解析与数据清洗4.4.5编写完整的爬虫程序爬取数据并进行预处理讨论、思考题及作业讨论：1.为什么需要数据清洗？2.数据清洗包括哪些方面？思考题及作业：1.进一步对yuchuliguangzhouershoufang.csv的数据进行预处理，对最后一列year的值进行映射，房本满5年则值映射为5，房本满2年则值映射为2，未知则值映射为0。《大数据技术导论》课程教案授课章节项目五数据计算与数据存储课时33-36课时教学目的了解大数据计算和传统数据计算区别了解常用的大数据计算框架有哪些掌握批量计算和流计算差别掌握NoSQL数据概念和分类掌握Hbase基本架构和运行原理教学内容任务5-1初识大数据计算框架5.1.1大数据计算和传统数据计算区别5.1.2常见的大数据计算框架简介任务5-2初识大数据存储5.2.1分布式文件系统5.2.2NoSQL数据库5.2.3HBase简介教学重难点重点：5.1.2常见的大数据计算框架简介5.2.1分布式文件系统5.2.2NoSQL数据库5.2.3HBase简介难点：5.1.2常见的大数据计算框架简介5.2.3HBase简介讨论、思考题及作业讨论：1.大数据计算框架的类别有哪些？常见的大数据计算框架有哪些？3.什么叫NoSQL数据库，NoSQL数据库的作用是什么？思考题及作业：画出HDFS架构图。2.HBase数据库前身是什么？《大数据技术导论》课程教案授课章节项目五数据计算与数据存储课时37-44课时教学目的了解Spark的概念和运行原理掌握HBase安装和配置掌握Spark安装和配置掌握ScalaIDEForEclipse工具的基本使用掌握利用ScalaIDE编写和打包Spark应用程序掌握Spark应用程序jar包提交集群运行的方法教学内容任务5-3搭建Spark和HBase开发环境5.3.1安装HBase并配置5.3.2安装Spark并配置任务5-4编写Spark应用程序并提交集群运5.4.1Linux下安装和配置ScalaIDEForEclipse工具5.4.2ScalaIDE编写Spark应用程序存储数据进入HBase并打包5.4.3Spark应用程序jar包提交集群运行教学重难点重点：5.3.1安装HBase并配置5.3.2安装Spark并配置5.4.1Linux下安装和配置ScalaIDEForEclipse工具5.4.2ScalaIDE编写Spark应用程序存储数据进入HBase并打包5.4.3Spark应用程序jar包提交集群运行难点：5.4.1Linux下安装和配置ScalaIDEForEclipse工具5.4.2ScalaIDE编写Spark应用程序并打包5.4.3Spark应用程序jar包提交集群运行讨论、思考题及作业讨论：1.HBase数据库是哪种NoSQL数据库？HBase如何标识每条数据？2.叙述HBase数据库如何进行数据存储。思考题及作业：1.利用Spark读取存储在Hbase中的房屋数据并显示前100条在控制台《大数据技术导论》课程教案授课章节项目六数据分析与可视化课时45-48课时教学目的了解数据分析概念掌握Python大数据分析环境搭建掌握常见的大数据分析方法编程应用教学内容任务6-1初识大数据分析6.1.1数据分析简介6.1.2Python大数据分析环境搭建6.1.3常见的大数据分析方法教学重难点重点：6.1.2Python大数据分析环境搭建6.1.3常见的大数据分析方法难点：6.1.2Python大数据分析环境搭建6.1.3常见的大数据分析方法讨论、思考题及作业讨论：1.什么是数据分析？传统数据分析和大数据分析的异同点有哪些？2.常见的大数据分析方法有哪些？思考题及作业：1.分类分析和回归分析的区别是什么？2.分类分析和聚类分析的区别是什么？3.k均值聚类算法的原理是什么？《大数据技术导论》课程教案授课章节项目六数据分析与可视化课时48-54课时教学目的了解大数据可视化概念了解常用的大数据可视化工具掌握PySpark的配置和基本使用掌握利用PySpark编写Spark应用程序进行可视化展现教学内容任务6-2初识大数据可