《大数据平台核心技术》教学大纲

《大数据平台核心技术》教学大纲

课程编号：13220704

英文名称：CoreTechnologyOfBigDataPlatform

学分：3

学时：总学时64学时，其中理论32学时，实践32学时

先修课程：程序设计、Hadoop核心技术

课程类别：专业拓展课程

授课对象：数据科学与大数据技术专业学生

教学单位：机械与电气工程学院

修读学期：第6学期

一、课程描述和目标

大数据平台核心技术主要针对数据科学与大数据技术、计算机科学与技术、电子信息等

专业学牛.，是数据科学与大数据技术专业的专业拓展性课程，它担负着系统、全面地理解大

数据，提高大数据应用技能的重任。主要讲解大数据平台涉及到的大数据构架、数据采集、

数据存储、数据分析、数据可视化等内容，并通过实践力图覆盖大数据处理平台的主要核心

技术，帮助学生了解大数据平台设计中的关键挑战，提出实际的解决方案，为学生未来就业

及研究方向提供参考。通过本课程教学，使学生对大数据平台涉及的核心技术有一个全面的

了解,掌握基本的大数据采集、存储和分析方法,并且具备一定对具体实际问题的处理能力。

本课程拟达到的课程目标:通过本课程的学习，让学生接触并了解大数据平台的基本原

理和核心技术，使学生具有较观的分析问题和解决问题的能力，为将来从事大数据相关领域

的工作打下坚实的基础。具体的课程目标如I'：

课程目标1：能够理解大数据平台的基本原理和涉及的相关主要技术。

课程目标2：掌握数据采集、清洗、存储技术，能够设计尹优化模型，熟练调度和使用

主要资源库。

课程目标3：理解大数据分析处理技术方法，能针对具体实际问题设计可行解决方案并

实现。

二、课程目标对毕业要求的支撑关系

毕业要求指标点课程目标权重

3-1:能够设计针对大数据系统工程问题的解决方案，包括满

足特定需求的系统架构、数据库设计、数据挖掘方法、系统课程目标10.4

实现、测试与验证等，并在设计环节中体现创新意识。

4-2：能够基于数据科学的方法和原理，就大数据工程应用中

涉及的信息处理、数据关联、模型预测等数据挖掘问题进行

课程目标20.4

研究，设计相关的实验方案，并对结果或数据进行分析与总

结，得到合理有效的结论。

5-2：能够针对大数据工程问题，为预测与分析工程模型选择

和使用合适的现代工程工具和信息技术工具，并能理解其同课程目标30.2

限性。

三、教学内容、基本要求与学时分配

教学

序号教学内容基本要求学时对应课程目标

方式

1.了解大数据的概述讲授

1大数据概述2.掌握大叔的特征2演示课程目标1

3.理解大数据的意义练习

1.了解云计算概述

2.掌握云计算类型、层次、服务

讲授

模式

2云计算基础2演示课程目标1

3.了解云计算关键技术

练习

4.理解云计算与大数据的关系

5.了解云计算平台

1.了解大数据架构概述

讲授

2.掌握Hadoop架构

3大数据架构4演示课程目标2

3.掌握HDFS架构

练习

4.掌握MapReduce架构

1.了解数据采集概述

2.了解数据采集平台讲授

4数据采集3.掌握数据采集基础4演示课程目标2

4.掌握网络爬虫Scrapy框架练习

5.掌握Python爬虫实现

1.了解数据清洗概述

2.掌握数据清洗常用方法讲授

5数据清洗3.掌握数据质量和数据仓库4演示课程目标2

4.掌握数据清洗环境和常用工练习

具

1.了解大数据存储概述

2.掌握大数据存储方式讲授

6大数据存储3.掌握NoSQL数据库4演示课程目标2

4.掌握NewSQL数据库练习

5.掌握云数据库

1.了解大数据分析概述

讲授

2.了解大数据挖掘概述

7大数据分析与挖掘4演示课程目标2

3.掌握各种数据挖掘算法原理

练习

及优化

1.了解大数据可视化概述

2.掌握大数据可视化方法讲授

8大数据可视化3.掌握大数据可视化常用工具4演示课程目标3

4.了解大数据可视化技术的应练习

,用

1.了解工业大数据概述

讲授

综合案例——大数2.了解工业大数据特点及内涵

94演示课程目标3

据行业应用3.了解工业大数据与行业关系

练习

4.掌握工业大数据的应用

合计32

序号实验项目实验内容与要求学时类型对应课程目标

在window系统中安装虚拟

机安装：熟悉基本操作：用

1云计算基础2验证课程目标1

CentOS7部署openstacko

必修

安装并配置Hadoop平台：

Hadoop平台安装和配

2熟悉基本操作，并演示。必2验证课程目标1

置

修

安装八爪鱼软件；了解网络

基于简易软件数据采

3爬虫的特点：熟悉大数据采2验证课程目标2

集

集有关的操作。选修

利用Excel的数据清洗：利

用Kettle的数据清洗;利

4数据清洗常用工具4验证课程目标2

用DataCleaner的数据清

洗。必修

安装并运行Rcdis数据库，

熟悉Redis数据库基本操

Redis数据库和

5作并演示；安装并运行4验证课程目标2

MongoDB数据库

MongoDB数据库，熟悉相关

操作并演示。必修

编程实现K-means算法，并

实现对数据聚类分析：编程

6常用机器学习算法实现SVM算法，实现对数据6验证课程目标2

分类分析；编程实现回归算

法，分析房价关系。必修

词云制作；大数据可视化应

用调研分析；利用Excel进

7大数据可视化实现行可视化；利用Echarts进4验证课程目标3

行可视化；利用Tableau进

行可视化。必修

交通大数据应用实现：教方

8综合案例8综合课程目标3

大数据应用实现。必修

合计32

注：实验要求包括必修、选修：实验类型包括演示、验证、综合、设计等。

四、课程教学方法

理论教学：主要采用课堂讲授、程序演示、小组讨论等方式。

实验教学：项目讲解、学生自主实验、个别辅导、程序分祈等方式。

五、学业评价和课程考核

推行多元评价，对本课程所采用的评价和考核方式作具体说明，若采用多种考核方法请

分别列出考核评价的方法、内容、考核标准、成绩占比等，考核方法、内容应突出“学生中

心、产出导向”。

（一）考核方式及具体要求

1.课程成绩构成与要求

课程考核注重形成性和终结性评价相结合，考核内容主要由平时作业、章节测试、实验、期

末考核组成，均按百分制计分，其中期末考核成绩占50%、平时作业成绩占10%、课堂表现成绩

占10%、实验成绩占30%。

2.课程目标达成考核与评价

课程目标1课程目标2课程目标3合

序号教学环节

（分值）（分值）（分值）计

1平时作业33410

2课堂表现33410

3实验1015530

4期末考试20201050

课程目标对应分值364123100

（二）考核与评价标准

1.平时成绩考核与评价标准

90-100分70-89分60-69分0-59分

飒4^^

延时完成，60%以不交和补交，50%

按时完成,90%以上按时完成，70%以上

上的作业内容齐以下的作业内容

的作业内容齐全，的作业内容齐全，

全，基本知识点理齐全，基本知识点

基本知识点理解、基本知识点理解、

解、掌握基本到理解、掌握有偏

作业掌握到位。能够利掌握较到位。能够

位。利用理论知识差。不能利用理论

用理论知识识别、较好利用理论知识

对领域相关专业知识对领域相关

分析领域相关专业识别、分析领域相

问题有一定的识专业问题进行识

问题。关专业问题。

别、分析。别、分析。

2.课堂表现评价标准

出勤，迟到1次扣0.5分，无故旷课1次扣1分：上课玩手机1次扣1分，扰乱课堂秩序1

次扣1分：参与课堂讨论加1分。

3.实验评价标准

分值

观而、

90-100分70-89分60-69分0-59分

独立正确完成实验

独立正