《Hadoop大数据》课程标准（高职）

《Hadoop大数据》课程标准

【课程名称】Hadoop大四

【开课时间】第3学期

【学时/学分数】54课时/3学分

【课程类型】专业核心课程

【授课对象】大数据行业学生

二、课程定位

1、课程性质：本课程是为大数据技术类相关专业学生开设的课程。随着时代

的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技

术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。

Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛

的应用。Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有

可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式的平台，用户

可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过

十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并

在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是

从事大数据行业工作所必大可少的一步。

2、课程任务：全局的眼光理解大数据，理解大数据的应用，并有总体的概念。

理解企业中实际生产环境的大数据搭建，收集，分析，应用的过程。具备在实际应

用场景中，能对数据处理流程，数据挖掘进行个性化处理。该课程遵循学生职业能

力培养的基本规律，使学生具有较强的理论知识和实际技能，为今后的工作和学习

奠定扎实的基础。

3、课程衔接：本课程的先修课程为：计算机应用基础，微机组装与维修，计

算机网络基础、信息管理基础，SQLServer数据库，C语言。《Java语言编程基

础》为基础课程

三、课程培养目标

通蚌课程的学习，使学习者形成一定的学习能力、沟通与团队的协作能力,

形成良好的思考问题、分析问题和解决问题的能力，养成良好的职业素养。遵守国

家关于软件与信息技术的相关法律法规，形成关键性的软件开发与应用的能力。

（-）专业能力

1.具有理解大数据概念及应用场景的能力

2.具有使用开发语言如：Python的能力

3.具有Hadoop运行环境搭建的能力

4.具有使用Hadoop三种模式的能力

5.具有搭建本地模式的能力

6.具有伪分布式模式的能力

7.具有完全分布式模式的能力

8.具有使用大数据相关技术HDFS、MapReduce的能力

9.具有Hadoop集群及数据批处理的能力

10.具有Hive数据库操作的能力

11.具有操作数据可视化应用的能力

（二）方法能力

1.在学习过程中，学会运用观察、实验、查阅资料等多种手段获取信息，并运

用比较、分类、归纳、概括等方法对信息进行加工；

2.能对自己的学习过程进行计划、反思、评价和调控，提高自主学习的能力；

3.通过理论知识和实践活动相结合的一体化学习过程,深入了解实践和理论之间

的相互关系；

4.通过各种实践活动，尝试经过思考发表自己的见解，尝试运用技术知识和研

究方法解决一些工程实践问题；

5.具有一定的质疑能力，分析、解决问题能力，交流、合作能力。（三）

社会能力

1.能领略本领域科技发展的过程，激发对科学技术探究的好奇心与求知欲，能

体验技术改革的艰辛与喜悦：

2.有参与科技活动的热情，有将科学知识应用于生活和生产实践的意识，勇于

探究各种工程问题。

3.具有敢于坚持真理、勇于创新和实事求是的科学态度和科学精神；

4.有主动与他人合作的精神，有将自己的见解与他人交流的愿望，敢于坚持正

确观点，勇于修正错误，具有团队精神；

5.养成认真细致、实事求是、积极探索的科学态度和工作作风，形成理论联系

实际、自主学习和探索创新的良好习惯；

6.关心国内、外科技发展现状与趋势，有振兴中华的使命感与责任感，有将科

学技术服务于人类的意识。

四、课程内容和要求

课程内容按照由浅入深、由易到难、循序渐进的认知规律，包含Hadoop在云

计算技术的作用和地位一一Hadoop生态系统介绍和演示一Hadoop组件详解

------Hadoop安装和部署---Hadoop集群规划---MapReduce算法原理----编写

MapReduce高级程序---集成Hadoop到现有工作流及HadoopAPI深入探讨----

——使用Hive和Pig开发及技巧一Hbase安装和使用一Hadoop2.0集探索

——Hadoop企业级别案例解析一RedHadoop企'1版本~~Spark原理和入门一

-十四大教学单元。由十四个子教学单元组成，其具体要求如下表:

序

技能要求与情感思政元建议课时（实

号教学单元知识要求思政目标

目标素践课）

1、了解传统大规模系统存在1.Hadoop分布式

的问题文件系统

2、了解Hadoop概述2.MapReduce工

3、了解Hadoop分布式文件作原理

系统3.Hadoop集群剖了解职业的社会价

Hadoop在4、了解MapReduce工作原理析值和需求，引发学

1.爱国

云计算技5、具备Hadoop集群剖析的习兴趣，激发学生

12.职业

术的作用能力为中国信息技术发4

情感

和地位6、具备Hadoop生态系统对展做出贡献的使命

一种新的解决方案的需求的感。

能力

7、具备Hadoop的行业应用

案例分析的能力

8、具备Hadoop在云计算和

大数据的位置和关系的能力

1、了解Hadoop集群内存要

1JIadoop集群磁

求形成国标意识，培

盘分区1.职业

2、7解Hadoop集群磁盘分养严谨、认真的工

Hadoop集2、集群和网络拓意识

5区作态度：养成独立

群规划扑要求2.科学4

3、具备咖集群fl磔翻曲要思考、互助合作的

3、集群软件的端素方

求的能力科学精神

口配置

4、具备配置集群软件的端口

的能力

1、了解HadoopMapReduce

1.职业

算法的原理和优化里树1、灵活运用形成国标意识，培

MapReduce意识

62、具备灵活运外MapReduceMapReduce养严谨、认真的工

算法原理2.科学4

实现算法的能力算法作态度；

素养

1、具备使用Hadoop

MapReduceStreaming缄星

的能力

2、了解MapReduce流程

3^具备剖析一个MapReduce

肺

4、了解基本MapReduceAPI

概念

5、了解驱动代码Mapper、

Reducer1、新MapReduce

沟通、协作、主动、

6、了解Hadoop流API

1.职业

编写7、具备API雌Eclipse2、MapReduce的

坚持的职业意识：意识

7MapReduce进行快速开发的能力优化

勇于探索、质疑、2.科学4

高级程序8、了解新MapReduceAPI3、MapReduce的

独立思考、互助合素养

9、^^McipReduce的优化的能任务调度

作的科学精神

力4、MapReduce编

10、具备MapReduce的任务程实战

调度的能力

11、具备MapReduce穗实

战的能力

12、了解如何利用其他

Hadoop相关技未，包括

ApacheHive,ApachePig,

Sqoop和Oozie等

13、了解满足解决实际数据

分析问题的高级HadoopAPI

1、了解存储系统

2、期利USqoop从关系型数

据库系统中导入数据到

集成Hadoop的能力

1、利用Flume导

Iladoop到3、具解VOFlume导入实卜擞形成开放的视野，1.哲学

入实时数据到

现有工作据到Hadoop的能力勇于探索、质疑、素养

8Hadoop

流及4、具备了解ToolRunner介独立思考♦、互助合2.科学4

2>ToolRunner介

HadoopAPI绍、使用MRUnit进行测试的作的科学精神素养

绍、使用MRUnit

深入探讨能力

进行测试

5、具备使用Configure和

Close方法来进行

Map/Reduce设置和关闭的

能力

1、了解Hive和Pig基础

2、了解Hive的作用和原理

说明

1、Hadoop/Hive

3、具备Hadoop仓库和传统

仓库数据数据流

数据仓库的协作关系的能力

2、Hive部署和安

4、具备Hadoop/Hive仓库数具冬团队合作意识1.敬业

使用Hive装

据数据流的能尢和能力：爱岗、忠2.创新

9和Pig开发3、HiveCli健

5、具备Hive部署和安装的诚、敬业、诚信、3.团队4

及技巧本用法

能力踏实的职业态度合作

4、HQL基本语法

6、了解HiveCli的基本用

5、运用Pig过滤

法

用户数据

7、具备使用HQL基本语法的能

力

8、具备运用Pig过滤用户数

据的能力

1、J留Ibase安装部署的能力

1、Hbase扇i!酌

2、JWibase原理和结构的能形成团队合作学习1.合作

Ubase安装结构

10力能力，具备不断探2.探究

和使用2>Hbase运维和4

3、J>lbase运维和管理的能索和学习的品质。3.创新

力管理

1、了解Hadoop2.0HDFS原题、飒敬也、加爱岗敬

理1、Hadoop2.0信、踏实的职业态业

Hadoop2.0

112、了解Hadoop2.0Yarn原Yarn廨里度；实事求是、勇2.团队

集群探索4

理2、HadooD2.0生于探索、质疑、独合作

3、僚Hadoop2.D生态系统态系统立思考、互助合作3.科学

的科学精神精神

1、具备Hadoop结构化的能

爱忠武敬业、记爱岗敬

力

Hadoop企1、Hbase数据库信、踏实的职业态业

2、了解Hadoop非结构化案

12业级别案案例度；实事求是、勇2.团队

例4

例解析2Jladoop视频分于探索、质疑、独合作

3、了解Hbase数据库案例

析案例立思考、互助合作3.科学

4、了解Hadoop视频分析案

的科学精神精神

例

1、具初flRedHadoop|•蝴构

建服务集群的能力具务团队合作意识1.敬业

RedHadoop1、运用

13和能力；爱岗、忠2.创新

企业版本RedHadoopDW构4

2、具备运用RedHadoopDW诚、敬业、诚信、3.团队

建数据仓库

构建数据仓库的能力踏实的职业态度合作

1、了解Spark原理：Spark

的架构图：Spark运行模式

介绍

2、具备运用一local：一

standalone；-messos：一

yarn：Spark的RDD的能力1、Spark的存储

珈、忠武敬业、诚爱岗敬

3、了解什么是EDD：RDD的级别：Cache介

信、踏实的职业态业

Spark原理种类：~Tranformation；一绍；Spark的德特

14度；实事求是、勇2.团队

和入门Action原理2

于探索、质疑、独合作

4、了解Spark的存储级别;2>Lineage都背；

立思考、互助合作3.科学

Cache靠住Spark的容错原理Checkpoint容

的科学精神精神

5、具备运用Lineage军备错；RDD的创建

Checkpoint容错；RDD的仓!

建的能力

6、了解案例一统计单词的个

数

五、实施建议

(-)教材选用与编写

本课程教材的选用，一方面考虑教材是否能反映Hive的理论和实践发展最新

成果，另一方面也考虑依据教学模式选取适应的教材，为此，建议采用

《Hadoop权威指南》作者是怀特，2010年清华大学出扳社出版

推荐教材：

《Hadoop实战》，作者韩冀中，人民邮电出版社2011-10出版

《Hadoop权威指南》作者是怀特，2010年清华大学出版社出版

（二）教学建议

1.教学目标要符合学生专业发展水平和已有的经验，做到精选学习内容，

使课程不断适应学生知识掌握和能力发展的需要；充实最新成果，坚持以高职教育

技能型人才培养目标为依据，遵循“以应用为目的，以必需、够用力度”的原则，

以“掌握概念、强化应用、培养技能”为重点，力图做到“精选内容、降低理论、

加强基础、突出应用”，紧紧围绕“Hadoop大数据”这个中心目标组织教学。

2.教学方法要符合学生的发展水平和特点。要以案例教学、任务驱动为主要方

法，重视小组合作学习，强化课程实践训练，关注学生主体意识培养，及在理论指

导下的实践和实践中的理论提升，做到知识内化。

3.教学中应强调以学生发展为中心，帮助学生学会学习，通过详细的学习液压

传动来学会气压传动。

4.教学手段应采取多种手段，如教学课件、教学视频、教学动画、辅助软件、实验实

训等多种方式。在课堂组织实施过程中体现爱国、敬业、诚信、自控、创新、严谨、

团结互助等元素，使学生潜移默化形成良好的态度和习惯。

5.教学管理要既重视学习结果又重视学习过程的全程性管理。需要加强对学生

学习过程管理，科学引导学生进行学习，提高学习效果。

（三）教学基本条件

教师需具备本专业本科及其以上学历，要有一定的hadoop大数据理论基础，了解

国内外行业发展的动态，一定的企业实际工作经历，具有良好的教师职业精神；教

学场所需要多媒体的教室；实验室拥有专用服务器，访问路由器，投影仪等。为学

生网络课程提供了良好的实验环境。

（四）课程资源的开发与利用

本课程研发有完整的课程标准、学习指南、授课计划、教案、课件、教学案例

等资源可供学习使用。

（五）教学评价

本课程注重学牛的形成性评价，采用卷面闭卷考试和过程性学习相结合的办法，

出勤成绩占20%,过程性评价成绩占30%,期末卷面成绩占50%。

1.出勤成绩：占20%。

2.过程性评价：作业、课堂表现、平常测验情况占30%。

3.期末考试：占50%,采用闭卷考试的形式。

本课程期末考试既重视基础知识、原理、基本方法的考核，也重视动手操作等

能力的考核，还重视学生在知识综合程度和运用的考核。考试标准参照教学要求分

为识记、理解、迁移与应月、综合四个层次。

六、教学单元设计

教学情境与教学建议

教学单元教学要点理论实践教学重点

设计学时

1、传统大规模系统存在的1、传统大规

问题模系统存在

2、Hadoop概述的问题2

3LIadoop分布式文件系统2、Hadoop概

I、Hadoop分布式文1、Hadoop概

Hadoop在4、MapReduce工作原理述明确任务.进行

件系统述

云计兜技3、Hadoop分知识点讲解：根

lxHadoop集群剖析2、MapReduce工作2、Hadoop在

术的作用布式文件系据任务需求，讨

2Hadoop生态系统对一种新原理云计算和大数

和地位统论方案：制定方

的解决方案的需求3.Hadoop集群剖析据的位置和关

4、MapReduce案和实施计划

31ladoop的行业应用案例系2

工作原理

分析

5、Hadoop集

1Hadoop在云计算和大数

群剖析

据的位置和关系

1、HadoopHDFS和

1、Hadoop创设良好的多媒

MapReduce

HDFS和体教学环境，通

2xHadoop数据库之lIBase2

MapReduce过多次强叱的作

Hadoop生3Uadoop数据仓库之Hive

2、Hadoop数1、Hadoop用，巩固学生对

态系统介4sHadoop数据处理脚本KHadoop数据接口

据库之HBaseHDFS和知识的理解和掌

绍和演示PigSqoop和Flume,

Hadoop数MapReduce握,根据垄务需

5、Hadoop数据接口SqoopScribeDataX

据仓库之求，讨论方案；

和Flume,ScribeDataX2、Hadoop工作流引2

Hive制定方案和实施

6、Hadoop工作流引擎擎Oozie

计划

Oozie

RHadoopHDFS基本结构1、Hadoop

2、HadoopHDFS副本存放HDFS基本结

1、HadoopDataNode

策略构明确任务.进行

详解1、Hadoop

3、HadoopNameNodei秘军2、Hadoop知识点讲解：根

2、HadoopNameNode详

4、HDFS副本存据任务需求，讨4

JobTracker详解解

HadoopSecondaryNameNod放策略论方案；制定方

3、Hadoop

Hadoop组。详解3,Hadoop案和实施计划

TaskTrackeri播

件详解5、HadoopDataNode注解NameNode详

6、HadoopJobTrackeri^解

解4、

7^HadoopTaskTrackerHadoopSecon

详解daryNameNod

c^羊解

1Hadoop系统模块纽件概^

2Hadoop试验集群的部署结

构

、安装依赖关系1Hadoop系

3HadoopkHadoop高可用配多次重复礴放图2

统模块组件

4Hadoop生产环境的部署结置方法表在一定程度上

构概述1、Hadoop试

Hadoop安2、Hadoop案群简单能够巩固学生的

2、Hadoop试验集群的部署

装和部署测试方法掌握程度：并通

验集群的部结构

3、Hadoop过课堂习题环节

RHadoop集群部署署结构

2Hadoop高可用配置方法Debug方法加深对知期的理

3、Hadoop安

3Hadoop集群简单测试方解和掌握

装依赖关系2

法

4、Hadoop集群异常Debug

方法

1、Hadoop集群磁盘通过精炼的概

［、Hadoop集分区括，使学生对繁

1、Hadoop集群内存要求

Hadoop集群内存要求集群和网络拓扑要1、Hadoop集多的教学内容有

2、Hadoop集群磁盘分区

群规划2、Hadoop集求群磁盘分区比较系统的理4

3、集群和网络拓扑要求

群磁盘分区2、集群软件的端口解•，并方便学生

4、集群软件的端口配置

配置.的记忆，制定方

案和实施计划

用实验来导出问

1、HadoopMapReduce算法

MapReduceKMapReduce实现题，解决问题。

的原理和优化思想1、MapReduce1、MapReduce

算法原理算法新课引入用实4

2、灵活运用MapReduce实实现算法实现算法

验，知识的巩固、

现算法

升华用实验

1、使用HadoopMapReduce

Streaming编程1、使用

2>MapReduce流程Hadoop

3、剖析一个MapRecuce程MapReduce1、MapReduceAPI着重突出了教法

序Streaming编2、MapReduce的优对学法的引导。

编写

4、基本MapReduceAPI概程化1、MapReduce在教学双力活动

MapReduce

念2^MapReduce3、MapReduce的任流程过程中，引导学4

高级程序

5、驱动代码Mapper、潮星务调度生由感性大识到

Reducer3、剖析一个4、MapReduce理性认识、由己

6、Hadoop流MapReduce程实战知到未知

7、API使UEelipse西班序

速开发

8、新MapReduceAPI

RMapReduce的优化

2、MapReduce的任务调度

MapReduce编程实战

4、如何利用其他Hadoop

相关技术，包括Apache

Hive,ApachePig,Sqoop

和Oozie等

5、满足解决实际数据分析

问题的高级HadoopAPI

1、存储系统

集成

2、掰Sqoop从关系型数1、存储系统2

Hadoop到据库系统中导入数据到2、禾用Sqoop1、存储系统

通过课堂习题环

现有工作Hadoop从关系型数I、利用Elume导入2、利用Sqoop

节加深对知识的

流3、利用Flume导入实1时数据库系统中实时数据到Hadoop从美系型数据

理解和掌握：根

据到Hadoop导入数据到2、ToolRunner介库系统中导入

据任务需求，讨

及Hadoop4、ToolRunner介绍、使用Hadoop绍、使MRUnit进数据到

论方案；制定方

API深入探MRUnit进行测试3、利用Flume行测试Hadoop2

案和实施计划

讨5、使用Configure和导入实时数

CIOSP方法来进行据到

Map/Reduce设置和关闭

kHive和Pig基砒KHadoop/Hive仓引导学生刍主探

lUive和Pig

2Hive的作用和原理说明库数据数据流究感受概念、具

基础

3Hadoop仓库和传统数据2、Hive部署和安装体实例运用概

2、Hive的作2

使用Hive仓库的协作关系3、HiveCli的基本念、交流评价概

用和原理说

和Pig开4>Hadoop/Hive仓库数据用法1、Hive的作念、归纳小结升

明

发及技巧数据流用和原理说明华概念，加深学

3、Hadoop仓

5、Hive部署和安装生对概念的理

库和传统数1、HQL基本语法

6、HiveCli的基本用法解，同时消除学

据仓库的协2、运用P/过滤用2

7、HQL基本语法生对概念的神秘

作关系户数据

8、运用Pig过滤用户数据感和乏味感

利用图片等手段

1、Hbase1Hbase原理和结1、Hbase进行直观演示，2

Hbase媛kHbase安装部署

部署构部署激发学生的学习

和使用2、Hbase原理和结为

2JIbase屣t2、Hbase运维和管2^Hbase兴趣，活跃课堂

3、Hbase运维和管理

和结构理和结构气氛，促进学生2

对知识的掌握

课堂教学结构合

理黑漆,理论讲

1、Hadoop2.0KHadoop2.0Yarn

Hadoop2.0授部分和深堂练

Yarn原理原理1、Hadoop2.0

集群探索1、Hadoop2.01IDFSJ房里习部分的内容和4

2、Hadoop2.02、Hadoop2.0生态生态系统

时间分配合理。

生态系统系统

练习部分的内容

以学生认识事物

的心理结沟为依

据，围绕理论知

识点展开设计，

1、Hadoop2.0Yarn原理

并在练习过程

2、Iladoop2.0生态系统