Hadoop大数据开发基础与案例实战（微课版）-教学大纲

PAGE1PAGE教学大纲一、课程说明（宋体、小四、加粗）课程名称：课程编号：总学时：总学分：学时分配：课程性质：必修课先修课程：Linux操作系统、Java程序设计适用专业：大数据技术开课学期：第三学期二、教学目标与要求教学目标：本课程是大数据技术专业的一门必修专业课程。主要学习当前广泛使用的大数据Hadoop平台及其主要组件的作用及使用。通过学习Hadoop平台框架，学会手动搭建Hadoop环境，掌握Hadoop平台上存储及计算的原理、结构、工作流程，掌握基础的MapReduce编程，掌握Hadoop生态圈常用组件的作用、结构、配置和工作流程，并具备大数据的动手及问题分析能力，使用掌握的知识应用到实际的项目实践中。通过本课程的学习，使学生掌握Hadoop生态圈的工作原理和搭建步骤，培养学生的综合能力，活跃学生的思维，激发学生的创造力和想象力，以适应日新月异的就业形势和社会的人才需求。教学要求:一、在保证该课程教学的科学性和系统性的前提下，着重突出Hadoop的实用性。有关本课程的基本概念、基本知识和基本技能，作为教学的重点内容，要求学生牢固掌握并熟练运用。二、坚持理论密切联系实际，讲授时，尽可能借助Hadoop应用程序中的一些典型实例，深入浅出地阐明其基本思想，旨在拓开学生的思路，并积极引导学生将主要精力放在算法设计和功能实现的具体应用上。三、课堂讲授实行启发式，力求做到少而精，突出重点，并注意将培养和提高学生的分析问题和解决问题的能力放在重要位置。四、坚持课后练习是教好、学好本门课程的关键。在整个教学过程中，将根据正常教学进度布置一定量的课后作业，要求学生按时完成。为避免学生将过多的精力和时间耗费在冗繁的敲代码中，将结合有关内容，适时介绍功能是现实的常用算法和技巧。教学重点：Hadoop分布式平台搭建、HDFS分布式文件系统操作、Mapreduce分布式编程、Hive历史数据查询。教学难点：Hadoop分布式平台安装、配置与启动；MapReduce分布式编程模型；Hive工作原理，Hive窗口分析函数。教学内容与目的项目一大数据概述及Hadoop基础知识（2学时）教学目的：了解大数据的特点和发展历史，掌握大数据的概念及需要解决的问题；了解大数据的特点；了解大数据的应用领域；了解Hadoop的产生于发展；了解Hadoop的基本特性；理解Hadoop的生态系统；了解Hadoop的应用场景。教学重点：大数据的概念；大数据需要解决的问题；Hadoop的生态系统。教学难点：Hadoop的生态系统。教学方法与手段：演示法，启发式教学，提问法，任务驱动式教学手段作业形式：完成项目对应任务的操作练习项目二Hadoop平台搭建（10学时）教学目的：掌握设置固定IP的方法；掌握SSH免密登录配置；掌握在Linux下安装JDK；掌握时间同步服务配置；掌握Hadoop的安装；掌握Hadoop集群的搭建；掌握Hadoop集群的启动及停止；掌握Hadoop集群状态的查看。教学重点：JDK的安装；Hadoop的安装；Hadoop集群的搭建；Hadoop集群的初始化；Hadoop集群的启动和停止。教学难点：Hadoop集群的搭建；Hadoop集群的初始化；Hadoop集群的启动和停止。教学方法与手段：演示法，启发式教学，提问法，任务驱动式教学手段作业形式：完成项目对应任务的操作练习项目三HDFS操作（4学时）教学目的：理解HDFS的设计目标；掌握HDFS的系统结构；掌握HDFS的运行机制；掌握HDFS的工作流程；掌握HDFS的命令行操作；掌握HDFS的JavaAPI操作。教学重点：HDFS的运行机制；HDFS的命令行操作；HDFS的JavaAPI操作。教学难点：HDFS的命令行操作；HDFS的JavaAPI操作。教学方法与手段：演示法，启发式教学，提问法，任务驱动式教学手段作业形式：完成项目对应任务的操作练习项目四MapRedcue基础与编程（8学时）教学目的：理解分布式并行计算；理解MapReduce的含义和特点；掌握MapReduce的工作流程；掌握使用MapReduce编程。教学重点：MapReduce的工作流程；使用MapReduce编程。教学难点：使用MapReduce编程。教学方法与手段：演示法，启发式教学，提问法，任务驱动式教学手段作业形式：完成项目对应任务的操作练习项目五Hive（8学时）教学目的：理解Hive的文件存储格式；理解Hive支持的数据类型；掌握MySQL的安装步骤；掌握Hive的安装、配置和验证；掌握Hive的复合数据类型；掌握Hive的内置函数；掌握Hive的窗口分析函数。教学重点：Hive的安装、配置和验证；Hive的内置函数；Hive的窗口分析函数。教学难点：Hive的窗口分析函数。教学方法与手段：演示法，启发式教学，提问法，任务驱动式教学手段作业形式：完成项目对应任务的操作练习项目六Sqoop（4学时）教学目的：了解Sqoop的工作原理及特点，掌握Sqoop的安装与验证；掌握将关系型数据库的数据导入到Hadoop及其相关的系统中，如Hive和HBase；将数据从Hadoop系统里抽取并导出到关系型数据库。教学重点：Sqoop的安装与验证；Hive与MySQL数据导入导出。教学难点：Hive与MySQL数据导入导出教学方法与手段：演示法，启发式教学，提问法，任务驱动式教学手段作业形式：完成项目对应任务的操作练习教学方法与手段本课程理论知识讲授环节，不仅要注重对Hadoop基础理论知识的讲解，更要注重大数据计算思维的培养。针对案例运行过程中出现的错误问题，指导学生能独立查找与解决，使学生掌握解决大数据领域所需的基本理论和工程方法；通过适当的课后作业锻炼来检验学生处理大数据问题的能力。本课程以“学生主体、教师主导”为教学思想，采用“互动、开放”的课堂教学形式，具体以课堂教学为主，结合自学、课后作业和实验教学，采用启发式、探究式的教学方法，基于项目的实际问题，提高学生解决问题的能力，达到课程目标的要求。课堂教学