大数据平台与架构教学大纲

大数据平台与架构教学大纲适用范围：2018版本科人才培养方案课程代码：08150291课程类别：专业选修课学分：4学分学时：64学时（其中：理论48学时，实验16学时）先修课程：Linux、Java、操作系统原理、组成原理、计算机网络概论等后继课程：适用专业：软件工程教材：林子雨编著，大数据技术原理与应用，人民邮电出版社，2017.01开课单位：计算机科学与技术系一、课程的性质与任务课程性质：本课程是软件工程专业本科学生的专业选修课。课程任务：通过对本课程的学习，让学生了解并掌握大数据系统的起源及系统特征，并掌握大数据系统的架构设计及功能目标设计、大数据系统程序开发、企业大数据案例分析等内容，同时通过使用MapReduce、Spark等大数据计算平台来提升学生对大数据开发的实践能力。二、课程的基本内容及要求（一）HDFS架构原理1．课程教学内容（1）HDFS概述；（2）HDFS功能与架构；（3）HDFS常见命令和参数。2．课程重点难点重点:HDFS功能与架构，HDFS常见命令和参数。难点:HDFS常见命令和参数。3．课程教学要求（1）了解HDFS使用的场景；（2）理解HDFS功能与架构；（3）掌握HDFS常用命令和参数。（二）MapReduce架构原理1．课程教学内容（1）MapReduce应用场景；（2）MapReduce功能与架构；（3）MapReduce资源管理和任务调度；（4）常用命令和参数。2．课程重点难点重点:MapReduce功能与架构。难点:MapReduce的资源管理和任务调度。3．课程教学要求（1）了解MapReduce的使用场景；（2）理解MapReduce功能与架构；（3）掌握如何配置MapReduce的资源。（4）掌握MapReduce常用命令和参数。（三）Yarn架构原理1．课程教学内容（1）Yarn应用场景；（2）Yarn功能与架构；（3）Yarn的资源管理和任务调度；（4）常用命令和参数。2．课程重点难点重点:MapReduce和Yarn功能与架构，Yarn的资源管理和任务调度。难点:Yarn的资源管理和任务调度。3．课程教学要求（1）了解MapReduce的使用场景；（2）理解MapReduce和Yarn功能与架构；（3）掌握如何配置Yarn的资源。（4）掌握MapReduce和Yarn的常用命令和参数。（四）Spark架构原理1．课程教学内容（1）Spark应用场景；（2）Spark基本功能；（3）Spark组件介绍。2．课程重点难点重点:Spark特点，Spark组件。难点:Spark组件。3．课程教学要求（1）了解Spark应用场景；（2）理解并掌握Spark的特点和技术架构。（五）NoSQL数据库1．课程教学内容（1）NoSQL概述；（2）NoSQL原理与特性；（3）NoSQL命令操作与部署；（4）NoSQL应用与维护。2．课程重点难点重点:NoSQL部署。难点:NoSQL应用。3．课程教学要求（1）理解NoSQL原理和特性；（2）掌握NoSQL部署和应用。（3）理解NoSQL应用场景（六）HBase架构原理1．课程教学内容（1）HBase应用场景；（2）HBase功能与架构；（3）HBase关键流程；（4）HBase接口和参数。2．课程重点难点重点:HBase模块和HBase数据模型，HBase关键流程。难点:HBase关键流程。3．课程教学要求（1）了解HBase的组成架构；（2）理解并掌握HBase的基本功能。（七）Hive架构原理1．课程教学内容（1）Hive应用场景；（2）Hive功能与架构；（3）HiveSQL基础；（4）Hive常用维护。2．课程重点难点重点:Hive增强特性，Hive数据存储模型，Hive基本操作。难点:Hive基本操作。3．课程教学要求（1）了解Hive应用场景与基本原理和Hive增强特性；（2）掌握常用HiveSQL语句；（3）掌握常见Hive故障分析、日志收集。（八）流处理框架Storm1．课程教学内容（1）Storm概述；（2）Storm部署；（3）Storm典型案例。2．课程重点难点重点:Storm典型案例。难点:Storm部署。3．课程教学要求（1）了解当前Sorm技术原理；（2）理解Sorm工作作用和应用场景；（3）掌握主要storm应用技术。三、课程学时分配教学章节理论实践（验）讨论、习题一、HDFS架构原理6二、MapReduce原理64三、Yarn架构原理6四、Spark架构原理64五、NoSQL数据库6六、HBase架构原理64七、Hive架构原理6八、流处理框架Storm64总计4816四、课程考核方式与要求考核方式：本课程主要以课程视频、课堂表现、课内实验、期末大作业等方式对学生进行考核评价。考核基本要求：考核总成绩由期末大作业成绩和过程性评价成绩组成。其中：期末大作业成绩为100分（权重60%），试题类型为编程题；课程视频、课堂表现、课内实验等过程性评价成绩为100分（权重40%）；过程性评价和考试试题分值分配应与教学大纲各章节的学时基本成比例。五、课程资源库王振武编著,《大数据挖掘与应用》,清华大学出版社,2017年1月傅德谦编著,《大数据离线分析》,清华大学出版社,2017年3月王国胤编著,《大数据挖掘及应用》,清华大学出版社,2017年6月吕云翔编著,《大数据基础及应用》,清华大学出版社,2016年12月覃雄派,王会举,杜小勇,等.大数据分析——RDBMS与MapReduce的竞争与共生[J].软件学报,2012,23(1):32-45.杜艳绥.基于MapReduce的大数据时代数据处理技术研究[J].电脑知识与技术,2015(10):1-2.丁伶敏,吕建友.探讨云计算中大数据的MapReduce处理方法[J].物联网技术,2014(9):86-88.SchölkopfB,PlattJ,HofmannT.Map-ReduceforMachineLearn