《大数据技术》课程教学大纲

1、大数据技术课程教学大纲一、课程基本信息课程名称（中文）大数据技术课程名称（英文）Big Data Technology 课程类别1：专业选修课课程性质2选修授课语言3中文授课学期第6学期学分2课程学时及分配总学时讲课实验课外322012适用专业计算机科学与技术教材肖政宏等,大数据技术与应用-微课视频版,清华大学出版社,2020.6.授课学院计算机与软件学院先修课程数据结构、Linux操作系统、程序设计基础后续课程专业实习、毕业设计课程简介课程基本定位：大数据技术是高等工科院校计算机类相关专业的一门专业选修课程，主要介绍大数据集群系统基础、Hadoop分布式系统、HDFS分布式文件系统、MapR

2、educe分布式计算、HBase分布式数据库应用、YARN资源分配、Spark集群计算、Spark机器学习、Hive数据仓库应用、ZooKeeper协调服务及大数据技术应用，为学生今后从事相关领域的工作打下较坚实的基础，激发学生利用大数据技术提高工作效率、造福人类社会。核心学习结果：通过本课程学习，使学生掌握大数据技术的基本概念、理论、常用技术及方法，具备应用大数据技术解决实际问题能力。主要教学方法：讲授、讨论、案例、实验。大纲更新时间2020.8.20注：1.课程类别：选填“通识核心课/通识拓展课/通修课/学科基础课/专业主干课/专业选修课/专业实践/素质拓展”2.课程性质：选填“选修/必修

3、”3.授课语言：选填“中文/双语/全英文或其他语种”二、课程目标序号课程目标（参考培养目标、毕业要求、课程定位）支撑毕业要求指标点1达成途径1.1掌握大数据技术的基本概念、理论和相关技术。指标点1.1： 掌握数学与自然科学的基本概念、基本理论和基本技能，领会数学、物理思想方法，培养逻辑思维和逻辑推理能力。讲授、讨论、作业。2.1具备构建大数据Hadoop平台能力。指标点4.1：能够针对计算机领域问题，选择合适的仿真实验或者测试方案。讲授、讨论、案例、实验。2.2具备HDFS、HBase、Hive、Spark、ZooKeeper基本操作能力。2.3具备能够编写简单的大数据MapReduce程序能

4、力。3.1具有自主学习、终身学习以及自我完善的意识。毕业要求指标点 12.2：能认识不断探索和学习的必要性，具有自主学习和终身学习的意识。自学、专题讨论、作业。注：1.支撑毕业要求指标点：选填项。需要进行专业认证，有毕业要求指标点可参照的课程必填，无明确毕业要求指标点可参照的可不填。三、理论教学内容章标题教学内容学时思政融入点1学生学习预期成果2教学方式3课程目标第1章大数据概论2介绍我国科技工作者在大数据研究中的贡献及存在的差距，增强民族自豪感、责任感和使命感。理解大数据的相关概念、分析过程、应用、处理流程，了解大数据技术的发展前景。讲授、自学1.1,3.1第2章大数据集群系统基础2介绍我国

5、在大数据研究方面的杰出学者及其研究成果，引导学生秉承工匠精神，用心学习基础理论和相关技术，向优秀学者看齐。理解大数据集群相关概念和理论，熟悉Linux操作系统，了解虚拟化技术，了解CentOS大数据集群系统的组成、大数据集群技术的架构，熟悉大数据集群的部署方法。讲授、讨论、案例、演示1.1,3.1第3章Hadoop分布式系统2理解Hadoop原理及运行机制，熟悉Hadoop相关技术，掌握Hadoop的安装、配置与运行方法。讲授、讨论、案例、演示1.1,2.1,3.1第4章HDFS分布式文件系统2掌握HDFS分布式文件系统的工作原理及使用方法。讲授、讨论、案例、演示1.1,2.2,3.1第5章M

6、apReduce分布式计算2熟悉MapReduce的架构、工作原理及使用方法讲授、讨论、案例、演示1.1,2.2,3.1第6章HBase分布式数据库应用2熟悉HBase的架构、集群部署、参数配置、基本操作。讲授、讨论、案例、演示1.1,2.2,3.1第7章YARN资源分配1熟悉YARN的架构、工作流程、基本操作。讲授、讨论1.1,2.2,3.1第8章Spark集群计算2大数据技术是近几年的研究热点，激励学生投入到自己感兴趣的大数据研究方向，为造福人类社会贡献自己的一份光和热。熟悉Spark的架构、集群部署、参数配置、基本计算操作。讲授、讨论、案例、演示1.1,2.2,3.1第9章Spark机器

7、学习2熟悉Spark在聚类和分类问题中的应用。1.1,2.2,3.1第10章Hive数据仓库应用2熟悉Hive组成模块、执行流程、安装和配置、参数配置和基本操作。讲授、讨论、案例、演示1.1,2.2,3.1第11章ZooKeeper协调服务1熟悉ZooKeeper基础理论、集群部署和基本操作。讲授、讨论、案例、演示1.1,2.2,3.1注：1.思政融入点：至少写3条，简述该课程教学中将思政教育内容与专业教育内容有机融合的知识点（下同）。 2.学生学习预期成果：描述学生在学完本节内容后应获得的知识、能力或素养水平（下同） 3.教学方式:包括讲授、讨论、案例、演示等，但不限于所列，根据课程实际需要

8、列举四、实践（实验或实习）教学1编号实验或实习项目名称教学内容学时实验或实习类型2思政融入点学生学习预期成果课程目标1Hadoop安装、配置与基本操作安装linux操作系统；安装JDK;安装Hadoop;配置Hadoop;格式化；运行Hadoop。2验证性介绍近年来国内举办的全国大学生大数据技能竞赛情况，鼓励学生认真学习、努力实践、勇于创新，积极参与该项赛事。理解Hadoop工作原理，能熟练安装、配置、操作Hadoop。2.12HDFS分布式文件存储完成分布式文件存取操作。2验证性掌握分布式文件存储工作原理和基本操作。2.23MapReduce分布式计算编程完成文字统计和倒排索引2验证性针对当

9、前各大IT公司急需大数据技术领域的人才，引导学生秉承工匠精神，用心学习基础理论，勤动手动脑，为将来就业和继续深造打下坚实基础。能够应用MapReduce完成简单的分布式计算。2.34HBase分布式数据库应用编程完成分布式数据库中数据的存取操作2验证性熟悉HBase的安装和分布式数据库的基本操作。2.25Spark集群计算完成Spark安装、集群部署、参数配置、集群运行、词频统计和相关系数计算。2验证性熟悉Spark的安装、配置何运行方法，能进行简单集群计算。2.26Spark机器学习完成聚类和随机森林中的分类问题。2验证性在教学中融入家国情怀、自主创新。通过课程学习，培养和鼓励学生创新意识和

10、家国情怀，把学生培养成富有责任和使命担当、敢于创新的技术人才。掌握Spark中机器学习操作过程。2.2注：1.此表可用于课内实践教学环节或某门综合实践课程2.实验类型：选填”验证性/综合性/设计性”；实习类型：选填“认识实习/生产实习/毕业实习”五、课程评价（一）考核内容、考核方式与课程目标对应关系课程目标考核内容考核方式及占比（%）成绩（%）课程作业课程实验课程考试目标1.1是否掌握大数据技术的基本概念、理论和相关技术。107080目标2.1是否具备构建大数据Hadoop平台能力。44目标2.2是否具备HDFS、HBase、Hive、Spark、ZooKeeper基本操作能力。44目标2.3

11、是否具备能够编写简单的大数据MapReduce程序能力。44目标3.1课程讨论环节和实验环节是否能够反映自主学习、终身学习以及自我完善的意识。538合计151570100注：1. 课程目标在考核方式及占比：主要根据课程目标自行设计和制定多元化考核方式，表中所列仅为参考（红色数据可删除）。但所列考核方式必须覆盖全体学生，可根据当学期具体教学情况酌情调整。2. 各考核方式占总成绩权重：根据课程实际情况对各考核方式占总成绩的权重予以赋值。（二）考核方式评分标准1课程作业评分标准课程目标评分标准占比90-100（优）80-89（良）70-79（中）60-69（及格）0-59（不及格）15%目标1.1能

12、够深入理解大数据技术的基本概念、理论和相关技术。能够较好地理解大数据技术的基本概念、理论和相关技术。能够理解大数据技术的基本概念、理论和相关技术。基本理解大数据技术的基本概念、理论和相关技术。不理解大数据技术的基本概念、理论和相关技术。2课程实验评分标准（笔试类评分标准可在大纲中按以下格式予以说明，也可在通过“试卷分析表”予以说明）课程目标评分标准占比90-100（优）80-89（良）70-79（中）60-69（及格）0-59（不及格）15%目标2.1具有很强的构建大数据Hadoop平台能力。具有较强的构建大数据Hadoop平台能力。具有一般的构建大数据Hadoop平台能力。基本具有构建大数据

13、Hadoop平台能力。不具有构建大数据Hadoop平台能力。目标2.2具有很强的HDFS, HBase,Hive,Spark,ZooKeeper基本操作能力。具有较强的HDFS, HBase,Hive,Spark,ZooKeeper基本操作能力。具有一般的HDFS, HBase,Hive,Spark,ZooKeeper基本操作能力。基本具有HDFS, HBase,Hive,Spark,ZooKeeper基本操作能力。不具有HDFS, HBase,Hive,Spark,ZooKeeper基本操作能力。目标2.3具有很强的能够编写简单的大数据MapReduce程序能力。具有较强的能够编写简单的大数

14、据MapReduce程序能力。具有一般的能够编写简单的大数据MapReduce程序能力。基本具有能够编写简单的大数据MapReduce程序能力。不具有能够编写简单的大数据MapReduce程序能力。目标3.1实验报告格式规范，文字严谨，内容正确，条理性好，无抄袭痕迹，图文并茂；能正确问答所提的问题。实验报告格式规范，文字严谨，内容比较正确，条理性好，无抄袭痕迹，图文并茂；能比较正确问答所提的问题。实验报告格式比较规范，文字比较严谨，内容正确，条理性好，无抄袭痕迹，图文并茂；能比较正确问答所提的问题。实验报告格式基本规范，文字严谨，内容基本正确，条理性好，无抄袭痕迹，图文并茂；能基本正确问答所提的问题。实验报告有明显的抄袭痕迹，不能正确问答所提的问题。3课程考试评分标准课程目标评分标准占比90-100（优）80-89（良）70-79（中）60-69（及格）0-59（不及格）70%目标1.1能够深入理解大数据技术的基本概念、理论和相关技术。能够较好地理解大数据技术的基本概念、理论和相关技术。能够理解大数据技术的基本概念、理论和相关技术。基本理解大数据技术的基本概念、理论和相关技术。不理解大数据技术的基本概念、理论和相关技术。注：考核方式和课程目标在考核方式中占比应与“（一）考核内容、考核方式与课程目