《大数据平台部署与运维》课程标准

《大数据平台部署与运维》课程标准课程名称：大数据平台部署与运维学分：4计划学时：72适用专业：大数据技术1．前言1.1课程性质《大数据平台部署与运维》课程是大数据技术专业的专业核心课，在整个专业课程体系中占有极为重要的地位。其前导课程为《数据库技术》、《程序设计基础》、《操作系统应用与实践》，后续为“1+X”大数据平台运维职业技能等级考证、《数据可视化技术与应用》等。本课程的定位是使学生掌握大数据技术基础知识，培养学生在能在大数据软件（Hadoop、Hive、HBase和Spark等）上进行定制配置和功能的扩展，实现用户实际使用过程中的不同需求，从而具备一定的大数据环境管理和维护能力，为今后从事大数据技术工作打下坚实的基础。1.2设计思路本课程以《国务院关于实施国家职业教育改革实施方案》(国发〔2019〕4号)（职教20条）为指导，依据校企共同研究制定的人才培养方案，及时将新一代信息技术、新规范纳入教学标准和教学内容。结合教育部等四部门印发《关于在院校实施“学历证书+若干职业技能等级证书”制度试点方案》（教职成〔2019〕6号）将1+X证书制度试点与专业建设、课程建设、教师队伍建设等紧密结合，推进“1”和“X”的有机衔接，通过试点，深化“三教”改革。同时以国务院办公厅印发《职业技能提升行动方案（2019-2021）》、《教育部关于职业院校专业人才培养方案制订与实施工作的指导意见》（教职成〔2019〕13号）为指南，落实《教育部财政部关于实施中国特色高水平高职学校和专业建设计划的意见》（教职成〔2019〕5号）“校企共同研制科学规范、可借鉴的人才培养方案和课程标准，建设开放共享的专业群课程教学资源”的要求，根据专业调研和岗位能力要求（如表1所示），结合大数据专业培养目标，制定本课程标准。表1企业岗位对大数据技术应用能力的需求岗位大数据技术应用能力大数据平台运维人员1、具有常用大数据平台软件的安装、配置和管理能力2、具有设计分布式计算和数据存储架构的基本能力大数据开发人员1、具有SQL语言和NoSQL的应用能力2、具有数据收集、处理、分析和展示的基本能力3、具有分布式计算和存储的编程能力数据库开发工程师1、具有常用数据库的安装、配置和管理能力2、具有SQL语言的应用能力3、具有大型数据库、NoSQL和分布式数据库的应用和设计能力4、具有一定的大型软件系统二次开发能力本课程内容由Hadoop平台搭建与应用、Hive和HBase平台搭建与应用、Spark等组件应用，及综合项目实践等5大项目构成，结合“岗课赛证”融通方案和思政素养，其构成如图2所示。图2课程内容构成该课程总课时为54学时。通过融入经典的项目案例，有利于学生的理解与学习。该课程理念要求充分的调动学生思考和动手能力，采用线上线下相结合方式，先学后教，精讲多练，学生实验课时约占到了总课时的2/3以上，使学生在“做中学”，课程均在综合实训平台完成。2．课程目标2.1总体目标通过任务引领型的项目活动，旨在使学生掌握大数据技术的基本知识和技能，包括大数据平台部署与基本应用，最终通过一个企业的真实项目，使学生在认知和实际操作上，对大数据技术有一个整体认识，并掌握大数据基本技术和应用技能，倡导学生在“做中学”，为提高学生的职业能力奠定良好的基础。2.2具体目标通过理论和实践教学，使学生掌握大数据技术框架的常用方法，并培养大数据技术应用能力、良好的个人素养和职业操守。2.2.1知识目标了解大数据基本概念；掌握Hadoop环境搭建与运维；掌握Hive环境的搭建与操作；掌握HBase环境搭建与运维；熟悉Hadoop常用组件安装；熟悉实现真实项目中的大数据环境搭建。。2.2.2能力目标具有大数据系统应用及搭建维护能力；具有一定的大数据分析和挖掘能力；具有一定的项目管理、沟通和书面表达能力；具有一定的企业管理业务处理能力；具有一定的分析问题解决问题的能力。2.2.3素质目标坚定拥护中国共产党领导和中国特色社会主义制度，以习近平新时代中国特色社会主义思想为指导，践行社会主义核心价值观，具有坚定的理想信念、深厚的爱国情感和中华民族自豪感，树立大国“数字工匠”精神；具有正确的世界观、人生观、价值观；具有良好的职业道德和职业素养，培养“廉以养德洁以修身”的大数据相关职业岗位的廉洁从业意识，严守法律公德底线，倡导廉洁奉公、诚实守信、遵纪守法；具有一定的工程化意识、团队精神、数据安全、数据质量和数据赋能意识；具有良好的生活习惯、行为习惯和自我管理能力；具有可持续发展和终身学习的能力。3．课程内容与要求序号教学任务课程内容及要求教学设计参考学时知识点能力要求1大数据生态圈1、大数据的概念；2、大数据的特点；3、大数据的主要技术；4、大数据的应用。1、了解大数据的概念；2、了解大数据的特点；3、了解大数据技术组成与生态圈；4、了解大数据的行业应用和未来发展。讲练结合32Hadoop环境搭建与运维1、Hadoop原理；2、JDK安装；3、免密登录；4、Hadoop单机模式；5、Hadoop伪分布模式；6、Hadoop查看集群运行状态；7、hadoop命令的基本使用；8、存储原理；9、wordcount示例程序的运行和日志查看。1、掌握JDK安装；2、掌握系统变量配置过程；3、掌握免密登录配置。4、单机/模式搭建；5、伪分布模式搭建。6、掌握常用的Hadoop基本命令的使用；7、会在Hadoop环境下进行日志的查看。讲练结合183Hive环境的搭建与操作1、Hive概述；2、mysql安装；3、mysql服务管理；4、mysql常用命令；5、Hive的环境搭建；6、HiveShell命令；7、HiveSQL语法。1、掌握MySQL安装过程；2、掌握Hive的环境搭建；3、掌握系统参数配置；4、掌握常用的HiveShell命令使用；5、掌握Hive常见错误排查和修复。讲练结合154HBase环境搭建与运维1、HBase概述；2、HBase单机部署和伪分布式部署；3、HBase分布式部署；4、HBase查看集群运行状态命令；5、HBaseshell的使用；6、NoSQL；7、HBase表结构设计；8、HBase数据检索。掌握HBase的环境搭建过程；掌握HBase集群运行状态的查看；掌握常用的HBase基本命令的使用；掌握HBase表结构设计；掌握HBase数据操作的常用命令；掌握HBase常见错误排查和修复。讲练结合125Hadoop常用组件安装1、Hadoop常用组件概述；2、Zookeeper环境部署；3、Kafka环境部署；4、Storm环境部署；5、Flume环境部署；6、Spark环境部署；7、Flink环境部署。掌握Zookeeper环境搭建；掌握Kafka环境搭建；熟悉Storm环境搭建；熟悉Flume环境搭建；掌握Spark环境搭建；熟悉Flink环境搭建。讲练结合156综合实训1、基础平台环境部署1、典型大数据平台搭建实训为主67综合实训考查期末考评3合计72注：“课程内容及要求”中，要分别体现技能内容及要求、知识内容及要求。4．实施建议4.1教材选用和编写建议教材是反映教学内容和课程体系的主要标志。为适应新的课程体系和教学内容的改革，本课程采用教材《大数据平台运维基础》。该教材具体包括五个篇章：大数据生态圈、Hadoop环境搭建与运维、Hive环境搭建与基本操作、HBase环境搭建与运维、Hadoop常用组件安装，体现了大数据框架的整个过程，同时该书还通过大量的操作实例来帮助读者巩固相关的知识点。除此之外，自行制作了能满足本课程教学需要的一整套授课教案、电子课件和在线教学视频等教学资料，在教学过程中发挥积极作用。4.2教学建议本课程采用以项目为主的模块结构，将理论与实践的内容进行整合。在教学过程中应加强学生操作技能的培养，采用案例教学或项目教学，注重以任务引领，提高学生学习兴趣。采用线上线下混合式教学。建议课内进行分组、基于学习团队的学习方式，采用课堂小组讨论互动，可结合以教师团队的形式教学。教师可以开展教学资讯发布、案例分析、现场，答疑、学习结果分析评价等教学活动项目。课外团队讨论，针对课外任务开展团队讨论会，以学生为主体，参与到展演式教学活动中。同时内容设计充分考虑与下一次课的课前预习活动设计的衔接性。授课过程中注意学生职业素质的培养，包括解决问题的综合能力，充分发展自己的个性特长，培养良好的工程规范，团队合作的精神，数据安全和数据赋能意识，职业道德以及自身可持续发展的研究探索能力。教师必须重视学习新技术，能紧跟技术发展潮流。可利用学习平台、移动终端，在线观看教学视频，实施翻转课堂模式。4.3教学考核评价建议本课程为“教学做”一体化课程，应该加强过程化监控，同时注重职业素养考核。因此，不仅要重视平时成绩的采集，也要重视学生对本学科课业设计的理解与完成程度、个人素养的养成情况。按技能考核要求，满分为100分，主要包括以下两个方面：过程考核占50分，终结性考核(考查)占50分。其中，过程考核的依据是：作业情况(40%，线上+线下实训内容)，出勤(30%，迟到早退、请假、旷课等)及课堂表现（30%，由上课活跃程度、课堂纪律情况、团队合作表现、素养勋章等构成，其中的素养勋章的使用可以参考学院具体的文件执行）。终结性考核(考查)方式：开卷上机考查。教学评价包括：对学生的评价不仅要重视终结性的评价，同时重视过程性的评价和个人素养表现；倡导评价的多主体性和多样化，学生要参与学习过程的评价，可以进行学生的自我评价、生生和师生之间的相互评价。依据人工智能学院《三课堂融通项目实施管理办法》，学生的技能竞赛、职业资格认证、创新创业、社会服务、企业顶岗实践、专业志愿者服务等六类项目均可进行第一课堂成绩转换，认定标准及实施过程以文件为准。4.4课程资源的开发与利用本课程的实施必须依赖于条件性的课程资源，如计算机机房，虚拟机软件，大数据开源软件等必备的大数据技术软件平台。实践教学环境。学校拥有实验教学计算机房，可进行开放性实验。教学实验教室拥有计算机、音响等多媒体设备，可供进行计算机程序设计实验之用。这些实验教学的软、硬件资源丰富，能满足程序设计实验的要求。网络教学环境。学校的校园局域网及宽带网均与校内各教学楼、办公室、学生宿舍及教职工住宅区相通，并与国内外Internet网相联，网络教学软件资源齐备，硬件运行环境良好。学生充分利用网络资源，可以了解最前沿技术和实施方法，培养自主学习的能力。校外企业资源。得到章鱼大数据平台和新华三1+X证书考证资源的支持，引入公司真实项目，使学生真正做到理论联系实际。4.5教学条件配备建议本课程的实施必须依赖于条件性的课程资源，如实训机房、OFFICE软件、虚拟机、操作系统应用与实践、大数据相关开源软件等必备的软件平台。实践教学环境。利用现有学校教学设备，引导学生学习专业知识，构建系统性的教学内容体系。学校拥有实验教学计算机房，可进行开放性实验。教学实验教室拥有计算机