《大数据平台搭建与运维》课程标准

《大数据平台搭建与运维》课程标准【课程名称】大数据平台搭建与运维 【课程编码】【课程类别】专业基础课 【适用专业】大数据技术、人工智能技术应用、云计算技术应用等专业【授课单位】 【总学时】64学时（理论32+实践32）【编写执笔人】 【编写日期】 一、课程定位和课程设计1.1课程性质与作用本课程是高职高专院校大数据技术、人工智能技术应用、云计算技术应用等相关专业的专业基础课程。通过本课程的学习，学生应掌握大数据平台的基础环境配置、Hadoop生态圈核心组件的架构原理与部署流程，熟悉Java及Python语言编写MapReduce程序的方法，并具备Hadoop集群故障排查、性能调优及基于Ambari、Ansible、Docker等工具的自动化运维能力。通过本课程的理实一体化训练，学生能初步构建企业级大数据处理环境，积累分布式系统部署与运维的实战经验，养成良好的工程规范意识和团队协作精神，为进一步学习后续课程和将来从事大数据运维工程师、大数据开发工程师等岗位工作奠定坚实基础。本课程的前导课程为《Linux操作系统基础》《Java/Python程序设计》《计算机网络基础》等，后续课程有《大数据应用开发》《数据仓库技术与应用》《云原生技术与应用》等。1.2课程设计思路1.本课程的设计总体要求：切实践行“以学生为主体，以教师为主导，以能力为根本”的全新教育理念，按照“必需、够用、兼顾发展”的基本原则组织大数据平台搭建与运维的相关知识和技能。将企业级大数据运维的真实工作场景拆解为可操作的教学任务，弱化抽象理论推导，强化“做中学、学中做”的理实一体化训练，同时预留技术拓展空间，适配大数据技术迭代需求。2.具体学习内容的选择：采取以任务为引导、以促进自我发展为目标，充分发挥学生学习的主体作用，鼓励和帮助学生独立思考、自我规划。课程围绕教材7大项目，将每个项目拆解为若干典型任务，通过“任务描述”明确目标、“任务分析”拆解逻辑、“任务实施步骤”指导操作、“小结”提炼要点，引导学生在完成任务的过程中掌握核心理论与实操技能，实现从“认知任务”到“独立实施”的能力进阶。3.学习程度用语：主要使用“认知”、“理解”、“能”、“会”等词语表述，“认知”用于表述理论知识的学习程度。“理解”用于表述原理性知识的学习程度。“能”和“会”用于表述技能的学习程度。二、课程目标2.1知识目标1.掌握虚拟化技术原理、Linux系统管理基础理论及SSH通信机制。2.理解Hadoop生态圈的核心架构与工作原理。3.熟悉MapReduce编程模型、Hadoop高可用（HA）机制及主流运维工具的应用场景。2.2技能目标1.能独立完成VirtualBox+Ubuntu环境搭建、JDK配置及SSH免密登录。2.能熟练配置Hadoop单机、伪分布及高可用集群，并能集成Hive与Spark组件。3.能使用Java/Python编写并运行MapReduce程序（如WordCount、基站数据分析）。4.能读懂Hadoop日志，处理常见硬件故障，运用监控工具进行集群状态监控。2.3素质目标1.培养严谨细致的工程规范意识（如配置文件格式、权限设置）。2.养成自主查阅官方文档和日志排错的职业习惯。3.强化团队协作能力，适应IT运维岗位的沟通需求。三、课程内容与教学要求本课程包括，共7个项目，其教学内容及课时分配如下表所示：《大数据平台搭建与运维》教学内容及课时分配表序号项目名称教学内容教学要求课时分配理论实践1虚拟化与Linux基础环境虚拟化技术原理；Linux文件系统结构；常用Shell命令语法。（1）认知虚拟化的基本概念及在大数据平台搭建中的作用；（2）理解Linux文件系统层级结构及目录用途；（3）能熟练使用常用Shell命令进行文件操作与权限管理；（4）会配置Xshell/Xftp等远程连接工具并完成Linux基础环境初始化。222准备Hadoop环境JDK运行机制与环境变量配置；SSH免密登录原理；Hadoop目录结构与文件规划。（1）认知JDK在Hadoop生态中的基础支撑作用；（2）理解SSH免密登录的安全机制与底层原理；（3）能独立完成JDK安装与环境变量配置；（4）会配置SSH免密登录并实现多节点间的无障碍通信。113搭建Hadoop大数据平台Hadoop单机/伪分布/集群模式配置；ZooKeeper协调服务；HDFS原理与操作；HadoopHA高可用架构；Hive与Spark组件集成。（1）认知Hadoop各运行模式的特点及适用场景；（2）理解HDFS读写流程、YARN资源调度及HA高可用原理；（3）能独立完成Hadoop集群（含HA）的部署与核心参数配置；（4）会集成ZooKeeper、Hive、Spark等组件并验证平台运行正常。884使用Java语言编写MapReduce程Maven与IDEA开发环境配置；MapReduce编程模型原理；WordCount案例实现；通信基站数据分析实战。（1）认知Maven项目管理工具及IDEA开发环境的作用；（2）理解MapReduce编程模型（Mapper/Reducer）的执行逻辑；（3）能配置Java大数据开发环境并编译运行基础程序；（4）会编写并调试Java版WordCount及通信基站数据分析程序。335使用Python语言编写MapReduce程HadoopStreaming机制；Python开发环境搭建；WordCount实现；母婴产品销售数据与基站数据分析。（1）认知HadoopStreaming的运行机制及多语言支持原理；（2）理解Python在大数据处理中的优势与应用场景；（3）能搭建Python开发环境并配置HadoopStreaming运行环境；（4）会使用Python实现WordCount及母婴销售、基站数据的分析任务。1.51.56Hadoop系统的常见故障及应对Hadoop日志体系结构分析；常见硬件故障排查思路；系统隐私安全配置；大数据技术发展趋势。（1）认知Hadoop日志体系（NameNode/DataNode/ResourceManager）的构成与作用；（2）理解常见硬件故障（如磁盘损坏、节点宕机）的排查逻辑；（3）能分析日志定位常见运行异常的根本原因；（4）会执行常规故障的恢复操作并理解系统安全配置要点。2.52.57Hadoop系统运维Ambari可视化集群管理；节点动态扩缩容；NameNode元数据恢复；Zabbix监控部署；Ansible自动化运维；Docker容器化部署。（1）认知Ambari、Zabbix、Ansible、Docker等现代运维工具的核心功能；（2）理解节点扩缩容对集群性能的影响及元数据恢复机制；（3）能使用Ambari管理集群状态并完成节点的动态扩缩容；（4）会部署Zabbix监控、Ansible自动化脚本及Docker容器化环境。77合计3232四、课程实施4.1教学条件1.硬件环境：配备i5以上CPU、16GB以上内存、500GBSSD的PC机房，支持虚拟化技术开启。2.软件环境：Windows/Linux宿主机、VirtualBox、UbuntuServer、OpenJDK、Hadoop、ZooKeeper、Hive、Spark、Anaconda(Python)、IDEA、Xshell、Xftp、Docker、Ansible。3.网络环境：局域网互通，可访问互联网下载镜像与依赖包。4.2教学方法建议1.任务驱动法：每个教学单元以一个具体任务为引领，理论讲解紧随任务需求。2.示教学法：教师利用多媒体广播软件，边讲解配置原理，边演示操作过程，学生同步跟随操作。3.微课教学法：针对难点，录制5-10分钟微课视频，供学生反复观看学习。4.分层教学法：基础任务要求全员掌握；拓展任务（如Docker部署）供学有余力学生挑战。4.3教学评价与考核要求课程的教学评价由形成性测评（50%）和终结性测评（50%）组成，其考核要求如下：4.3.1形成性测评形成性测评考核学生在学习本课程过程中的学习情况和实际应用能力的发展情况，包括出勤与纪律（10%）、课堂参与程度考核（10%）、课堂实操（20%）、作业完成质量考核（20%）等。1.出勤与纪律（10%）：迟到早退扣分，旷课零分。2.课堂实操（30%）：每单元结束前10分钟，检查学生当堂任务完成情况。3.作业/实验报告（10%）：重点考察学生对配置原理的理解及排错过程的记录。4.3.2终结性测评1.形式：现场下发工单，给定空白虚拟机环境。2.内容：要求学生完成从环境准备到集群搭建，再到简单数据分析的全流程操作（涵盖理论配置与实践操作）。3.时长：2小时。4.评分标准：环境配置正确性（20%）+集群运行状态（30%）+程序运行结果（30%）+排错能力（20%