《大数据技术导论》电子教案

教案01：数据素养一、教学目标维度目标内容知识目标1.阐述大数据产生的历史必然性（技术驱动、数据爆炸）

2.说明大数据概念及4V/5V特征

3.区分大数据与小数据的本质差异

4.描述大数据产业生态与岗位体系能力目标1.能辨别大数据与小数据的不同应用场景

2.能从生活场景中识别数据价值

3.能列举3个以上大数据相关岗位及职责素养目标1.理解量变到质变的哲学思维对人生的启示

2.培养数据敏感性，建立数据思维意识

3.认同国家大数据战略，增强科技自信与家国情怀二、教学重难点类型内容说明重点大数据4V/5V特征的理解与应用学生需能结合实际案例阐释Volume、Velocity、Variety、Value、Veracity重点大数据与小数据的本质区别从抽样vs全量、静态vs动态、资源vs资产等维度理解难点数据思维的形成（整体思维、相关思维、容错思维）学生需转变传统因果思维，建立大数据相关思维模式难点数据要素作为生产要素的价值认知理解数据从资源到资产的转变及其经济意义三、设计思路本节课以"认知建构—案例感知—思维转变—价值认同"为主线，采用"情境导入→问题驱动→案例分析→对比辨析→思政升华"的五步教学法。通过"比萨店精准服务"等生活化案例降低认知门槛，借助"小数据vs大数据"的对比表格强化概念辨析，最终融入国家大数据战略与国产数据库发展历程，实现知识传授与价值引领的有机统一。四、设计过程（90分钟）教学环节时长（单位：min）教师活动学生活动设计意图教学手段1.情境导入10播放"智慧城市"短视频，提问："你的一天产生了哪些数据？"展示手机后台数据截图回忆个人一天的行为轨迹，列举产生的数据类型（位置、消费、社交等）激活学生生活经验，建立数据无处不在的直观认知多媒体视频、手机投屏演示2.概念建构20讲授：①数据产生三阶段（被动→主动→自动）；②云计算与大数据的关系；③大数据4V/5V特征（结合图1.5）听讲、记录关键词，完成"特征-案例"匹配练习（将啤酒与尿布、谷歌流感等案例与4V特征连线）建立知识框架，通过案例匹配深化特征理解PPT动画演示、白板连线活动3.对比辨析25发放"小明一日三餐"小数据表（表1.1）vs大数据表（表1.2），组织小组讨论：①两张表的区别？②大数据能发现哪些隐藏信息？③小数据为何像"盲人摸象"？小组讨论（4-5人），填写对比分析表，派代表汇报发现（如：从大数据发现小明通勤方式、聚餐习惯、作息规律等）通过具象对比，突破"大数据=数据量大"的误区，理解全量、动态、多维的核心差异小组合作学习、对比表格、思维导图4.思维训练20讲授三种数据思维：①整体思维（样本=总体）；②相关思维（重关联轻因果）；③容错思维（接受95%非结构化数据）。组织"数据驱动的情书"案例分析阅读案例，讨论：①情书中的数据体现了哪些思维？②如果只用抽样数据能否得出同样结论？③容错思维如何体现在"接受不精确"中？将抽象思维具象化，通过情感化案例（情书）增强记忆点，培养数据敏感度案例文本、小组讨论、角色扮演5.思政升华10展示：①"十四五"数字经济发展规划；②华为GaussDB、阿里OceanBase国产数据库发展时间轴；③数据要素市场化配置政策（数据二十条）。提问：作为新疆理工学院学生，如何服务区域数字经济发展？观看视频/图表，思考并分享：①国产技术突破的意义；②新疆在"一带一路"数据通道中的区位优势；③个人学习规划与国家战略的结合点将专业认知升华为家国情怀，结合援疆背景强化使命担当政策文件截图、国产数据库发展时间轴视频、地图展示6.小结作业5总结本节课知识框架，布置课后任务：①搜集身边的一个"大数据应用"案例；②思考：小数据思维在你的学习中还有哪些表现？整理笔记，记录作业要求巩固知识，延伸思考至课外思维导图板书五、板书设计项目1数据素养认知（理论）1、大数据时代来临被动产生→主动产生→自动产生↓云计算（存储+计算）→大数据2、4V/5V特征←──────→案例Volume（大量）百度日数据5000倍Velocity（高速）实时推荐Variety（多样）结构化/半/非结构化Value（价值）啤酒与尿布Veracity（真实）数据质量治理3、大数据vs小数据┌─────────┬─────────┐抽样全量静态动态资源资产精确优先容错优先└─────────┴─────────┘4、数据思维整体思维──→量变到质变（人生启示）相关思维──→抓机遇（良机不再来）容错思维──→上善若水（学习优点）六、教学评价评价维度评价内容评价方式课堂参与案例讨论活跃度、问题回答准确性观察记录、即时口头反馈知识掌握4V特征与案例匹配正确率、大小数据区别阐述清晰度课堂练习评分（连线题、对比表）思维发展能否从"因果思维"转向"相关思维"举例小组汇报评价量规（思维转变指标）价值认同对国产技术、数据要素政策的回应态度课后作业中的"个人-国家"关联表述七、教学反思（预设）反思维度内容预期成效通过生活化案例（比萨店、情书）降低抽象概念理解难度；对比教学法有效澄清大小数据误区；思政元素自然融入，不显突兀可能问题①部分学生可能仍混淆"数据量大=大数据"；②数据思维的哲学内涵（量变到质变）对理工科学生可能偏抽象；③2学时容量较大，思维训练环节可能时间紧张应对策略①在实践课中通过"校园数据采集"任务再次强化概念；②用更多具象案例（如：抖音推荐算法）解释相关思维；③准备弹性内容（如压缩国产数据库历史细节）改进方向收集学生课前对"大数据"的前概念，针对性设计辨析活动；增加1-2个本地大数据应用案例（如：棉花产业大数据平台）增强地域亲近感

教案02：Linux基础操作与VMware部署一、教学目标维度目标内容知识目标1.掌握Linux文件系统目录结构（/root、/home、/etc、/var等关键目录功能）

2.熟练运用20个以上Linux基础命令（ls、cd、mkdir、rm、cp、mv、cat、tail、chmod等）

3.理解vi/vim三种模式（命令/插入/末行）及切换方法

4.掌握文件权限数字表示法（rwx/421）及chmod命令5.阐述Linux操作系统发展历史、内核与发行版的关系能力目标1.能独立完成VMware虚拟机创建、CentOS7.9系统安装与克隆

2.能配置静态IP地址、hostname、hosts映射及防火墙规则

3.能使用vi/vim编辑配置文件（如网卡配置、环境变量）

4.能排查常见的网络连通性问题（ping、ipaddr、systemctlstatus）素养目标1.培养严谨细致的系统配置习惯（如备份配置文件）

2.建立工程化思维（版本控制、快照管理、操作留痕）

3.增强自主解决问题的能力（查阅man手册、分析错误日志）二、教学重难点类型内容说明重点VMware网络模式选择与静态IP配置NAT/桥接/仅主机模式的区别，为后续3节点集群铺垫重点Linux文件权限管理（chmod755等）理解rwx对目录与文件的不同含义重点vi/vim编辑器基本操作能独立修改配置文件（如ifcfg-ens33）难点网络故障排查（IP不通、DNS解析失败）需综合运用ip、ping、systemctl、cat/var/log/messages等难点理解Linux"一切皆文件"的哲学设备、进程、网络配置都抽象为文件难点防火墙（firewalld/iptables）规则配置开放特定端口（如后续Hadoop的9000、8088端口）三、设计思路本节课采用"任务驱动+故障注入"的教学模式，将3学时划分为"环境搭建→基础操作→网络配置→综合演练"四个递进阶段。通过"故意设置错误"（如IP冲突、权限不足）让学生在排错中掌握技能；强调"先快照后备份"的工程习惯；所有操作均围绕后续Hadoop集群部署的需求展开（静态IP、hostname、SSH免密基础），体现项目化课程的连贯性。四、设计过程（135分钟）第1学时：VMware环境与系统安装教学环节时长（单位：min）教师活动学生活动设计意图教学手段演示讲解15演示VMwareWorkstation安装过程，讲解：①三种网络模式（NAT/桥接/仅主机）的区别与选择（推荐NAT）；②虚拟机硬件配置（CPU2核、内存4G、硬盘20G+）；③CentOS7.9镜像选择与最小化安装选项观看演示，记录关键步骤与参数设置建立整体认知，避免后续安装的盲目性教师机投屏、网络拓扑图跟练操作25发布任务单：①创建虚拟机（命名规范：姓名-大数据-node1）；②安装CentOS7.9（分区方案：自动分区或手动/boot、swap、/）；③首次启动，登录root账户。巡回指导，及时纠正硬件配置错误跟随任务单逐步操作，完成系统安装，记录安装过程中遇到的问题通过"做中学"掌握VMware基本操作，强调命名规范与版本统一（CentOS7.9）任务单（图文并茂）、虚拟机模板文件快照与克隆5讲授快照（Snapshot）概念：①创建快照（系统干净状态）；②管理快照（命名规范：基础系统_YYYYMMDD）；③克隆虚拟机（完整克隆vs链接克隆）。演示克隆出node2、node3（为后续3节点集群做准备）为刚安装的虚拟机创建快照，练习克隆操作（可选）培养版本控制意识，理解"快照即后悔药"的工程实践VMware快照管理界面演示第2学时：Linux基础命令与文件系统教学环节时长（单位：min）教师活动学生活动设计意图教学手段命令精讲20按功能分组讲解命令：①目录操作（pwd、cd、ls、mkdir、rmdir、tree）；②文件操作（touch、cp、mv、rm、cat、more、less、head、tail、ln）；③搜索查找（find、grep、which）。强调：Tab补全、history、man手册的使用在终端中同步练习，使用man查看命令帮助，记录常用命令速查表建立命令行操作自信，掌握自学方法（man/help）命令速查表（纸质+电子版）、终端演示目录探秘15发布探索任务：①查看/目录下子目录，说明/etc、/home、/var、/usr、/opt的功能；②查看/etc/passwd文件结构；③在/opt目录下创建bigdata目录作为后续安装目录执行ls/、cd/etc、catpasswd等命令，完成目录结构图绘制理解Linux目录结构标准（FHS），建立系统级认知目录结构树形图（填空式）、探索任务单压缩解压10讲解大数据常用压缩操作：tar、zip/unzip、gzip/gunzip。示例：tar-zxvfhadoop-3.3.x.tar.gz（为后续Hadoop安装铺垫）练习tar命令（创建、查看、解压），理解参数含义（z、gzip；x、extract；v、verbose；f、file）掌握软件包管理基础，衔接后续组件部署示例压缩包（提前准备）第3学时：网络配置、vi编辑器与权限管理教学环节时长（单位：min）教师活动学生活动设计意图教学手段网络配置20讲授网络配置核心任务：①查看IP（ipaddr）；②配置静态IP（修改/etc/sysconfig/network-scripts/ifcfg-ens33：BOOTPROTO=static、IPADDR、NETMASK、GATEWAY、DNS1）；③设置hostname（hostnamectlset-hostnamemaster）；④配置hosts映射（/etc/hosts添加IP-主机名映射）；⑤关闭防火墙（systemctlstop/disablefirewalld）。故障注入：故意给某学生机设置冲突IP，让其体验排错使用vi编辑网卡配置文件，重启网络服务（systemctlrestartnetwork），测试ping外网与同桌互通。排查IP冲突故障掌握服务器基础网络配置，这是Hadoop集群部署的前提条件配置文件模板、网络排错检查清单（checklist）权限管理10讲解文件权限：①ls-l解读（-rwxr-xr-x）；②数字法（chmod755file、chmod644file）；③目录权限特殊性（r可读、w可创建删除、x可进入）；④chown修改所有者。示例：为/opt/bigdata目录授权给hadoop用户练习chmod、chown命令，验证不同权限下的操作差异（如去掉x权限后无法cd进入目录）理解Linux安全模型，避免后续Hadoop运行时的权限错误权限计算器（在线工具）、对比实验vi实战10演示vi操作：①三种模式切换（i插入、Esc回命令、:末行）；②常用命令（:wq保存退出、:q!强制退出、dd删除行、yy复制、p粘贴、/搜索）；③配置网卡文件实战。强调：编辑前备份（cpifcfg-ens33ifcfg-ens33.bak）使用vi编辑网卡配置文件（或创建一个测试文件），练习保存、退出、搜索替换掌握Linux下最常用的文本编辑工具，培养备份习惯vi键盘图（壁纸）、操作口诀卡片综合测试5发布验收任务：①创建用户bigdata；②在/home/bigdata下创建目录software、data；③设置目录权限（775）；④使用vi创建README.txt记录本机IP和hostname；⑤拍摄最终快照独立完成验收任务，提交截图（ipaddr、ls-l、cat/etc/hosts）检验学习成效，固化操作技能验收检查表、截图提交平台五、板书设计项目2：准备Linux环境（实践）1、VMware三网络模式NAT──────→与主机共享IP（推荐）桥接──────→独立IP（与主机同级）仅主机────→封闭网络（集群内网）2、关键目录（FHS标准）/etc───配置文件（网卡、hosts）/home───用户主目录/opt───第三方软件（大数据组件）/var/log─日志（排查故障）3、网络配置四要素（Hadoop基础）1.静态IP：/etc/sysconfig/network-scripts/ifcfg-ens332.主机名：hostnamectlset-hostnamemaster3.主机映射：/etc/hosts4.防火墙：systemctlstopfirewalld4、vi三步曲命令模式→i→插入模式→Esc→:wq5、权限数字rwxr-xr--421401400→754所有者组其他chmod755file六、教学评价评价维度评价内容评价方式操作规范虚拟机命名规范、快照创建、配置文件备份习惯过程观察记录命令掌握随机抽测10个命令（如：查看IP、修改权限、查找文件），要求默写或实际操作实操抽测、命令默写配置正确静态IP配置有效性（能ping通网关）、hostname设置正确性、hosts文件格式自动化测试脚本（教师机ping学生机IP）故障排查给定网络不通场景，能否独立定位问题（如：IP冲突、网关错误、防火墙未关）故障注入测试、排错报告工程素养是否创建快照、是否备份配置文件、目录结构是否清晰检查清单打分七、教学反思（预设）反思维度内容预期成效分阶段任务降低认知负荷；"故障注入"增强实战感；所有操作直接服务于后续Hadoop集群部署，学生能感受到学习的连贯性；快照机制减少重复安装的时间浪费可能问题①VMware安装包较大，机房预装可能版本不一；②学生Windows操作习惯根深蒂固（如喜欢鼠标操作、不习惯Tab补全）；③网络配置错误（IP冲突）可能导致连锁反应；④vi学习曲线陡峭，学生初期抗拒应对策略①课前统一检查VMware版本（16+），准备绿色版备用；②强调"命令行效率高于鼠标"的理念，进行速度对比演示；③提前规划IP段（如0-50），避免冲突；④提供vi操作键盘图（纸质），允许使用nano作为过渡（但要求最终掌握vi）改进方向制作"Linux命令速查卡"（塑封）发放给学生；建立"常见问题FAQ"（如：NAT模式无网络怎么办？）；与项目3衔接时，直接使用本次课克隆的虚拟机（node1/node2/node3），避免重复配置；增加国产操作系统（如麒麟）的VMware安装选项作为拓展任务

教案03：Hadoop基础与核心架构一、教学目标维度目标内容知识目标1.阐述大数据平台架构演变（S/C、B/S到分布式架构）

2.说明Google三驾马车（GFS、MapReduce、BigTable）与Hadoop的对应关系

3.描述Hadoop两大核心组件（HDFS、MapReduce）的工作原理

4.区分Hadoop1.X、2.X、3.X版本的核心差异能力目标1.能绘制Hadoop核心组件架构图（HDFS读写流程、MapReduce处理流程）

2.能根据应用场景判断Hadoop适用性（参考契合度图）

3.能对比分析Hadoop与关系型数据库的技术差异素养目标1.理解"分而治之"的分布式思维，培养化整为零的问题解决能力

2.认同开源精神，尊重DougCutting等先驱的技术贡献

3.树立技术自信，认识Hadoop在阿里巴巴、百度等国内企业的成功应用二、教学重难点类型内容突破策略重点HDFS与MapReduce的核心机制采用"图书馆管理"类比（NameNode=图书管理员，DataNode=书架，Map=分拣，Reduce=汇总）重点Google三驾马车与Hadoop生态的映射关系制作对比表格，强调开源实现的技术传承难点理解HDFS"一次写入、多次读取"的设计哲学通过与传统文件系统对比，分析大数据场景的特殊性难点Hadoop2.X引入YARN的资源管理变革时间轴展示版本演进，突出解耦计算与资源管理的意义三、设计思路本节课以"从Google的论文到Apache的顶级项目"为主线，采用"历史追溯→架构解析→对比认知"的教学策略。通过讲述DougCutting创立Hadoop的故事激发兴趣；用"图书馆管理"等生活化类比化解分布式存储的抽象性；通过阿里巴巴、百度等国内案例增强技术认同；最后落脚到版本演进的技术逻辑，为后续集群部署奠定理论基础。四、设计过程（90分钟）教学环节时长（单位：min）教师活动学生活动设计意图教学手段情境导入10提问："Google每天处理数十亿网页搜索，这些网页存在哪里？如何快速计算网页排名？"引出大数据存储与计算难题。展示Google三驾马车论文发表时间（2003-2004）思考讨论，列举可能的解决方案（超级计算机？分布式？），了解技术历史背景建立技术发展的历史感，理解需求驱动创新的逻辑PPT时间轴、Google搜索架构简图三驾马车20讲授Google三驾马车：①GFS（分布式文件系统）→HDFS；②MapReduce（分布式计算）→MapReduce；③BigTable（列式存储）→HBase。讲述DougCutting受论文启发创建Hadoop的故事记录三驾马车与Hadoop组件的对应关系，绘制"技术传承图"理解Hadoop的技术渊源，认识开源社区的创新价值对比表格、Hadoop创始人照片、论文封面截图核心组件25详解HDFS架构（NameNode、DataNode、SecondaryNameNode）和MapReduce流程（Input→Map→Shuffle→Reduce→Output）。类比：NameNode像图书馆索引卡，DataNode像书架，Block像分册书籍跟随类比理解抽象概念，绘制HDFS读写流程图，标注各节点职责将分布式架构具象化，突破认知障碍动画演示（HDFS写流程）、图书馆类比图、组件交互图应用场景15展示Hadoop在互联网行业的应用（阿里巴巴15台集群、百度10-500节点、Facebook1100台集群）。分析Hadoop应用场景契合度：高数据量、批处理、高容错，低实时性要求分析自己熟悉的应用（如淘宝推荐、百度搜索）是否适合Hadoop，完成契合度判断练习建立技术-场景关联，理解技术选型逻辑企业案例表格、契合度判断题（在线投票）版本演进15对比Hadoop1.X（MapReduce兼顾计算与资源管理）与2.X（引入YARN，解耦资源管理）。简述3.X的优化（EC纠删码、多NameNode支持）。强调：我们课程使用3.3.x版本记录版本差异关键表，理解YARN出现的必要性（资源利用率、扩展性）为后续配置Hadoop版本做铺垫，理解架构演进的内在逻辑版本对比表、架构演变图小结预告5总结：Hadoop是分布式存储+计算的框架，核心是HDFS和MapReduce。预告下节课将学习Hadoop生态组件（Hive、HBase、Spark等）和分布式原理整理笔记，标注疑问（如：YARN具体如何工作？），预习生态组件承上启下，建立知识连贯性思维导图板书五、板书设计项目3：Hadoop集群部署（理论1）1、从Google到ApacheGFS──────→HDFS(存储)MapReduce─→MapReduce(计算)BigTable──→HBase(数据库)2003论文──→2006开源──→Apache顶级2、HDFS架构（图书馆类比）NameNode=图书管理员（索引目录）DataNode=书架（实际存储）Block=书籍分册（默认128M）机制：副本（3份）、机架感知3、MapReduce流程（分拣-汇总）Input→Map(分拣)→Shuffle(排序合并)→Reduce(汇总)→Output4、版本演进关键1.X：MapReduce=计算+资源管理（紧耦合）2.X：+YARN（资源调度，解耦）3.X：纠删码、多NameNode（性能优化）5、国内应用阿里：商业数据排序百度：日志分析Facebook：Hive数据仓库六、教学评价评价维度评价内容评价方式知识理解能准确说出Google三驾马车与Hadoop组件的对应关系课堂提问、连线题架构绘制能独立绘制HDFS简单架构图（含NameNode、DataNode、Block）课堂草图、互评应用判断能判断给定场景是否适合Hadoop（如：银行实时交易vs日志分析）情境判断题（在线测试）思维发展能理解"分而治之"思想在Hadoop中的体现口头阐述、思维导图七、教学反思（预设）反思维度内容预期成效图书馆类比有效降低分布式架构认知门槛；历史故事增强学习兴趣；企业案例提升技术认同可能问题①学生对"分布式"缺乏感性认识；②MapReduce的Shuffle过程较抽象；③版本演进差异容易混淆应对策略①提前让学生观察迅雷下载（多源下载）体验分布式；②Shuffle过程留待实践课通过日志观察；③强调"1.X已淘汰，2.X主流，3.X优化"的实用视角改进方向增加"如果NameNode故障会怎样"的故障场景思考，为后续HA（高可用）内容埋下伏笔

教案04：集群规划与环境准备一、教学目标维度目标内容知识目标1.掌握Hadoop集群的三种部署模式（单机、伪分布、全分布）

2.理解集群规划原则（NameNode与ResourceManager分离、数据节点与计算节点同构）

3.说明SSH免密登录的原理（公钥/私钥对）能力目标1.能完成3节点集群的角色分配（master/slave1/slave2）

2.能配置静态IP地址、hostname、hosts映射

3.能实现NTP时钟同步和SSH免密登录素养目标1.培养工程规划意识，理解"规划先行"的重要性

2.养成操作留痕习惯（配置备份、操作日志）

3.增强团队协作（分组中承担不同角色：网络配置、时间同步、SSH配置）二、教学重难点类型内容说明重点3节点集群的角色分配与网络规划master（NameNode+ResourceManager）、slave1/slave2（DataNode+NodeManager）重点SSH免密登录配置理解authorized_keys机制，掌握ssh-keygen、ssh-copy-id命令难点NTP时钟同步配置理解大数据系统对时间一致性的严格要求（HDFS、Zookeeper均依赖时间戳）难点网络故障排查能使用ping、ipaddr、systemctlstatusnetwork等工具定位问题三、设计思路本节课采用"规划→配置→验证"的工程化流程，强调"先设计后实施"的职业习惯。通过"集群规划表"强制学生先设计再操作；引入"故障注入"环节（如故意配置错误IP段）培养排错能力；分组协作中设置"网络工程师""系统管理员"等角色，模拟企业运维团队工作模式。四、设计过程（90分钟）教学环节时长教师活动学生活动设计意图教学手段规划讲解15讲解集群规划三要素：①网络规划（IP段、hostname命名规范）；②角色规划（master/slave分工）；③目录规划（软件安装目录、数据存储目录）。展示标准规划表模板填写《集群规划表》：为3节点分配IP（如0/11/12）、hostname（master/slave1/slave2）、角色（NN/RM/DN/NM），经教师审核后实施培养"白纸黑字"的工程规划习惯，避免随意配置规划表模板、IP分配白板网络配置30演示：①修改ifcfg-ens33（BOOTPROTO=static、IPADDR、NETMASK、GATEWAY、DNS1）；②修改hostname（hostnamectlset-hostname）；③配置/etc/hosts（IP-主机名映射）。故障注入：故意将某组GATEWAY配错，观察ping外网失败现象按规划表配置3台虚拟机网络，互相ping测试，排查教师预设的故障，完成《网络配置检查清单》掌握服务器网络基础配置，这是分布式系统的通信基础配置文件模板、检查清单、故障排查流程图时钟同步15讲解大数据系统对时间敏感（HDFS副本选择、Zookeeper选举、日志顺序），演示NTP配置：master作为NTP服务器，slave1/2同步master时间。命令：yuminstallntp、systemctlenablentpd、ntpdate-umaster在3台节点配置NTP服务，验证时间同步（date命令对比），理解时间一致性对分布式系统的意义理解"时间即秩序"的分布式原理，预防因时间偏差导致的集群故障NTP拓扑图、时间同步验证脚本SSH免密20讲解SSH免密原理（非对称加密、authorized_keys），演示：①master生成密钥对（ssh-keygen）；②分发公钥到slave1/2（ssh-copy-id）；③验证免密登录（sshslave1）。强调：Hadoop集群通信依赖SSH在master生成密钥，分发到所有slave节点，测试从master免密登录各slave，反之测试（应需密码，说明单向免密）掌握Hadoop集群通信的基础机制，理解公私钥加密原理SSH原理动画、密钥分发检查脚本阶段验收10发布验收标准：①3节点互相ping通；②hostname正确显示；③master能免密登录slave；④时间差<1秒。组织组间互查按验收标准自查，填写《环境准备验收表》，记录发现的问题及解决方法建立质量门禁，确保基础环境就绪后才进入下一环节验收表、互评评分表五、板书设计项目3：Hadoop集群部署（实践1）1、集群规划表（先规划，后实施）节点IP地址主机名角色Node10masterNN+RMNode21slave1DN+NMNode32slave2DN+NM2、网络配置四要素1.静态IP：/etc/sysconfig/network-scripts/ifcfg-ens332.主机名：hostnamectlset-hostnamemaster3.主机映射：/etc/hosts（IP主机名）4.防火墙：systemctlstopfirewalld3、SSH免密（Hadoop通信基础）master:ssh-keygen-trsassh-copy-idslave1ssh-copy-idslave2验证：sshslave1（无需密码）4、时钟同步（大数据生命线）安装：yuminstallntpntpdate同步：ntpdate-umaster验证：date（3节点时间差<1秒）六、教学评价评价维度评价内容评价方式规划质量集群规划表填写完整、规范，IP不冲突规划表评分量规配置准确网络配置正确（能ping通）、hostname生效自动化ping测试脚本安全基础SSH免密配置成功，理解公私钥原理实操演示、原理问答时间一致性NTP配置成功，3节点时间差<1秒date命令对比截图故障排查能定位并解决预设的网络故障故障排查报告七、教学反思（预设）反思维度内容预期成效规划表强制"先想后做"，减少返工；故障注入提升实战感；分组协作模拟企业运维场景可能问题①IP地址冲突（机房网络环境复杂）；②SSH免密配置失败（权限问题、known_hosts冲突）；③NTP服务启动失败；④学生急于求成跳过规划步骤应对策略①提前与机房管理员协调IP段，准备独立VLAN；②准备SSH故障FAQ（如：rm-rf~/.ssh/known_hosts）；③提供离线NTP配置方案（若yum不可用）；④强制"无规划表不得操作"规则改进方向制作"环境配置速查卡"（塑封）包含所有配置文件路径和关键参数；建立"配置备份"检查点（要求修改前cp备份）；录制15分钟微课供课后复习

教案05：JDK与Hadoop安装部署一、教学目标维度目标内容知识目标1.说明JDK版本要求（Hadoop3.x需要JDK8或11）

2.描述Hadoop目录结构（bin、etc/hadoop、libexec、share等）

3.阐述四大核心配置文件的作用（core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）能力目标1.能完成JDK安装与环境变量配置（/etc/profile）

2.能编写Hadoop四大配置文件（重点：fs.defaultFS、dfs.replication、yarn.resourcemanager.hostname等参数）

3.能执行NameNode格式化（hdfsnamenode-format）并正确解读输出素养目标1.培养配置文件严谨性意识（XML标签闭合、路径正确、大小写敏感）

2.建立版本匹配意识（JDK与Hadoop版本、Hadoop各组件版本兼容性）

3.养成"先配置后启动"的规范流程习惯二、教学重难点类型内容说明重点Hadoop四大配置文件的参数设置特别是hdfs-site.xml中的副本数、块大小，yarn-site.xml中的资源分配重点NameNode格式化操作的理解格式化是创建FSImage和EditLog，非传统意义的"格式化硬盘"难点XML配置文件的语法错误排查标签未闭合、特殊字符未转义、路径错误等导致启动失败难点环境变量的生效与验证理解source/etc/profile与重启终端的区别，排查java-version失败原因三、设计思路本节课采用"分层部署→配置精细化→启动验证"的流程，强调"配置即代码"的严谨性。通过"配置对比法"（展示正确与错误配置的差异）培养细心；引入"配置版本控制"概念（建议学生gitinit管理配置）；使用"启动日志分析法"训练故障排查能力。所有操作在3节点同步进行，但侧重master节点的NameNode配置。四、设计过程（90分钟）教学环节时长（单位：min）教师活动学生活动设计意图教学手段JDK部署20演示：①上传JDK压缩包（jdk-8uXXX-linux-x64.tar.gz）到/opt/software；②解压到/opt/module；③配置/etc/profile（JAVA_HOME、PATH、CLASSPATH）；④source生效；⑤验证（java-version、javac）。常见错误：JAVA_HOME路径错误、权限不足在3台节点同步安装JDK，确保版本一致（1.8.0_XXX），验证通过截图建立Java运行环境，这是Hadoop的基础依赖JDK安装手册、环境变量模板、版本验证命令Hadoop解压与目录10讲解Hadoop3.3.x目录结构：①bin（用户命令，如hdfs、hadoop）；②etc/hadoop（配置文件）；③lib（本地库）；④share/doc（文档）；⑤sbin（管理员脚本，如start-dfs.sh）。强调：配置文件在etc/hadoop，非etc上传hadoop-3.3.x.tar.gz，解压，浏览目录结构，标注关键路径熟悉Hadoop软件结构，为配置做准备目录结构图、树形展示命令（tree-L2）配置文件编写35逐文件讲解并演示：①hadoop-env.sh（JAVA_HOME）；②core-site.xml（fs.defaultFS、io.file.buffer.size）；③hdfs-site.xml（dfs.replication、.dir、dfs.datanode.data.dir）；④mapred-site.xml（）；⑤yarn-site.xml（yarn.resourcemanager.hostname、yarn.nodemanager.aux-services）；⑥workers（slave1、slave2）。陷阱设置：故意漏写标签在master节点编辑6个配置文件，使用scp命令分发到slave1/2（或提前配置好免密后直接复制），检查XML语法（xmllint或浏览器打开）掌握Hadoop部署的核心技能，理解各参数含义，培养配置严谨性配置文件模板（含注释）、XML语法检查工具、参数速查表格式化与启动15讲解NameNode格式化本质（创建元数据结构，非清空数据），演示：①hdfsnamenode-format（观察StoragedirectoryXXXhasbeensuccessfullyformatted）；②启动HDFS（start-dfs.sh）；③启动YARN（start-yarn.sh）；④jps查看进程（NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager）。警告：格式化只能执行一次在master执行格式化（仅一次），启动集群，3台节点分别jps验证进程，访问WebUI（http://master:9870）完成Hadoop集群启动，体验从配置到运行的完整过程格式化输出解读指南、jps进程对照表、WebUI截图示例故障排查10展示常见故障：①配置文件XML错误（标签未闭合）→启动报错；②目录权限不足→DataNode启动失败；③防火墙未关→WebUI无法访问。演示查看日志方法（$HADOOP_HOME/logs/hadoop-用户名-进程名-主机名.log）根据教师预设的故障（如修改某个配置文件引入错误），排查日志，定位问题，修复后重新启动培养日志分析能力，这是运维核心技能故障案例库、日志关键词检索表（ERROR、Exception、Fatal）五、板书设计项目3：Hadoop集群部署（实践2）1、JDK安装（3台节点）tar-zxvfjdk-8uXXX-linux-x64.tar.gzvi/etc/profileexportJAVA_HOME=/opt/module/jdk1.8exportPATH=$PATH:$JAVA_HOME/binsource/etc/profilejava-version2、Hadoop四大配置文件（master配置后分发）core-site.xml：fs.defaultFS（NN地址）hdfs-site.xml：dfs.replication（副本=2）mapred-site.xml：yarn（MR运行在YARN上）yarn-site.xml：RM主机名、辅助服务workers：slave1、slave2（DN节点列表）3、关键命令（只能执行一次！）格式化：hdfsnamenode-format启动HDFS：start-dfs.sh启动YARN：start-yarn.sh查看进程：jpsWebUI：http://master:98704、日志排查路径：$HADOOP_HOME/logs/关键词：ERROR、Exception、Failed常见错：XML未闭合、权限不足、内存不够六、教学评价评价维度评价内容评价方式环境准备JDK安装正确，java-version显示版本命令行截图配置质量四大配置文件参数正确，XML语法无误配置文件diff检查（与标准答案对比）启动成功NameNode格式化成功，5个进程全部启动jps命令输出截图、WebUI访问录屏故障排查能独立发现并修复预设的配置错误故障修复报告、日志分析截图操作规范格式化仅执行一次，有备份习惯操作历史检查（history命令）七、教学反思（预设）反思维度内容预期成效分步骤操作降低错误率；scp分发提升效率；WebUI可视化增强成就感；日志分析培养运维思维可能问题①XML语法错误高发（标签不匹配、特殊字符）；②格式化多次执行导致DataNode无法启动（clusterID不一致）；③内存不足导致进程启动失败（虚拟机配置不够）；④scp失败（权限或路径错误）应对策略①提供XML在线校验工具链接；②强调"格式化是初始化，非清理"，准备clusterID修复方案（删除tmp/dfs/data）；③建议虚拟机内存≥4G，或调整hadoop-env.sh的堆内存参数；④检查/opt目录权限（建议777或hadoop用户所有）改进方向制作"配置文件对比工具"（网页版，高亮差异）；建立"首次启动检查清单"（Checklist）；录制"5分钟故障排查"微视频系列；引入"配置即代码"理念，建议学生用Git管理配置变更

教案06：数据采集基础与Flume架构一、教学目标维度目标内容知识目标1.阐述数据分类体系（结构化/半结构化/非结构化）及特征差异

2.说明数据采集的技术体系（日志采集、数据迁移、消息队列、网络爬虫、传感器）

3.描述Flume的核心架构（Agent、Source、Channel、Sink）及数据流原理

4.解释Flume的可靠性机制（事务、复制/多路复用）能力目标1.能根据数据特征选择合适的数据采集工具（Sqoop/Flume/Kafka/爬虫）

2.能绘制FlumeAgent内部数据流图及多级Agent拓扑图

3.能区分不同Source类型（Exec/SpoolingDir/NetCat/Avro）的适用场景素养目标1.培养数据源头意识，理解"GarbageIn,GarbageOut"的数据质量原则

2.建立工程化数据采集思维（可靠性、实时性、可扩展性）

3.认同开源工具生态价值，尊重ApacheFlume等开源项目贡献二、教学重难点类型内容突破策略重点数据的三层分类及采集策略差异通过对比表格+实际案例（数据库表vs日志文件vs视频流）强化认知重点FlumeAgent三层架构（Source-Channel-Sink）采用"水管系统"类比（水龙头-水箱-排水管）具象化难点Flume事务机制与可靠性保证动画演示"双写确认"过程，类比银行转账事务难点多路复用（Multiplexing）与复制（Replicating）的区别通过拓扑图对比，结合业务场景（日志分类存储vs多副本备份）三、设计思路本节课以"从数据源头到数据湖泊"为主线，采用"认知建构→工具辨析→架构解析→可靠性深究"的教学策略。通过"数据是什么"的哲学追问建立数据分层认知；借助采集工具全景图理解生态位差异；用生活化类比（水管、快递）化解Flume架构抽象性；最终落脚到可靠性机制，培养工程化思维。结合1+X证书"数据采集与传输"能力模块要求，强调实操导向。四、设计过程（90分钟）教学环节时长（单位：min）教师活动学生活动设计意图教学手段数据本质追问12展示图4.1（数据-信息-知识-智慧金字塔），提问："传感器原始电压值是数据吗？经校准后的温度值呢？分析报告呢？"讲解DIKW模型，强调数据采集是价值转化的起点讨论数据与信息的区别，完成"数据→信息→知识"转化链案例分析（如：原始点击记录→用户行为统计→推荐算法优化）建立数据分层认知，理解采集环节的关键作用DIKW金字塔动画、案例卡片数据分类精讲15详解表4.1三类数据：①结构化（关系型数据库，SQL处理）；②半结构化（XML/JSON/HTML，RDF/OWL处理）；③非结构化（文本/图像/音频/视频，NoSQL/深度学习处理）。强调：大数据时代75%是非结构化数据，采集难度最大判断给定数据类型（如：学生成绩表、网页HTML、监控视频、传感器JSON流），填写分类矩阵掌握数据分类标准，为后续选择采集工具奠定基础分类对比表、数据样本展示采集工具全景18讲解五大采集技术：①日志采集（Flume、Scribe、Chukwa）；②数据迁移（Sqoop，关系型↔HDFS）；③消息队列（Kafka，生产者-消费者解耦）；④网络爬虫（定向抓取、反爬策略）；⑤传感器采集（IoT设备、边缘计算）。对比：FlumevsKafkavsSqoop的适用边界绘制"工具-场景"匹配图：实时日志→Flume，离线批量→Sqoop，高吞吐缓冲→Kafka，网页抓取→爬虫建立工具生态认知，理解技术选型的业务驱动逻辑工具生态图谱、场景决策树Flume架构解析25采用"水管系统"类比讲解：①Source=水龙头（多种类型：Exec监控命令输出、SpoolingDir监控目录、NetCat监听端口、Avro接收RPC）；②Channel=水箱（Memory快速但易失、File可靠但慢、Kafka高吞吐）；③Sink=排水管（HDFS、HBase、Kafka、Avro、Logger等）。展示图4.9Agent结构、图4.10/4.11多级拓扑绘制FlumeAgent数据流图，标注Source/Channel/Sink类型，设计一个"日志采集→HDFS存储"的单Agent拓扑掌握Flume核心架构，理解组件可插拔设计思想水管类比动画、架构填空图、拓扑设计练习可靠性机制15详解事务机制：①Put事务（Source→Channel）：批量put→尝试commit→失败则rollback；②Take事务（Channel→Sink）：批量take→处理完成→commit。对比Channel类型可靠性：MemoryChannel（快但丢数据风险）、FileChannel（持久化但慢）、KafkaChannel（高可靠高吞吐）。介绍复制与多路复用选择器分析场景选择Channel类型：金融交易日志→FileChannel，实时监控→MemoryChannel，大规模日志→KafkaChannel理解可靠性设计权衡，培养工程化决策能力事务流程动画、Channel对比表、决策矩阵小结预告5总结：数据采集是大数据pipeline的第一步，Flume是日志采集的利器。预告下节课将实践部署Flume，完成"日志文件→HDFS"的采集任务。布置预习：回顾Linux文件操作、HDFSShell命令整理笔记，标注疑问（如：Interceptor是什么？），预习Flume安装步骤承上启下，建立学习期待思维导图板书、预习任务单五、板书设计项目4：数据采集组件Flume（理论）1、DIKW数据价值金字塔Data（原始记录）→Information（有意义）→Knowledge（规律）→Wisdom（决策）采集质量决定上层价值2、数据三层分类（采集策略差异）结构化──→数据库──→Sqoop批量迁移半结构化→XML/JSON→Flume实时采集非结构化→文本/图像/视频→专用工具注：大数据75%是非结构化3、Flume架构（水管类比）Source（水龙头）→Channel（水箱）→Sink（排水管）ExecMemoryHDFSSpoolingFileHBaseNetCatKafkaKafkaAvroLogger4、可靠性机制Put事务：Source批量写入ChannelTake事务：Channel批量交付SinkChannel选择：Memory快<File稳<Kafka吞吐高5、拓扑类型单Agent：简单采集多Source→单Sink：多源聚合单Source→多Sink：复制/多路复用多级Agent：跨网络传输六、教学评价评价维度评价内容评价方式数据分类能准确判断给定数据的类型及采集策略课堂快速测试（5个数据样本）工具选择能根据场景选择Flume/Kafka/Sqoop/爬虫场景选择题（在线投票）架构绘制能绘制FlumeAgent组件图及数据流向课堂草图、同伴互评可靠性理解能解释事务机制并选择合适的Channel类型案例分析问答拓扑设计能设计简单的Flume采集拓扑拓扑图作业评分七、教学反思（预设）反思维度内容预期成效DIKW模型建立数据价值认知；水管类比有效降低架构理解难度；工具全景图帮助学生建立生态视野；事务机制讲解为后续故障排查埋下伏笔可能问题①学生混淆Flume与Kafka的定位（都用于日志）；②Channel类型选择缺乏感性认识；③多级Agent拓扑理解困难；④事务机制过于抽象应对策略①强调Flume是"采集+简单传输"，Kafka是"高吞吐缓冲+流处理平台"；②实践课中对比三种Channel的实际性能差异；③简化多级拓扑，聚焦单Agent实践；④用"快递签收"类比双写确认改进方向增加真实Flume配置案例预览（下节课将用到的conf文件）；收集学生关于"Interceptor"的疑问，在实践课中重点讲解；准备Flume与竞品（Logstash、Fluentd）的对比资料供拓展阅读

教案07：Flume部署与基础采集实践一、教学目标维度目标内容知识目标1.掌握Flume1.11.x的安装部署流程（解压、环境变量、配置）2.说明Flume配置文件的语法结构（Agent名称、组件列表、组件属性绑定）3.描述ExecSource和LoggerSink的工作原理能力目标1.能独立完成Flume安装与环境变量配置2.能编写基础Flume配置文件（ExecSource+MemoryChannel+LoggerSink）3.能启动FlumeAgent并监控日志输出4.能排查常见的启动失败问题（配置语法错误、类路径问题）素养目标1.培养配置文件严谨性意识（缩进、命名规范、属性完整）2.建立"先测试后部署"的工程习惯3.增强日志阅读意识，从日志中定位问题二、教学重难点类型内容说明重点Flume配置文件的编写规范Agent命名、组件声明、通道绑定、属性设置的层次结构重点ExecSource实时监控命令输出理解tail-F与tail-f的区别，掌握命令配置难点配置文件的语法错误排查缩进错误、属性名拼写错误、组件未绑定等导致Agent启动失败难点Flume日志的解读与问题定位从flume.log中识别ERROR、Exception，理解组件生命周期日志三、设计思路本节课采用"安装→配置→启动→验证→排错"的标准工程流程，强调"最小可用先行"的迭代思维。首先完成最简单的"命令输出→日志打印"采集，验证环境就绪；然后逐步增加复杂度（文件监控、HDFS输出）。引入"配置检查清单"强制规范，通过"故意引入错误"培养排错能力。所有操作在已部署的Hadoop集群（项目3成果）上进行，体现项目连贯性。四、设计过程（90分钟）教学环节时长教师活动学生活动设计意图教学手段环境检查10检查前置条件：①Hadoop集群已启动（NameNode、DataNode、ResourceManager）；②HDFS可正常写入（hdfsdfs-mkdir/flume测试）；③JDK环境变量已配置。分发Flume1.11.x安装包（或指导wget下载）确认Hadoop集群状态，测试HDFS写入权限，准备Flume安装包确保前置环境就绪，建立项目间依赖意识环境检查清单、HDFS测试命令Flume安装15演示Flume部署步骤：①解压到/opt/module；②配置/etc/profile（FLUME_HOME、PATH）；③修改flume-env.sh（JAVA_HOME）；④验证安装（flume-ngversion）。常见错误：JAVA_HOME路径错误、权限不足跟随操作完成Flume安装，记录各步骤命令，验证版本输出掌握组件标准化部署流程，巩固Linux操作技能安装手册（步骤截图版）、环境变量模板首配体验20讲解"最小可用配置"：监控tail-F/var/log/messages输出到LoggerSink（控制台打印）。配置文件结构：①Agent命名（如a1）；②定义Source、Channel、Sink列表；③分别配置各组件属性；④绑定通道（a1.sources.r1.channels=c1,a1.sinks.k1.channel=c1）。陷阱设置：故意漏写channel绑定编写第一个配置文件（exec-logger.conf），启动Agent（flume-ngagent--namea1--conf-fileexec-logger.conf），观察命令输出被实时采集打印建立"HelloWorld"成就感，理解配置文件的四大组成部分配置模板（填空式）、启动命令详解、成功输出示例文件采集25升级任务：使用SpoolingDirSource监控目录（/data/logs），FileRollSink滚动写入本地文件。讲解SpoolingDir特性：①监控目录内新文件；②采集完成后标记（.COMPLETED）；③不支持子目录。配置文件要点：spoolDir、fileSuffix、batchSize、rollSize创建监控目录，生成测试日志文件（echo"testlog">>/data/logs/test1.log），启动Agent观察文件采集和滚动输出，检查.COMPLETED标记掌握文件采集场景的配置，理解Source的类型差异目录监控原理图、配置文件对比（ExecvsSpoolingDir）故障注入15在学生配置中预设3种常见错误：①缩进错误（YAML风格空格）；②组件名不匹配（如定义r1但绑定r2）；③目录权限不足（spoolDir不可读）。引导学生查看flume.log定位问题根据错误现象（Agent启动失败、无输出、报错退出），查看/opt/module/flume/logs/flume.log，识别错误关键词，修复配置培养日志分析能力，这是运维核心技能故障案例库、日志关键词检索表、排错流程图阶段小结5总结Flume配置"四步法"：命名→声明→配置→绑定。强调：①配置文件备份；②先LoggerSink测试，再HDFSSink生产；③日志是排错第一线索。预告下节课将接入HDFS整理本节课配置文件，备份留存，标注疑问（如：HDFSSink如何配置？）固化操作流程，建立配置管理意识配置四步口诀、备份检查清单五、板书设计项目4：Flume部署与基础采集（实践1）1、前置检查（项目3成果复用）□Hadoop集群启动（jps检查5进程）□HDFS可写（hdfsdfs-mkdir/flume）□JDK环境就绪（java-version）2、Flume安装四步tar-zxvfapache-flume-1.11.x-bin.tar.gzvi/etc/profile（FLUME_HOME、PATH）mvflume-env.sh.templateflume-env.shexportJAVA_HOME=...（flume-env.sh）flume-ngversion（验证）3、配置文件四步法（核心！）1.命名：agent名称（如a1）2.声明：sources、channels、sinks列表3