分布式数据库HBase 教案 王瑞 第5-7章 HBase API- MapReduce On HBase

分布式数据库HBase教师教案任课教师：课程名称：授课对象：授课学期：25年春季学期目录TOC\o"1-1"\h\u5276教案一第一章数据库概述 教案五第五章HBaseAPI任务名称第五章HBaseAPI教学时数：学时授课地点授课时间授课教材主要教学内容包含本次授课主要内容介绍、岗课赛证融入、新技术、新工艺、新规范、新业态以及课程思政设计与融入的情况介绍。HBase客户端提供了使用JavaAPI访问HBase的方式，即HBaseJavaAPI。用户可以根据实际需求使用HBaseJavaAPI来实现Java应用程序来操作命名空间、表和数据。本章将以操作完全分布式模式部署的HBase为例，演示如何使用HBaseJavaAPI操作HBase。竞赛内容衔接，对接技能竞赛（如全国职业院校技能大赛“大数据集群运维”赛项）。证书认证衔接，课程内容覆盖“1+X”证书（如《大数据平台运维》职业技能等级证书）考点。课程思政设计与融入文化自信，网络安全：通过表单验证案例强调数据安全与隐私保护（如《个人信息保护法》）。学情分析知识基础：Java基础尚可，但对HBase特有API体系不熟悉技能基础：能完成基础CRUD，缺乏批量处理和异常处理经验学习特点：偏好实例教学，对理论文档兴趣低，重视实用技能，但对代码质量规范意识不足教学目标素质目标：在案例实现中培养综合分析问题的能力；在代码编辑中培养耐心细致、精益求精的工匠精神。知识目标：使学生了解构建开发环境的操作，使学生了解命名空间管理，能够实现创建命名空间、查看命名空间、删除命名空间等Java应用程序使学生掌握表管理能力目标：使学生了解构建开发环境的操作，能够在IntelliJIDEA构建HBase的开发环境使学生掌握连接HBase的操作，能够独立完成在Java应用程序中连接HBase集群的操作使学生了解命名空间管理，能够实现创建命名空间、查看命名空间、删除命名空间等Java应用程序使学生掌握表管理，能够独立完成创建表、查看表、删除表等Java应用程序使学生掌握数据管理，能够独立完成插入数据、查询数据、删除数据等Java应用程序教学重点及难点教学重点及解决措施：连接HBase创建命名空间修改命名空间删除命名空间创建表查看表信息1.分层教学基础层：确保掌握核心API（ConnectionFactory、Table、Put、Get、Scan），完成单条数据的CRUD操作进阶层：批量操作（BufferedMutator）复杂查询（组合过滤器）二级索引实现2.典型问题强化资源管理：通过try-with-resources规范Connection使用演示资源泄漏的后果（如连接耗尽）异常处理：整理常见异常及处理方案设计异常处理实验（如重试机制）3.项目驱动电商案例：任务1：用户画像存储（宽表设计）任务2：订单历史查询（分页实现）任务3：商品推荐（协处理器）教学难点及解决措施：修改命名空间查看表信息修改表插入数据查询数据教学方法及手段任务驱动法（实验案例）、讲授法（重难点解析）、小组合作学习法。课内外教学资源包括各类线上线下资源、数字化资源等；1.头歌平台HBase实验题库；

2.谷歌GFS/BigTable论文（扩展阅读）；

3.虚拟机镜像（Hadoop预装环境）。教学活动过程课前准备：教学内容：JavaAPI操作HBase教师活动：1.预习任务基础概念预习：要求学生预习HBase数据模型（表、行键、列族、列限定符等）了解JavaAPI作为HBase交互式方式环境准备：确保学生HBase环境已正确部署并可启动提供测试用数据表结构说明（学生课前创建）预习测验（线上）：学生活动：完成相关测试，环境准备设计意图：课堂导入活动，引入学生的学期兴趣课中实施：教学内容：JavaAPI连接HBase教师活动：（构建开发环境、连接HBase、查看命名空间、创建命名空间、查看命名空间属性、修改命名空间、删除命名空间、查看命名空间的表）一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。二、通过直接导入的方式导入新课命名空间管理是指通过HBaseJavaAPI实现Java应用程序，对命名空间进行创建、删除、修改等操作。本节将详细讲解如何构建开发环境，并通过JavaAPI连接HBase，进一步实现对HBase的命名空间进行相关操作。三、新课讲解知识点1-构建开发环境教师通过PPT结合实际操作的方式讲解构建开发环境。构建Java项目构建项目目录结构导入依赖知识点2-连接HBase教师通过PPT结合实际操作的方式讲解连接HBase。介绍HBaseConfiguration和ConnectionFactory类创建HBaseConnect类并定义获取HBase连接的方法在HBaseConnect类中定义关闭HBase连接的方法知识点3-查看命名空间教师通过PPT结合实际操作的方式讲解查看命名空间。讲解查看命名空间的程序结构创建GetNamespaceList类演示查看命名空间知识点4-创建命名空间教师通过PPT结合实际操作的方式讲解创建命名空间。讲解创建命名空间的程序结构创建CreateNamespace类演示创建命名空间知识点5-查看命名空间属性教师通过PPT结合实际操作的方式讲解查看命名空间属性。讲解查看命名空间属性的程序结构创建GetNamespaceDesc类演示查看命名空间属性知识点6-修改命名空间教师通过PPT结合实际操作的方式讲解修改命名空间。讲解修改命名空间的程序结构创建ModifyNamespace类演示修改命名空间知识点7-删除命名空间教师通过PPT结合实际操作的方式讲解删除命名空间。讲解删除命名空间的程序结构创建DropNamespace类演示删除命名空间知识点8-查看命名空间的表教师通过PPT结合实际操作的方式讲解查看命名空间的表。讲解查看命名空间的表的程序结构创建GetNamespaceTables类演示查看命名空间的表三、新课讲解知识点1-创建表教师通过PPT结合实际操作的方式讲解创建表。讲解创建表的程序结构介绍TableDescriptorBuilder类常用的方法讲解创建TableDescriptor对象的基础程序结构介绍ColumnFamilyDescriptorBuilder类常用的方法讲解创建ColumnFamilyDescriptor对象的基础程序结构创建CreateTable类演示创建表通过HBaseShell查看表信息知识点2-查看表信息教师通过PPT结合实际操作的方式讲解查看表信息。讲解查看表信息的程序结构创建GetTableDesc类演示查看表信息知识点3-查看表教师通过PPT结合实际操作的方式讲解查看表。讲解查看表的程序结构创建GetTableList类演示查看表知识点4-停用和启用表教师通过PPT结合实际操作的方式讲解停用和启用表。分别讲解停用和启用表的程序结构创建DisableTable类演示停用表创建EnableTable类演示启用表知识点5-修改表教师通过PPT结合实际操作的方式讲解修改表。讲解修改表的程序结构修改表属性修改列族添加列族删除列族修改列族的属性创建ModifyTable类演示修改表通过HBaseShell查看表信息知识点6-删除表教师通过PPT结合实际操作的方式讲解删除表。讲解删除表的程序结构创建DeleteTable类演示删除表四、归纳总结教师回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导。学生活动：上机练习主要针对本章中需要重点掌握的知识点，以及在程序中容易出错的内容进行练习，通过上机练习可以考察同学对知识点的掌握情况，对代码的熟练程度。设计意图：（围绕教学内容、岗课赛证融入、新技术、新工艺、新规范、新业态以及课程思政设计与融入等内容进行填写）课后拓展：教学内容：JavaAPI连接Hbase操作教师活动：布置相关的JavaAPI的实训任务学生活动：上机一：（创建命名空间、修改命名空间、查看命名空间的表）形式：单独完成题目：完成命名空间的相关操作，要求如下：通过Admin类提供的createNamespace()方法创建命名空间。通过Admin类提供的modifyNamespace()方法为创建的命名空间添加两个属性。通过Admin类提供的listTableNamesByNamespace()方法查看命名空间hbase中包含的表。上机二：（创建表、修改表、插入数据）形式：单独完成题目：完成HBase表的相关操作，要求如下：通过Admin类提供的createTable()方法创建表。通过Admin类提供的modifyTable()方法为创建的表添加一个列族并修改已存在列族的预定义属性。通过Table类提供的put()方法向表中插入两行数据。通过Table类提供的getScanner()方法查询表中指定列族的多行数据。设计意图：偏好动手实操，对理论讲授耐心不足；依赖视频教程，文档阅读能力较弱。采用“案例模仿→自主创新”阶梯式任务，提供录屏微课教学总结及反思改进本次课程围绕HBASE的JavaAPI展开，采用“案例驱动+任务导向”的教学模式，结合课前导入、课中实践、课后拓展三个阶段，帮助学生学习了HBASEJavaAPI使用。反思改进：提供云实验环境，解决本地资源不足问题；预置常见错误场景的快速恢复快照；开发部署辅助脚本，简化重复操作；建立在线问答系统，实时解决学生问题注：1、除个别课程因教学需要连续上课超过2个学时外，每个教案均以2学时安排。2、学期结束教师将本学期教案汇集成册，备查。

教案六第六章HBase模式设计与优化任务名称第六章HBase模式设计与优化教学时数：4学时授课地点授课时间授课教材主要教学内容包含本次授课主要内容介绍、岗课赛证融入、新技术、新工艺、新规范、新业态以及课程思政设计与融入的情况介绍。HBase基础使用使我们熟悉常规的操作和方法，而高级应用则需要我们从新的角度思考问题，尝试创新的解决方案。通过深入了解相关技术的高级运用，我们能够培养创新思维和问题解决能力，提高我们面对复杂问题时的应变能力和灵活性。这种能力的培养对于学术研究和创新精神具有重要的意义。通过前面几个章节的学习相信读者已经掌握了HBase的基本使用，不过在实际的工作过程中，还需要掌握HBase的一些高级应用，如协处理器、预拆分、快照等，通过这些高级应用，不仅可以提升HBase的执行效率，还可以确保数据的安全性。本章将详细讲解HBase的高级应用。课程思政融入文化自信塑造，职业伦理教育。讨论“996加班文化”与CSS代码可维护性的关系（提倡高效编码）。分析“大数据杀熟”案例中的CSS界面欺骗手段（强调技术伦理）学情分析知识基础：已具备知识：掌握HBase基础架构和核心组件功能理解Region分裂和合并的基本概念了解协处理器（Coprocessor）的基本作用熟悉HBase数据存储模型（WAL、MemStore、HFile）技能基础：能通过Shell完成基本的Region管理操作能编写简单的Observer协处理器（如前置检查）能使用快照功能进行基础备份恢复Region预拆分（pre-splitting）的键值设计能力薄弱自定义Endpoint协处理器的开发经验缺乏快照迁移（ExportSnapshot）的实战经验不足学习特点：对原理性内容（如协处理器执行流程）需要可视化辅助容易混淆相似概念（如Major合并vsMinor合并）对配置参数间的关联性理解困难对性能优化相关的内容表现出较强兴趣喜欢挑战性任务但需要明确的阶段性指导教学目标素质目标：培养学生计算机思维的能力，帮助学生树立科学严谨的负责态度；培养学生的团队协作意识，自主解决问题的能力知识目标：了解HBase协处理器，能够描述不同类型协处理器的作用熟悉协处理器的使用，能够完成协处理器的加载和卸载操作掌握协处理器的定义，能够独立完成定义不同类型协处理器的程序能力目标：掌握Region的预拆分，能够在创建表时实现预拆分了解Region的合并，能够描述实现Region合并的作用掌握HBase的快照，能够叙述快照的作用以及实现快照的相关操作教学重点及难点教学重点及解决措施：加载协处理器定义Observer类型的协处理器定义Endpoint类型的协处理器预拆分快照教学难点及解决措施：加载协处理器定义Observer类型的协处理器定义Endpoint类型的协处理器教学方法及手段任务驱动法（实验案例）、讲授法（重难点解析）、小组合作学习法。课内外教学资源包括各类线上线下资源、数字化资源等；1.头歌平台HBase实验题库；

2.谷歌GFS/BigTable论文（扩展阅读）；

3.虚拟机镜像（Hadoop预装环境）。教学活动过程课前准备：教学内容：HBase的高级应用教师活动：1.预习任务基础概念预习：了解HBase的高级应用是哪些内容环境准备：确保学生HBase环境已正确部署并可启动提供测试用数据表结构说明（学生课前创建）预习测验（线上）：学生活动：完成相关测试，环境准备设计意图：课堂导入活动，引入学生的学期兴趣课中实施：教学内容：HBase的高级应用教师活动：一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。二、通过直接导入的方式导入新课HBase的协处理器可以将处理数据时的计算放置在RegionServer运行，减轻网络开销和客户端的压力，从而获得很好的性能提升。在本节课中，我们将针对协处理器的基本概念以及相关操作进行讲解。三、新课讲解知识点1-协处理器简介教师通过PPT的方式讲解协处理器简介。介绍Observer类型的协处理器。介绍Endpoint类型的协处理器。知识点2-加载协处理器教师通过PPT的方式讲解加载协处理器。静态加载介绍加载协处理器的参数介绍使用静态加载的方式加载协处理器动态加载通过HBaseShell实现动态加载通过HBaseJavaAPI实现动态加载知识点3-卸载协处理器教师通过PPT的方式讲解卸载协处理器。静态卸载动态卸载通过HBaseShell实现动态卸载通过HBaseJavaAPI实现动态卸载知识点4-定义Observer类型的协处理器教师通过PPT结合实际操作的方式讲解定义Observer类型的协处理器。介绍RegionServerObserver、RegionObserver、MasterObserver和WALObserver接口常用的回调函数。以RegionObserver接口为例演示如何定义和使用Observer类型的协处理器。知识点5-定义Endpoint类型的协处理器教师通过PPT结合实际操作的方式讲解定义Endpoint类型的协处理器。介绍定义Endpoint类型协处理器的方式。讲解proto文件的基本结构。讲解基于proto文件生成序列化类的语法格式。演示如何定义及使用Endpoint类型的协处理器。四、归纳总结教师回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导。三、新课讲解知识点1-自动拆分教师通过PPT的方式讲解自动拆分。ConstantSizeRegionSplitPolicyBusyRegionSplitPolicyDisabledRegionSplitPolicyIncreasingToUpperBoundRegionSplitPolicyKeyPrefixRegionSplitPolicyDelimitedKeyPrefixRegionSplitPolicySteppingSplitPolicy知识点2-使用自动拆分教师通过PPT的方式讲解使用自动拆分。HBase配置文件HBaseShellHBaseJavaAPI知识点3-预拆分教师通过PPT结合实际操作的方式讲解预拆分。通过对比自动拆分介绍预拆分手动设置通过数组为每个Region指定行键的取值范围通过拆分文件为每个Region指定行键的取值范围通过两个案例演示手动设置预拆分使用HBase提供的算法知识点4-Region的合并教师通过PPT结合实际操作的方式讲解Region的合并。讲解什么是Region的合并讲解HBase实现Region合并的过程讲解实现Region的合并的语法格式演示Region的合并操作知识点5-快照教师通过PPT结合实际操作的方式讲解快照。介绍快照的作用介绍操作快照的两种工具HBaseShellExportSnapshot通过HBaseShell操作快照介绍HBaseShell提供用于操作快照的命令演示创建快照演示查看HBase的所有快照演示删除快照演示通过快照创建表演示通过快照恢复表的数据通过ExportSnapshot工具操作快照通过ExportSnapshot工具迁移快照的语法格式演示将快照迁移至其他HBase集群演示备份快照四、归纳总结教师回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导。学生活动：参与课堂活动，完成相关任务设计意图：授课前，学生自行通过头歌平台课程网站或查阅教材、参考书等教学资源进行相关的知识准备。教学过程中主要采用案例引入、案例分析、案例实现、知识学习、案例拓展、成果评价等6步来实施教学。课后拓展：教学内容：总结本次课程内容教师活动：步骤作业，指导学生进行相关的实验安排学生活动：上机一：（加载协处理器、定义Observer类型的协处理器、定义Endpoint类型的协处理器）形式：单独完成题目：完成协处理器的相关操作，要求如下：基于RegionObserver接口定义Observer类型的协处理器，实现向制定表插入数据之后，同时向具有相同表结构的另一张表插入数据。使用HBaseShell的方式加载定义的Observer类型的协处理器。定义Endpoint类型的协处理器用于对表中指定列的数据进行聚合运算。使用HBaseJavaAPI的方式加载定义的Endpoint类型的协处理器。上机二：（预拆分）形式：单独完成题目：在HBase中创建表时通过拆分文件为每个Region指定行键的取值范围。上机二：（快照）形式：单独完成题目：完成快照的相关操作，要求如下：通过HBaseShell操作快照。创建快照查看HBase的所有快照删除快照通过快照创建表通过快照恢复表的数据设计意图：上机练习主要针对本章中需要重点掌握的知识点，以及在程序中容易出错的内容进行练习，通过上机练习可以考察同学对知识点的掌握情况，对代码的熟练程度。教学总结及反思改进本次课程围绕HBASE高级引用展开，采用“案例驱动+任务导向”的教学模式，结合课前导入、课中实践、课后拓展三个阶段，帮助学生学习了HBASE高级应用。反思改进：概念具象化：使用Region分布可视化工具展示分裂/合并过程提供协处理器执行时序图。调试支持：提供协处理器调试检查清单；整理常见错误代码对照表；设计不同分裂策略的性能对比；展示快照与传统备份的效率差异注：1、除个别课程因教学需要连续上课超过2个学时外，每个教案均以2学时安排。2、学期结束教师将本学期教案汇集成册，备查。

教案七第七章MapReduceOnHBase任务名称第七章MapReduceOnHBase教学时数：2学时授课地点授课时间授课教材主要教学内容包含本次授课主要内容介绍、岗课赛证融入、新技术、新工艺、新规范、新业态以及课程思政设计与融入的情况介绍。HBase是一个分布式的非关系型数据库，相对于传统关系型数据库来说，并不具备分析能力，而是需要将HBase的数据读取到客户端再进行分析，这样的做法不仅效率慢，而且还会产生大量的I/O开销，因此更有效的做法是集成MapReduce，使MapReduce程序直接访问HBase的数据进行分布式计算，除此之外借助MapReduce可以实现HBase批量读取和写入数据的操作。本章将介绍HBase集成MapReduce的相关内容。竞赛内容衔接，对接技能竞赛（如全国职业院校技能大赛“大数据集群运维”赛项）。证书认证衔接，课程内容覆盖“1+X”证书（如《大数据平台运维》职业技能等级证书）考点。学情分析知识基础：Java基础尚可，但对HBase特有体系MapReduce不熟悉技能基础：能完成基础CRUD，缺乏批量处理和异常处理经验学习特点：偏好实例教学，对理论文档兴趣低，重视实用技能，但对代码质量规范意识不足教学目标素质目标：培养学生计算机思维的能力，帮助学生树立科学严谨的负责态度；培养学生的团队协作意识，自主解决问题的能力知识目标：了解MapReduce的核心思想，能够说出MapReduce实现分布式计算的思想熟悉MapReduce的编程模型，能够描述MapReduce程序实现分布式计算的执行过程熟悉MapReudce程序的实现，能够描述Map过程、Reduce过程和驱动器的作用能力目标：使学生掌握MapReduce读取HBase数据操作，能够独立完成从HBase读取数据的MapReduce程序使学生掌握MapReduce写入HBase数据操作，能够灵活运用不同方式实现MapReduce程序向HBase写入数据教学重点及难点教学重点及解决措施：案例——词频统计MapReduce读取HBase数据通过Map过程向HBase写入数据通过Reduce过程向HBase写入数据教学难点及解决措施：MapReduce读取HBase数据通过Map过程向HBase写入数据通过Reduce过程向HBase写入数据教学方法及手段任务驱动法（实验案例）、讲授法（重难点解析）、小组合作学习法。课内外教学资源包括各类线上线下资源、数字化资源等；1.头歌平台HBase实验题库；

2.谷歌GFS/BigTable论文（扩展阅读）；

3.虚拟机镜像（Hadoop预装环境）。教学活动过程课前准备：教学内容：MapReduce的复习教师活动：1.预习任务基础概念预习：MapReduce环境准备：确保学生HBase/MapReduce环境已正确部署并可启动提供测试用数据表结构说明（学生课前创建）预习测验（线上）：学生活动：完成相关测试，环境准备设计意图：课堂导入活动，引入学生的学期兴趣课中实施：教学内容：（MapReduce核心思想、MapReduce编程模型、实现MapReduce程序、案例——词频统计、MapReduce读取HBase数据、通过Map过程向HBase写入数据、通过Reduce过程向HBase写入数据）教师活动：一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。二、通过直接导入的方式导入新课HBase作为一种高性能、可扩展性和高可靠性的NoSQL数据库，通常被用于存储海量的结构化数据。而MapReduce作为一种分布式计算框架，能够高效地处理大规模数据。在实际的应用场景中，HBase和MapReduce的结合应用非常广泛，例如通过MapReduce向HBase读写数据等方面。本节课将针对MapReduce的核心思想、MapReduce编程模型、实现MapReduce程序、案例——词频统计，以及通过MapReduce读取和向HBase写入数据等方面的内容。三、新课讲解知识点1-MapReduce核心思想教师通过PPT的方式讲解MapReduce核心思想。介绍MapReduce的核心思想。介绍MapReduce程序的执行过程。知识点2-MapReduce编程模型教师通过PPT的方式讲解MapReduce编程模型。讲解MapReduce编程模型。讲解MapReduce简易模型的数据处理过程。讲解多个Map过程和Reduce过程的MapReduce模型。讲解MapReduce实现词频统计的过程。知识点3-实现MapReduce程序教师通过PPT的方式讲解实现MapReduce程序。实现Map过程。实现Reduce过程。实现驱动器。知识点4-案例——词频统计教师通过PPT结合实际操作的方式讲解案例——词频统计。构建Java项目导入项目依赖实现Map过程实现Reduce过程实现驱动器运行MapReduce程序知识点5-MapReduce读取HBase数据教师通过PPT结合实际操作的方式讲解MapReduce读取HBase数据。介绍MapReduce从HBase读取数据的实现方式。介绍MapReduce从HBase读取数据时实现Map过程的语法格式。介绍MapReduce从HBase读取数据时初始化Map过程的语法格式。演示通过MapReduce程序读取HBase中表user_info