分布式数据库技术1

分布式数据库技术与应用·单元练习题参考答案第1页分布式数据库技术与应用单元练习题参考答案项目一至项目六按第一单元至第六单元整理·统一版式

项目一认识HBase数据库一、选择题答案1.B2.A3.B4.B5.C6.D7.A8.B二、填空题答案Bigtable字典（按字节的词典）稀疏Flush（刷写）BlockCache时间戳（Timestamp）三、问答题参考答案简述什么是HBase。参考答案：HBase是运行在Hadoop/HDFS之上的分布式、可扩展、面向列族的NoSQL数据库，适合对海量稀疏数据进行高吞吐随机读写。简述HBase的特点和优势有哪些。参考答案：主要特点包括分布式列存储、水平扩展、强一致单行读写、稀疏多版本数据模型、自动分区与故障恢复。优势是容量可扩展、写入吞吐高、可用性强，并能与Hadoop生态协同。简述为什么要在大数据中使用HBase。参考答案：传统关系型数据库在数据量、并发写入和横向扩展方面容易遇到瓶颈；HBase可借助HDFS和Region自动分片，在普通服务器集群上保存并实时访问海量数据。简述HBase有哪些使用场景。参考答案：典型场景有时序数据、日志与监控、用户画像、消息与轨迹、物联网数据、实时推荐特征、需要按RowKey快速随机访问的宽表应用。简述HBase的存储结构。参考答案：表按RowKey排序并切分为Region；每个列族对应一个Store，Store由内存中的MemStore和磁盘上的StoreFile/HFile组成。写入先记录WAL，再进入MemStore，刷写后形成HFile。HBase的体系结构包括哪些部分？参考答案：主要包括Client、ZooKeeper、HMaster、RegionServer、Region，以及底层HDFS。HMaster负责元数据和Region调度，RegionServer承担读写，ZooKeeper提供协调与服务发现。HBase的数据模型包括哪些概念？参考答案：包括命名空间、表、行键、列族、列限定符、单元格、时间戳和版本。单元格可表示为RowKey+ColumnFamily+Qualifier+Timestamp对应的值。HBase的数据读写流程是怎样的？参考答案：写入时客户端定位RegionServer，先写WAL，再写MemStore，达到阈值后Flush为HFile；读取时先定位Region，依次利用BlockCache、MemStore和StoreFile/HFile，并合并版本后返回结果。项目二安装和部署HBase数据库一、选择题答案1.C2.B3.D4.B5.A6.B7.A8.B二、填空题答案2core-site.xmlHMasterZooKeeperdescribedetailed三、问答题参考答案搭建虚拟机环境时，需要进行哪些步骤？参考答案：安装VMwareWorkstation或VirtualBox，创建虚拟机并分配CPU、内存和磁盘，挂载CentOS镜像完成系统安装；随后配置主机名、静态IP、hosts、时间同步、防火墙和SSH免密登录，并安装JDK。安装CentOS操作系统时，需要注意哪些事项？参考答案：核对镜像和磁盘分区，设置合适的CPU/内存；建议最小化安装；配置固定IP、DNS、主机名和时区；创建管理账号并妥善设置权限；安装后及时更新补丁并确认SSH、网络和时间同步正常。搭建分布式大数据环境时，需要考虑哪些关键因素？参考答案：需综合考虑节点规模和硬件资源、网络拓扑与带宽、操作系统与JDK版本一致性、数据副本与容灾、主机名/IP规划、时间同步、安全权限、监控和扩容方案。搭建Hadoop集群时，需要配置哪些主要文件？参考答案：主要包括core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers（或slaves）以及hadoop-env.sh；同时要配置环境变量和节点间SSH免密登录。搭建HBase集群时，需要配置哪些主要文件？参考答案：主要包括hbase-site.xml、hbase-env.sh、regionservers，必要时配置backup-masters；还需保证HDFS、ZooKeeper地址和版本兼容，并统一各节点配置。如何管理HBase集群的高可用性？参考答案：部署多HMaster，使用ZooKeeper选主；HDFS启用NameNode高可用和足够副本；合理设置Region副本与负载均衡；配置跨集群复制、快照/备份、监控告警，并定期开展故障切换与恢复演练。项目三HBase数据库基础应用一、选择题答案1.D2.A3.B4.C5.C6.A7.C8.A二、填空题答案连续递增的行键（防止Region热点）列族；列族createputget行键（RowKey）列族时间戳（Timestamp）三、问答题参考答案为什么在HBase数据建模中，行键（RowKey）的设计如此重要？参考答案：RowKey决定数据的物理排序、Region分布和主要访问路径。设计不当会造成热点、扫描范围过大或难以按业务条件查询，因此应兼顾唯一性、长度、前缀散列、时间顺序和查询模式。在HBase中，创建表时为什么要指定列族？参考答案：列族是HBase的物理存储与配置单位，同一列族的数据一起存储，并共享压缩、TTL、版本数和缓存等属性。预先合理划分列族有助于减少无关I/O和管理存储策略。HBase的DDL操作中，create命令的具体语法是什么？请举例说明。参考答案：语法为create'表名','列族1','列族2'；例如：create'student','info','score'。也可使用列族属性：create'student',{NAME=>'info',VERSIONS=>3}。HBase的DML操作中，put命令的具体语法是什么？请举例说明。参考答案：语法为put'表名','行键','列族:列','值'；例如：put'student','1001','info:name','张三'。对同一坐标再次put即形成更新版本。HBase的DQL操作中，get命令的具体语法是什么？请举例说明。参考答案：语法为get'表名','行键'，可指定列；例如：get'student','1001',{COLUMN=>'info:name'}。在HBase中，如何修改表结构？请详细说明步骤。参考答案：先确认表状态；使用alter增加或修改列族，如alter'student',{NAME=>'contact',VERSIONS=>1}。删除列族可用alter'student',NAME=>'contact',METHOD=>'delete'。部分版本或操作需要先disable，完成后再enable，并用describe验证。在HBase中，删除表之前必须先执行什么操作？为什么？参考答案：必须先执行disable'表名'，再执行drop'表名'。禁用可停止该表的读写并关闭相关Region，避免在服务过程中直接删除造成状态和元数据不一致。HBase的DQL操作中，如何使用过滤器进行复杂的数据查询？请举例说明。参考答案：在scan或get中通过FILTER指定过滤器，可用FilterList组合条件。例如：scan'users',{FILTER=>"FilterList(AND,PrefixFilter('u_'),ValueFilter(=,'binary:Alice'))"}，并可结合COLUMNS、STARTROW、STOPROW、TIMERANGE等限制范围。项目四HBase客户端API开发一、选择题答案1.B2.C3.B4.B5.B6.B7.C8.B二、填空题答案BulkLoadWAL（Write-AheadLog）SSL/TLSTableInputFormatSQLPutDelete批量（Batch）三、问答题参考答案解释一下HBase客户端API中Admin类的主要职责是什么。请举例说明如何使用它来进行表的管理。参考答案：Admin负责集群和表级管理，如创建、禁用、启用、修改、删除表，查看表描述、命名空间和Region信息。示例：通过Connection.getAdmin()获取Admin，构造TableDescriptor后调用createTable；删除时依次disableTable和deleteTable，并在使用后关闭Admin。描述一下在HBase中使用过滤器的好处，并至少给出两个实际应用场景的例子。参考答案：过滤器在RegionServer端筛选数据，可减少网络传输和客户端处理量，并限制返回列、版本和值。应用示例：用PrefixFilter查询某类RowKey；用SingleColumnValueFilter筛选状态为“有效”的记录；还可用PageFilter分页或时间过滤器限定版本。当我们说“使用MapReduce处理存储在HBase中的数据”时，具体指的是什么？请详细描述其工作流程。参考答案：作业通常用TableInputFormat从一个或多个HBase表按Scan切分输入；各Mapper在Region本地读取Result并完成转换、过滤或聚合；可选Reducer汇总；结果通过TableOutputFormat写回HBase，或写入HDFS。框架负责按Region生成InputSplit和调度任务。使用HBase客户端API实现管理功能时，除了创建表和删除表之外，还可以进行哪些类型的管理操作？参考答案：还可启用/禁用表、修改列族、查看表和命名空间、截断表、预分区、移动/合并/切分Region、执行快照、查看集群状态、平衡负载及管理权限等。为什么要在HBase中引入Phoenix？它解决了哪些问题，并带来了哪些新特性？参考答案：Phoenix为HBase提供SQL层、JDBC驱动、元数据和查询优化，使关系型开发者能用标准SQL访问宽表，并支持二级索引、视图、聚合、分页和部分事务能力，降低了直接编写JavaAPI的复杂度。比较一下直接使用HBaseJavaAPI与通过Phoenix执行SQL查询之间的优缺点。根据经验，你会在什么情况下选择哪种方式？参考答案：JavaAPI控制粒度高、性能可预测，适合固定RowKey访问、高吞吐写入和需要自定义过滤器的核心路径，但代码量大；Phoenix易开发、支持SQL/JDBC和聚合，适合报表、交互查询和关系型工具接入，但会增加SQL层开销并受表设计约束。按访问模式和团队能力选择。项目五HBase数据库高级应用一、选择题答案1.C2.B3.C4.D5.C6.B二、填空题答案lazyhbase.regionserver.handler.countSnapshot（快照）TTLAESRowKey（行键）三、问答题参考答案简述HBase中MemStore刷新（Flush）的三种触发条件，并说明其对系统性能的影响。参考答案：常见触发包括：单个MemStore达到hbase.hregion.memstore.flush.size；RegionServer全局MemStore占比超过阈值并选择部分Region刷写；达到周期性刷写时间或WAL滚动/内存压力等系统条件。Flush可释放内存并保障持久化，但会产生HFile、增加磁盘I/O和后续Compaction压力；过频会形成大量小文件，过慢则可能阻塞写入。描述使用Prometheus与Grafana监控HBase集群的关键步骤及可观察的核心指标。参考答案：在各节点启用HBase/JMX指标导出器，配置Prometheus抓取targets和告警规则，再在Grafana接入Prometheus并导入/制作仪表盘。核心指标包括RegionServer存活数、Region分布、读写QPS/延迟、请求队列、MemStore、BlockCache命中率、Flush/Compaction、WAL、GC、堆内存、磁盘I/O和失败率。为什么在高吞吐写入场景下推荐使用BulkLoad而非普通Put操作？请从架构层面说明原因。参考答案：BulkLoad先由离线任务按Region边界生成有序HFile，再将文件直接挂载到Store，绕过客户端RPC、WAL、MemStore和Flush路径，减少写放大、网络往返和RegionServer压力，因此更适合一次性海量导入。协处理器（Coprocessor）分为Observer和Endpoint两类，请分别说明其作用与典型应用场景。参考答案：Observer是事件钩子，可在put、get、scan、flush、compaction等操作前后执行逻辑，适合审计、权限校验和二级索引维护。Endpoint在RegionServer端暴露自定义RPC，可把聚合或计算下推到各Region，适合计数、统计和自定义服务。HBase启用Kerberos认证后，客户端访问集群需要哪些前提条件？简要列出配置要点。参考答案：集群需配置KDC、HBase/HDFS/ZooKeeper服务主体和keytab，并开启hbase.security.authentication=kerberos；客户端安装相同Realm配置，具备有效principal/keytab，先kinit获取票据，配置core-site.xml、hbase-site.xml和ZooKeeper安全参数，保证DNS、主机名和时间同步正确，同时按ACL授权。在制订HBase灾难恢复方案时，应结合哪些技术手段实现数据的可靠保护？请说明全量与增量备份的配合策略。参考答案：组合使用Snapshot/HFile全量备份、基于WAL的增量备份、HDFS副本、跨集群复制及异地对象存储。定期做全量快照并异地保存，两次全量之间连续归档WAL或执行增量备份；恢复时先还原最近全量，再按顺序回放增量，并通过校验、RPO/RTO目标和定期演练保证可用。项目六HBase数据库技术综合应用实战一、选择题答案1.C2.B3.B4.B5.B6.B二、填空题答案FlumePhoenix索引（如Phoenix二级索引）高并发读写与水平扩展Spark、Flink一致性；完整性三、问答题参考答案请解释一下为什么HBase适合与如Spark、Flink这样的大数据框架集成，并列举几个实际应用场景。参考答案：HBase提供分布式随机读写和可扩展存储，Spark/Flink提供批处理、流处理和复杂计算，两者可通过连接器共享数据。场景包括实时日志分析、用户行为画像、流式风控、物联网时序监控、推荐特征存取，以及离线模型结果回写。在基于HBase的日志统计分析系统中，如何有效地管理和分析海量的日志数据？请详细描述你的方案。参考答案：用Flume/Kafka采集日志，按业务、时间和散列前缀设计RowKey，按访问模式划分列族并设置TTL、压缩和预分区；流数据由Flink/SparkStreaming清洗聚合后写入HBase，离线任务做历史统计，Phoenix或预聚合表提供