《分布式数据库技术与应用》 课件 项目二：安装和部署HBase数据库

主讲人：XXX安装和部署HBase数据库分布式数据库技术与应用01项目背景与需求03环境规划与设计环境搭建实战04核心知识准备0205集群部署与验证06运维管理与拓展项目背景与需求5万条日处理量实时数据不足高并发写入传统瓶颈延迟高海量检索检索瓶颈智慧港口的实时数据挑战HBase集群解决方案2万条/秒高并发写入三服务器主从架构，每秒处理传感器数据10秒内高可用容灾节点故障时，备用主节点+HDFS副本无缝切换60%弹性扩展虚拟机复制增节点，数据自动均衡，运维成本降低本课程完整覆盖环境搭建到集群部署全流程，为物流、交通等实时大数据场景提供可靠技术支撑核心知识准备分布式系统的核心特征将数据和计算任务分散到多个独立计算机上，通过网络通信和协作，共同对外提供服务。对用户而言，就像一台计算机在服务独立性独立处理器、内存和存储资源，物理独立运行网络通信节点间传递数据和指令，需容错机制应对延迟与丢包协同工作节点协作处理高并发请求，确保数据逻辑一致透明性用户无须关心执行节点，系统看起来像整体容错能力冗余部署、负载均衡、故障恢复应对节点故障一致性与CAP理论强一致性所有节点同一时间看到相同数据弱一致性允许数据在一段时间内存在不一致最终一致性数据经过一段时间后达到一致CAP理论C一致性所有节点同一时间看到相同数据A可用性系统一直可用，每个请求都能获得响应P分区容错性遇到网络分区故障时仍能继续提供服务一致性与CAP理论强一致性所有节点同一时间看到相同数据弱一致性允许数据在一段时间内存在不一致最终一致性数据经过一段时间后达到一致实际取舍关系型数据库CP，优先一致性与分区容错，如MySQL、PostgreSQL分布式缓存AP，优先可用性与分区容错，如Redis、CassandraHBase灵活权衡，一致性与可用性按需调整HBase四种部署模式对比本地模式伪分布模式HMaster与HRegionServer同节点运行，配置简单全分布式模式是生产环境的唯一选择适用场景开发测试，不处理大规模数据单台机器模拟多节点集群行为适用场景学习模拟，资源有限，仍不适合生产HBase四种部署模式对比全分布式模式高可用模式多机器各运行守护程序，构成真正分布式系统全分布式模式是生产环境的唯一选择全分布式基础上增加备用主节点与自动故障转移生产增强ZooKeeper实现快速故障恢复生产核心高可靠性，分布式存储与复制机制保障数据容错高性能，水平扩展，增加节点即可提升吞吐量实时读写，大量数据的低延迟读写操作HBase四种部署模式对比全分布式模式高可用模式多机器各运行守护程序，构成真正分布式系统全分布式模式是生产环境的唯一选择全分布式基础上增加备用主节点与自动故障转移生产增强ZooKeeper实现快速故障恢复生产核心高可靠性，分布式存储与复制机制保障数据容错高性能，水平扩展，增加节点即可提升吞吐量实时读写，大量数据的低延迟读写操作学习环境可用虚拟机或Docker容器模拟，达到与生产环境一致的效果.logsWAL预写日志，崩溃恢复.oldlogs.archive.data.meta.corrupt旧WAL文件，定期清理长期存档旧日志表→Region→列族→HFile元数据及.META.表信息损坏HFile，待修复删除HBase文件系统与存储结构阿里云自研的盘古分布式文件系统支持海量数据高效存储，是中国在全球信息技术舞台的重要实力标志本地模式仅用于测试，数据存储在本地文件系统HDFS·生产标配Region存64MB或128MB数据块，支持Gzip/LZO/Snappy压缩其他文件系统理论上支持，实际应用极少环境规划与设计硬件要求x86/x64架构，8核或更多为佳2核每节点大数据集建议16GB+；HBase内存<80%节点总内存8GB每节点推荐SSD固态硬盘提升读写性能100GB每节点1000Mbps高速网络，保障分布式节点通信稳定部署HBase的软硬件门槛软件要求推荐Linux（CentOS7/Ubuntu18.04+），64位版本操作系统JDKJava8或更高版本，须与HBase版本适配Java环境预先配置HDFS和YARNHadoop集群配置与工具编辑hbase-site.xml及hbase-env.sh；建议部署Zabbix/Nagios监控，配置防火墙主从架构模拟架构组件主节点从节点HDFSNameNodeDataNodeYARNResourceManagerNodeManagerHBase可部署于Hadoop集群任意节点，需保证网络环境畅通虚拟机名称主机IP主机名称部署角色centos7-101hp-masterHadoop：NameNode、DataNode；HBase：Mastercentos7-202hp-slave01Hadoop：DataNode、SecondaryNameNode；HBase：RegionServercentos7-303hp-slave02Hadoop：DataNode；HBase：RegionServer三节点集群网络规划HBaseMaster与ZooKeeper部署于独立服务器，RegionServer与DataNode同机部署以提升数据局部性关键规划原则HBase需保证网络环境畅通软件选型与版本确认版本兼容性是集群稳定性的关键保障。核心选型要点完全免费、操作简单，适合新手入门VirtualBox6.1.46企业级Linux，成熟稳定，兼容性好CentOS7.9.2009stablerelease稳定版本，优先保障生产环境可靠性HBase2.5.10推荐Linux环境部署，避免Windows额外配置成本Hadoop3.3.6核心选型要点依赖软件版本用途说明Windows专业版10或11宿主机操作系统VirtualBox6.1.46虚拟机软件CentOS7.9.2009Linux虚拟操作系统JDK1.8Java软件开发包Hadoop3.3.6分布式计算框架HBase2.5.10分布式列存储数据库ZooKeeper3.9.1分布式协调服务环境搭建实战安装JDK开发环境Hadoop3最低需要JDK8，每个节点均需安装步骤一下载JDK进入

/opt

目录，从华为云镜像源下载安装包cd/optwget--no-check-certificate/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz步骤二解压安装包tar-zxvfjdk-8u151-linux-x64.tar.gz步骤三配置环境变量编辑

/etc/profile

文件，添加

JAVA_HOME

路径注意：若vim未安装，先执行

yuminstallvim步骤四验证安装执行

source/etc/profile

使配置生效运行

java-version

确认版本号javaversion"1.8.0_151"四种网络模式模式外网外部访问互访场景NAT✓✗✗单机上网桥接✓✓✓等同物理机内部网络✗✗✓封闭内网测试Host-Only✗✗✓宿主机通信虚拟机双网卡网络配置配置步骤修改ifcfg-enp0s8配置文件设置BOOTPROTO=static静态IP配置IPADDR=01配置NETMASK=重启网络服务并验证连通性NAT网卡（enp0s3）连接互联网，下载软件Host-Only网卡（enp0s8）虚拟机间互访通信复制虚拟机与网络调整复制虚拟机01命名新虚拟机与设定保存路径右键hp-master→选择"复制“命名如centos7-202MAC地址设定为所有网卡重新生成MAC地址03副本类型选择"完全复制"生成独立虚拟硬盘，确保节点隔离04生成独立虚拟硬盘副本完成，可启动新节点修改IP地址01执行cd/etc/sysconfig/network-scripts进入网络配置目录02修改ifcfg-enp0s8中IPADDRhp-slave1→02，hp-slave2→0303重启网络，ifconfig验证IP生效确保新IP配置正确应用hp-master(centos7-1)hp-slave1(centos7-2)hp-slave2(centos7-3)复制虚拟机与网络调整复制虚拟机01命名新虚拟机与设定保存路径右键hp-master→选择"复制“命名如centos7-202MAC地址设定为所有网卡重新生成MAC地址03副本类型选择"完全复制"生成独立虚拟硬盘，确保节点隔离04生成独立虚拟硬盘副本完成，可启动新节点修改IP地址01执行cd/etc/sysconfig/network-scripts进入网络配置目录02修改ifcfg-enp0s8中IPADDRhp-slave1→02，hp-slave2→0303重启网络，ifconfig验证IP生效确保新IP配置正确应用hp-master(centos7-1)hp-slave1(centos7-2)hp-slave2(centos7-3)完全复制+重新生成MAC地址，是快速扩展集群节点的关键操作主机名互通与时间一致，是分布式集群协作的生命线防火墙阻断是节点通信失败的首要原因，务必双向关闭主机名映射与时间同步配置

hosts映射三台机器分别执行hostnamectlset-hostnamehp-master/hp-slave1/hp-slave2配置

hosts映射编辑/etc/hosts，三台机器追加相同记录01hp-master/102hp-slave1/103hp-slave2时间同步与防火墙NTP:yuminstall→chkconfigntpdon→servicentpdstart关闭防火墙:systemctlstop/disablefirewalld连通性验证各节点互相ping主机名，确保三台均可互访排查要点:A能访B但B不能访A→优先查防火墙集群自动化管理的前提——SSH免密让数千台机器的守护进程启停无需人工干预必要性集群管理基础NameNode通过SSH启停各节点守护进程，数千台机器无法手动输入密码三步配置01生成密钥对在hp-master执行ssh-keygen-trsa ，默认设置，密钥对存放/root/.ssh/02分发公钥使用ssh-copy-id分发到三台机器，共需执行3次（含本机01、hp-slave1、hp-slave2）03验证登录在hp-master执行 sshhp-slave1 与 sshhp-slave2 ，确认无需密码登录配置SSH免密登录注意：myid文件内容不要有空行和空格，Mode显示

follower

或

leader

即部署成功"ZooKeeper是HBase分布式协调的神经中枢，保障集群状态一致性"→→01下载解压›Apache归档下载

ZooKeeper3.9.1›解压后重命名为ZooKeeper02创建数据目录›mkdirdata

创建目录›创建

myid

写入服务器编号!禁止空行和空格03配置zoo.cfg›复制

zoo_sample.cfg

为

zoo.cfg›dataDir=/opt/ZooKeeper/data›添加三行server.n配置→04配置环境变量›编辑

/etc/profile›添加

ZOOKEEPER_HOME

和PATH05分发与验证›分发到从节点›zkServer.shstart›zkServer.shstatus

检查ModeZooKeeper集群部署集群部署与验证下载与配置Hadoop基础环境Hadoop基础环境配置步骤01版本选择与下载推荐Hadoop3.3.6（次新版本更稳定），从清华镜像站加速下载02下载与解压在hp-master的/opt目录使用wget下载hadoop-3.3.6.tar.gz并解压03创建数据目录解压目录下创建hdfs文件夹，下设name/tmp/data三个子目录04配置Shell环境编辑hadoop-env.sh和yarn-env.sh，添加JAVA_HOME=/opt/jdk1.8.0_151配置完成后，通过scp-r将hadoop目录分发到hp-slave1和hp-slave2core-site.xml集群全局参数fs.defaultFS：NameNode通信地址

hdfs://hp-master:9000hadoop.tmp.dir：临时文件存储路径hdfs-site.xmlHDFS存储参数dfs.replication：副本数

3.dir：NameNode数据目录dfs.datanode.data.dir：DataNode数据目录node.secondary.http-address：hp-slave1:9001mapred-site.xmlMapReduce框架指定为

YARNyarn-site.xmlYARN资源管理ResourceManager地址：hp-master开启MapReduceShuffle服务workers集群节点清单删除

localhost添加三行：hp-master、hp-slave1、hp-slave2Hadoop核心配置文件修改格式化与启动流程Hadoop启动与集群验证格式化与启动流程各节点进程验证（jps）节点应出现进程hp-masterNameNode、DataNode、ResourceManager、NodeManagerhp-slave1DataNode、SecondaryNameNode、NodeManagerhp-slave2DataNode、NodeManager停止全部服务：stop-all.shNameNode格式化，看到"hasbeensuccessfullyformatted"即为成功在hp-master执行

hadoopnamenode-format

并删除tmp、data、name目录注意：频繁格式化会导致启动失败，需先

stop-all.sh启动HDFS→启动NameNode、DataNode、SecondaryNameNodestart-dfs.sh启动YARNstart-yarn.sh→启动ResourceManager和NodeManager基础准备1下载与解压从清华大学镜像站下载HBase2.4.18，上传至虚拟机并解压到

/opt

目录2配置环境变量编辑

/etc/profile，添加

HBASE_HOME=/opt/hbase-2.4.18

及PATH，执行

source/etc/profile

生效核心配置·hbase-env.shJAVA_HOME/opt/jdk1.8.0_151/HBASE_MANAGES_ZKfalse使用独立ZooKeeper集群核心配置·hbase-site.xmlhbase.cluster.distributedtrue指定以

分布式集群

方式运行hbase.rootdirhdfs://hp-master:9000/hbase指定

HDFS存储位置hbase.zookeeper.quorumhp-master:2181,hp-slave1:2181,hp-slave2:2181指定

ZooKeeper地址regionserversregionservers配置hp-masterhp-slave1hp-slave2可选：backup-masters添加

hp-slave1

作为

备用MasterHBase集群安装与配置HBase集群启动与全面验证01ZooKeeper集群—三节点执行zkServer.shstart02Hadoop集群—执行start-all.sh启动HDFS和YARN03HBase集群运维管理与拓展表操作命令list列出所有表create'table1','cf1','cf2'创建表并指定列族disable→drop'table1'删除表，先禁用再删除describe'users'查看表结构数据操作命令put'table1','row1','cf1:col1','value1'插入数据get'table1','row1'查询单行数据scan'table1'扫描全表数据delete'table1','row1','cf1:col1'删除数据集群状态命令status'simple'/'detailed'查看集群状态，支持simple和detailed两种模式whoami查看当前用户processlist查看进程列表HBaseShell基本操作命令运维操作滚动重启graceful_stop.sh--restart

逐个重启RegionServer，重启前备份配置，重启后验证Regi