第06讲-HBase的安装与基本应用-新

第06章HBase的安装与基本应用HBase的安装与配置HBase基本应用ZooKeeper的安装与应用1第06章HBase的安装与基本应用HBase的安装配置

HBase的基本应用

ZooKeeper安装与应用《大数据技术》2《大数据技术》31.HBase的安装配置从“”下载最新版本的HBase，也可以直接在本书第6章软件资源中找到HBase安装包文件hbase-2.4.11-bin.tar.gz

将该文件复制到Master的“/home/swxy/”目录下，进入/home/swxy/，执行解压缩命令：1.1解压缩并安装HBase[root@masterswxy]#tar-zxvfhbase-2.4.11-bin.tar.gz《大数据技术》41.HBase的安装配置

进入安装目录，查看一下解压缩情况：《大数据技术》51.2系统配置1.HBase的安装配置

进入HBase安装目录下的“conf”子目录，执行“vihbase-env.sh”命令开始编辑hbase-env.sh文件。在该文件的靠前部分，可以看到下面的代码：#Thejavaimplementationtouse.Java1.8+required.#exportJAVA_HOME=/usr/java/jdk1.8.0/在上述代码中，修改第二行，去掉“#”号，即将“#exportJAVA_HOME=/usr/java/jdk1.8.0/”修改为“exportJAVA_HOME=/usr/java/jdk1.8.0_231-amd64/””修改环境变量hbase-env.sh《大数据技术》61.2系统配置1.HBase的安装配置

同时，在该文件中找出HBASE_MANAGES_ZK的配置，设置成true表示使用HBase自带的Zookeeper#TellHBasewhetheritshouldmanageit'sowninstanceofZooKeeperornot.#exportHBASE_MANAGES_ZK=true在上述代码中，修改第二行，去掉“#”号，即将“#exportHBASE_MANAGES_ZK=true”修改为“exportHBASE_MANAGES_ZK=true””修改环境变量hbase-env.sh1.HBase的安装配置《大数据技术》修改配置文件hbase-site.xml7接着修改配置文件hbase-site.xml。安装HBase后，系统自动生成了hbase-site.xml文件，执行“vihbase-site.xml”命令可编辑该文件。将下面的代码放在hbase-site.xml文件的<configuration></configuration>之间。<property><name>hbase.rootdir</name><value>hdfs://master:8020/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.master.port</name><value>16000</value></property><property><name>hbase.zookeeper.quorum</name><value>master:2181,slave0:2181,slave1:2181</value></property>1.HBase的安装配置《大数据技术》配置regionservers8regionservers文件类似Hadoop的slaves文件，其中保存了RigionServer的列表。在启动HBase时，系统将根据该文件建立HBase集群。regionservers文件在HBase的安装目录下的“conf”子目录下，执行“viregionservers”命令可编辑该文件：1.HBase的安装配置《大数据技术》配置regionservers9在打开的文件中，将已经存在的localhost删除，然后添加如下代码：slave0slave1上述节点列表应根据集群实际进行配置。1.HBase的安装配置《大数据技术》配置Linux环境变量文件10修改profile文件，执行“vi/etc/profile”命令可编辑该文件，如图所示：1.HBase的安装配置《大数据技术》将下面的代码添加到/etc/profile文件的尾部。#HBaseexportHBASE_HOME=/home/swxy/hbase-2.4.11exportPATH=$PATH:$HBASE_HOME/bin编辑完毕后保存退出，然后执行生效命令“source/etc/profile”即可：11配置Linux环境变量文件1.HBase的安装配置《大数据技术》12将HBase安装目录复制到Slave本教程有两个slave(slave0和slave1)，因此复制操作需要执行两次，复制到slave0的命令是“scp-r/home/swxy/hbase-2.4.11slave0:/home/swxy/”，如图所示。按下Enter键后开始复制，终端滚动显示复制信息，直到复制结束。至此，HBase安装与配置就已完成了。2.HBase基本应用《大数据技术》132.1启动与关闭启动进入Master上的HBase安装目录，执行“bin/start-hbase.sh”命令可启动HBase，如图所示：这里要注意的是，如果没有启动Hadoop，请先启动Hadoop集群，再启动HBase。2.HBase的安装配置《大数据技术》执行命令后如果看到如图所示的信息，表明HBase已经成功启动。14可以看到，系统首先启动HBase自带的ZooKeeper，然后启动HBase的HMaster，接着分别启动Slave上的RegionServer。2.HBase的安装配置《大数据技术》15可以通过“jps”命令查看Master的进程，如图所示，其中HMaster是HBase的主控节点进程，HQuorumPeer则是HBase的ZooKeeper进程(即HBase内置的ZooKeeper)：2.HBase的安装配置《大数据技术》16在Slave上用“jps”命令查看是否存在HRegionServer进程：2.HBase的安装配置《大数据技术》172.1启动与关闭关闭进入master上的HBase安装目录，执行“bin/stop-hbase.sh”命令可关闭HBase，首次关闭时间较长，请耐心等待2.HBase的基本应用《大数据技术》18执行命令后如果看到如图所示的信息，表明HBase已经成功关闭。2.HBase的基本应用《大数据技术》192.2监控页面通过Web方式查看HBase系统的运行状态。打开Firefox浏览器，在地址栏输入“http://master:16010”(16010是默认的端口)。2.HBase的基本应用《大数据技术》202.2监控页面Home主界面主要有RegionServers、Tables和Tasks等2.HBase的基本应用《大数据技术》212.2监控页面Home主界面主要有RegionServers、Tables和Tasks等2.HBase的基本应用《大数据技术》222.3shell的基本应用一种使用HBase的基本方法，高级应用则通过程序进行。执行“bin/hbaseshell”命令进入HBaseShell：2.HBase的基本应用《大数据技术》创建表创建表操作，使用create命令，其格式为：create'表名','列族1','列族2',...上述命令的输入情况如图232.HBase的基本应用《大数据技术》查看列表

查看列表的命令使用list，其执行结果如下所示。242.HBase的基本应用《大数据技术》插入数据25插入数据操作使用put命令，其具体格式为：put‘表名’,’行键’,’列族:列族限定名’,’值’,表示向表、行、列指定的单元格添加数据2.HBase的基本应用《大数据技术》扫描查询数据26扫描查询数据的命令使用scan命令，其具体格式为:scan’表名’，执行结果如下所示。在上面的命令中，swxy是行键（即RowKey）；data是列簇名；year是属性名，2002就是属性的值大家不妨对照HBase存储模型研究一下，可以看到这里显示的信息与模型是一致的。我们看到，HBase与传统数据库有了很大的区别。2.HBase的基本应用《大数据技术》查看表结构272.HBase的基本应用《大数据技术》删除表282.HBase的基本应用《大数据技术》29退出HBaseShell退出HBaseShell命令是：exit2.HBase的基本应用《大数据技术》启动问题有时用户能够启动HBase，也可以进入HBaseShell，但在执行命令时出现异常。常见的出错信息是“Serverisnotrunningyet”，其原因是Hadoop的HDFS集群处于安全模式，解决办法就是执行如下的命令：hadoopdfsadmin-safemodeleave重新启动HBase(当然要先关闭)就可以了。303.ZooKeeper的安装与应用《大数据技术》313.1ZooKeeper简介ZooKeeper是HadoopEcosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务称为Chubby。ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务，是Google的Chubby的一个开源实现，是Hadoop和HBase的重要组件，为分布式应用提供一致性服务，主要功能包括配置维护、域名服务、分布式同步和组服务等。3.ZooKeeper的安装与应用《大数据技术》32ZooKeeper使用Watcher监测事件信息，当客户端接收到事件信息，如连接超时、节点数据改变、子节点改变，可以调用相应的行为来处理数据。ZooKeeper的Wiki界面展示了如何使用ZooKeeper来处理事件通知、队列、优先队列、锁、共享锁、可撤销的共享锁和两阶段提交等。3.ZooKeeper的安装与应用《大数据技术》可以从“/dyn/closer.cgi/zookeeper/”下载ZooKeeper安装包，也可以在本课程资源站点中找到pache-zookeeper-3.6.3-bin.tar.gz文件。请将该文件复制到Master的“/home/swxy/”目录下，进入该目录后执行解压缩命令：tar-zxvfapache-zookeeper-3.6.3-bin.tar.gz按下Enter键后，系统开始解压缩并自动创建ZooKeeper的安装目录。333.2安装与基本应用解压缩安装包3.ZooKeeper的安装与应用《大数据技术》34安装目录下的ZooKeeper文件和文件夹：3.ZooKeeper的安装与应用《大数据技术》ZooKeeper的服务器集群属性配置文件是zoo.cfg，该文件在安装目录的“conf”子目录下。系统为用户准备了一个模板文件zoo_sample.cfg，我们可以将其复制并改名，得到zoo.cfg文件，然后进行修改。首先进入“conf”子目录，然后执行命令“cp

zoo_sample.cfgzoo.cfg”，如图所示：35服务器集群属性3.ZooKeeper的安装与应用《大数据技术》用vi编辑器修改zoo.cfg文件，请将如下代码添加到zoo.cfg文件的尾部：server.1=master:2888:3888server.2=slave0:2888:3888server.3=slave1:2888:3888上述代码是按照“服务器编号、服务器地址、LF通信端口和选举端口”的顺序排列的，其中，server表示ZooKeeper的服务器集群，我们这里配置了3台服务器，server后面的数字代表服务器的ID，等号后面紧跟的是服务器地址，这里使用了主机名；2888是LF(即Leader节点与Follower节点之间的)通信端口，3888是选举端口。363.ZooKeeper的安装与应用《大数据技术》

创建节点标识文件

前面通过zoo.cfg文件为ZooKeeper服务器集群中的每台服务器赋予了一个ID，master是1，slave0是2，slave1是3。但是，每台服务器在本地也需要一个myid文件，里面仅包含一行代码，就是其ID。myid文件是节点标识文件，默认放置在“/tmp/zookeeper”目录下(参见zoo.cfg文件)，为了方便起见，我们一般放在Zookeeper的data目录中373.ZooKeeper的安装与应用《大数据技术》执行“vimyid”命令来创建myid文件：38在新建的myid文件中输入对应的ID，保存退出即可：注意，其他Slave上也要进行同样的设置，只是ID不同而已3.ZooKeeper的安装与应用《大数据技术》复制ZooKeeper安装文件用户需要根据自己Linux集群的具体情况，将上面安装好的ZooKeeper文件复制到Slave，这里需要复制两次，分别是Slave0和Slave1，其中，复制到Slave0的命令是“scp-rzookeeper-3.6.3slave0:/home/swxy/”，如图所示：39至此，我们就完成了ZooKeeper的安装。3.ZooKeeper的安装与应用《大数据技术》40ZooKeeper集群的启动要启动ZooKeeper，需要分别登录到Master和Slave进行启动操作。例如，要启动Master的ZooKeeper服务器，首先进入ZooKeeper安装目录，然后执行启动命令请特别注意zkServer.sh中的大写字母，如果误写成小写的s，系统会提示无该文件或目录(nosuchfileordirectory)。3.ZooKeeper的安装与应用《大数据技术》按下Enter键后，如启动正常，将看到如图所示的信息：413.ZooKeeper的安装与应用《大数据技术》42还需要启动其他节点上的ZooKeeper服务器，启动命令是一样的，要切换到这些节点的终端上。必须至少启动两台服务器，集群才会开始选举Leader节点。这时，就可以查看ZooKeeper服务器集群的状态了，例如在Master上查看ZooKeeper服务器集群的状态的命令为：bin/zkServer.shstatus3.ZooKeeper的安装与应用《大数据技术》系统给出的信息表明，该节点(Master)是一个Follower节点。根据ZooKeeper的工作原理，集群中应当有一个“leader”，不妨查看一下其他节点的状态，我们这里看到Slave0是Leader节点，结果如图所示:433.ZooKeeper的安装与应用《大数据技术》ZooKeeper客户端

ZooKeeper提供了一个客户端供用户进行交互式操作，进入客户端的命令是：

bin/zkCli.sh-servermaster:2181

注意上述命令中的大小写443.ZooKeeper的安装与应用《大数据技术》可以尝试执行几个简单的ZooKeeper命令，例如：create/zk“MyNode”该命令用于创建一个Znode节点。注意，上述命令中，“create”与“/zk”之间有一个空格，“/zk”与“MyNode”之间也有一个空格。ls/zk查看创建的ZNode节点。help帮助命令。quit退出ZooKeeper客户端。453.ZooKeeper的安装与应用《大数据技术》3.3基于独立安装的ZooKeeper运行HBase46如果在使用HBase自带ZooKeeper时出现异常，导致HBase不能正常工作，例如，在HBaseShell中执行命令失败时，系统给出的提示是“RegionServerisnoton