Hbase二级索引设计方案ES4

1、 TOC o 1-5 h z HYPERLINK l bookmark0 o Current Document 方案介绍1 HYPERLINK l bookmark4 o Current Document 概述1 HYPERLINK l bookmark6 o Current Document Hbase1 HYPERLINK l bookmark8 o Current Document Elasticsearch1 HYPERLINK l bookmark10 o Current Document Hbase Observer2 HYPERLINK l bookmark12 o Curren

2、t Document 方案目标2 HYPERLINK l bookmark14 o Current Document 方案流程3 HYPERLINK l bookmark61 o Current Document ELASTICSEARCH 安装部署4 HYPERLINK l bookmark16 o Current Document 安装准备4服务器准备4 HYPERLINK l bookmark20 o Current Document 新建用户4调整系统参数4 HYPERLINK l bookmark36 o Current Document JDK 安装5 HYPERLINK l bo

3、okmark38 o Current Document ES安装及配置6 HYPERLINK l bookmark40 o Current Document 解压缩6配置 6启动及验证7 HYPERLINK l bookmark44 o Current Document 集群验证8 HYPERLINK l bookmark50 o Current Document Head插件安装9 HYPERLINK l bookmark52 o Current Document 简介9 HYPERLINK l bookmark56 o Current Document 安装 9 HYPERLINK l b

4、ookmark65 o Current Document Marvel插件安装10 HYPERLINK l bookmark67 o Current Document 简介10 HYPERLINK l bookmark69 o Current Document 安装（每个节点）10 HYPERLINK l bookmark71 o Current Document Kibana 安装10 HYPERLINK l bookmark73 o Current Document 简介10 HYPERLINK l bookmark75 o Current Document 安装11 HYPERLINK

5、l bookmark79 o Current Document 验证12 HYPERLINK l bookmark81 o Current Document IK分词器安装（每个节点安装）12验证分词效果13 HYPERLINK l bookmark86 o Current Document 数据同步程序配置14 HYPERLINK l bookmark88 o Current Document 多数据源的数据同步14 HYPERLINK l bookmark90 o Current Document 创建索弓I mapping14 HYPERLINK l bookmark94 o Curre

6、nt Document 编码实现16 HYPERLINK l bookmark96 o Current Document Observer 的部署16 HYPERLINK l bookmark98 o Current Document 测试17 HYPERLINK l bookmark100 o Current Document 常见问题汇总18II1方案介绍概述HbaseHbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的 大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop 的MapReduce程序模型中获益。除去Hadoop的优势，H

7、Base本身就是十分强大 的数据库，它能够融合key/value存储模式带来实时查询的能力，以及通过 MapReduce进行离线处理或者批处理的能力。总的来说，Hbase能够让你在大量 的数据中查询记录，也可以从中获得综合分析报告。然而，随着在HBase系统上应用的驱动，人们发现Global-Rowkey-Indexing 不再满足应用的需求。单一的通过Rowkey检索数据的方式，不再满足更多应用 的需求，由于hbase基于行健有序存储，在查询时使用Rowkey十分高效，然后 想要实现关系型数据库那样可以随意组合的多条件查询、查询总记录数、分页等 就比较麻烦了，所以需要我们自己来实现二级索引来

8、满足业务的复杂查询，及实 时检索。ElasticsearchElasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未 有的速度去处理大规模数据。它可以用于全文搜索，结构化搜索以及分析； Elasticsearch是一个建立在全文搜索引擎Apache Lucene基础上的搜索引擎，可 以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。Elasticsearch并不仅仅是Lucene这么简单，它不但包括了全文搜索功能，还 可以进行以下工作：分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。实时分析的分布式搜索引擎。可以扩展到上百台服务器，处理PB级别

9、的结构化或非结构化数据。第1页共18页Hbase ObserverHBase 0.92版本后推出了 Coprocessor -协处理器，一个工作在 Master/RegionServer中的框架，能运行用户的代码，从而灵活地完成分布式数据 处理的任务。Coprocessor包含两个组件，一个是EndPoint （类似关系型数据库的存储过 程），用以加快特定查询的响应，另一个就是Observer （类似关系型数据库的触 发器）。Observer也分为几个类型，其中RegionObserver提供了一组表数据操作 的钩子函数，覆盖了 Get、Put、Scan、Delete等操作（通常有pre和po

10、st两种情 况，表示在操作发生之前或发生之后），我们可以通过重载这些钩子函数，利用 RegionServer实现特定的数据处理需求。基于RegionObserver的钩子函数，我们可以覆盖Put及Delete方法来实现 Hbase和ES直接的数据同步。方案目标1、实现对HBase高性能的范围检索2、保证数据的低冗余3、保持数据的一致性第2页共18页1.3方案流程1、数据进入HBase时，利用Observer同步进入ES索引库；2、客户端根据查询条件，利用ES提供的Java API对ES发起查询请求;3、ES返回符合条件的RowKey；4、客户端再根据RowKey去HBase获取数据；5、最后H

11、Base返回结果集。第3页共18页2 ElasticSearch 安装部署安装准备服务器准备为搭建ElasticSearch集群，准备了三台服务器，主机IP分别为：Centos6.5Centos6.5Centos6.5新建用户ES不支持root用户启动，分别登录服务器新建es用户，并把以下安装包上 传到/home/es文件夹下：新建用户并设置密码，然后给用户文件夹所有权：useradd espasswd eschown es /home/es1、jdk-7u71-linux-x64.tar.gz2、elasticsearch-2.4.4.tar.gz3、kibana-4.6.4-linux-x

12、86_64.tar.gz4、elasticsearch-analysis-ik-1.10.4.zip调整系统参数内核参数调整vim /etc/sysctl.conf#增加下面的内容 fs.file-max = 65536第4页共18页vm.max map count = 262144#执行命令sysctl -p资源参数调整vim /etc/security/limits.conf#修改soft nofile 32768hard nofile 65536soft nproc 2048hard nproc 409调整线程数vim /etc/security/limits.d/90-nproc.co

13、nf找到如下内容：soft nproc 1024#修改为soft nproc 2048JDK安装登录es用户，进入/home/es文件夹，解压JDK安装包cd /home/estar -zxvf jdk-7u71-linux-x64.tar.gzvim /etc/profile#增加环境变量export JAVA_HOME=/opt/jdk1.7/jdk1.7.0_71export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/*.jarexport PATH=$JAVA_HOME/bin:$PATH注：ES2.x需要1.7JDK支持，官网下载1.7_71版本JDK。

14、第5页共18页ES安装及配置解压缩cd /home/estar -zxvf elasticsearch-2.4.4.tar.gz配置vim /home/es/elasticsearch-2.4.4/config/elasticsearch.ymlcluster, name：es-testnode, name ： node-network. hast:iS. 1. 1http, pjrt:pi slavery, z en. p ing. uni cast, hosts:%广，discovery. teh. mininiLin_inaster_njQdjes :注:集群名称，各个节点的值必须一致节

15、点名称，各个节点的值不能一致network.host本机集群名称，各个节点的值必须一致节点名称，各个节点的值不能一致network.host本机ip地址第6页共18页 HYPERLINK http:/http.port http.port提供http链接的端口号discovery.zen.ping.unicast.hosts设置master节点的初始列表，通过这些节点自动发现新加入集群的节点discovery.zen.minimum_master_nodes设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点，官方推荐设置成N/2 + 1，N是集群中master节点的数量。#

16、修改ES内存vim /home/es/elasticsearch-2.4.4/bin/elasticsearch# ES_HEAP_SIZE=8g注：调整内存大小最好不要超过总资源一半，也不要超过32G启动及验证cd /home/es/elasticsearch-2.4.4/bin./elasticsearch控制台启动./elasticsearch -d #后台启动看到如下信息则为启动成功：第7页共18页20L7-ra-Mri4：EL：611LQJI aoH-as-MTiEi；5 Ill 2(nT-03-修门MELE* 111 3oL7-ra-wri4；5i；5a ilij 3017-03-

17、09114:51:53.1L11 5OL7-Ca-T14:E1:53, 111 J 30L7-ra-ffiri4;5L;5i 1L1 ；2UL7-LG-ri4EL：E-3. 1L11 .2(i：7-0t2-DGTJ m EL： ES, 1L1 an；-W-国门aw 忑* 1L2 2UL?-LG-Ltir4:E.L:E.3. 1L2 20L7-ra-Mri4：Bl：5t3L4 iOL7-CG-Wri4;5L;5t 815 20L7-Ca-T14:EL:5 g 闻o. rb p. FlijgirsSerTi-cg q, gnj-. PhisinsSeri；6 a. e. p. Pluii risS

18、erTice o. 6. 20L7-ra-Mri4：EL：611LQJI aoH-as-MTiEi；5 Ill 2(nT-03-修门MELE* 111 3oL7-ra-wri4；5i；5a ilij 3017-03-09114:51:53.1L11 5OL7-Ca-T14:E1:53, 111 J 30L7-ra-ffiri4;5L;5i 1L1 ；2UL7-LG-ri4EL：E-3. 1L11 .2(i：7-0t2-DGTJ m EL： ES, 1L1 an；-W-国门aw 忑* 1L2 2UL?-LG-Ltir4:E.L:E.3. 1L2 20L7-ra-Mri4：Bl：5t3L4 iOL

19、7-CG-Wri4;5L;5t 815 20L7-Ca-T14:EL:5 g 闻o. rb p. FlijgirsSerTi-cg q, gnj-. PhisinsSeriJ0! . Lund.a ddross-G2 (12. 168. 1noda-1；H 口麻-L node-!jiode-L：nnde-1nciifeT；JlOCfe-L： :映梨T：tuotte-l1tninil or ishirig tu a noti-looict or JKia-lLnli-loial a处用各iio(i?-L后、取式 iicde-1) (rH?HEvMRTi?gwMFl 玳uQ (jrioda-1 u

20、bl i sh_addrc- (19Z 163.1. IDE-： 9230 , bajnd_a ddirassc192,163.naife_1 tnoda-U 、r 、 -=- - = fb ,20L7-Ca-KT14i5liEE, 106 】NFQ a. a. h. HttpScrvcrin5；AKl.l2017-03-MT14:5L 困 1&71HFO . E.n.而也：17-03 ：L- ： V- - .-i；-srta 匚 ludre:EerHd Q indices into lu5ter_Ftatj?.10:93002u17-LG-CiT14:EL:&4. 94y 1MF0 a. e

21、. b. BoDteTrapCtiKk anfarcing. bonts-trap chacks5on-ra-D0ri4；si；stobiQnro :im日圾日,口询即方就日G (192. Ib3. . lUE-1(L92. IhEl 1. lUB：93001, re-sscci： zen-discD-elKttd-as-raaater I Li nodes Joined)o oo oo -u o o o oo n- o -U 而肺麻而涉丽砰讲即而证昕昕丽 T- TA TJ T T- TJ TJ Tx T J TJ1q乳水。nacfeleiosesi-Lmnuonla-ided nodule-

22、1anE-erpresslonloaded m加Lel4ns-srcclaaded zoctuLelifig-nusTscJiellaidad nodule-,lang-pimlE-ssJLaaded nadwlejrcolitorlla-ided mduLere-indexlaidad luduLc-,+rari sport -nnttyESjlaaded jBcfeL?工心nspariF虱1闻I laaded iwcttiLe Laesg-mit.rii-st5tsJ在浏览器中输入：http:05:9200/返回如下结果：najne : lie de-1 ?clu已七日r_n3in巳 :

23、es-test- ?-cluste/imid-, ： 1血七工4匚1国二2处DRJpALEm二version : tnumber : 5. 0. 2build.hash : f6b4951build.date : 2016-11-24T10:07:18.101Zbui1d_ snap shot : false,luc ene _ve r e i on : 6.2.1匕tagline : You Know, for Search1集群验证所有节点启动之后，浏览器访问：05:9200/cluster/health?pretty二true如果返回以下结果说明集群状态正常第8页共18页 C t? 白田

24、 05:9200/ cluster/health?pretty=true,v c lust e r_najn已:e s-t e stA，? status : green ?: false,vni.uTib er_ of_nudesv : 3?ni.unb er_ of_ data_nu de& : 3?“active_prim：町shards : U?act- i vc_ shar da : 0?u r e 1 o c at. ing_ shar dsv : U?v ini11ali z ing_ shar ds : 07u mas s i gne d_ shar dsv : U?vdelay

25、ed_i.uiassigned_shards” : 0?,vni.uTib er_uf_p ending_t.asks ” : 0?vni.uTiber_uf_in_f 1 ight._fetch : 0?“task_iL：ax_waiting_in_queue_niillisA， : 0?“active_shards_pereent._as_nuiTLber” : 100. UHead插件安装简介elasticsearch-head是一个elasticsearch的集群管理工具，通过head可以查看 集群几乎所有信息，还能进行简单的搜索查询，观察自动恢复的情况等等。安装cd /home/es

26、/elasticsearch-2.4.4/bin./plugin install mobz/elasticsearch-head重启 elasticsearch，然后在浏览器输入：http:/ 05:9200/_plugin/head/可以查看显示效果。如下图第9页共18页。力 192.11.1 04:92Q 0/ plu gir|/head/es-test 集群健康佰：green (0 of 0)Elasticsearch es-test 集群健康佰：green (0 of 0)赢1朝11I做招洌览其本品iHl亘含查涧+ I奥群整赏建群 摩 I Sort Indices . I View A

27、lias奥群整赏node-1node-2node-2node-3 Marvel插件安装简介Marvel插件：在簇中从每个节点汇集数据。这个插件必须每个节点都得安装。Marvel是Elasticsearch的管理和监控工具，在开发环境下免费使用。它包含 了一个叫做Sense的交互式控制台，使用户方便的通过浏览器直接与Elasticsearch 进行交互。安装（每个节点）cd /home/es/elasticsearch-2.4.4/bin./plugin install license./plugin install marvel-agentKibana 安装简介kibana插件提供了 Marv

28、el监控的UI界面。kibana是一个与elasticsearch 一起工作的开源的分析和可视化的平台；可以 查询、查看并与存储在elasticsearch索引的数据进行交互操作；能执行高级的数 据分析，并能以图表、表格和地图的形式查看数据；基于浏览器的接口使我们能第10页共18页够快速的创建和分享显示elasticsearch查询结果实时变化的仪表盘。安装cd /home/es/tar -zxvf kibana-4.6.4-linux-x86 64.tar.gz9200http:/192server. host#修改es9200http:/192server. host#修改es访问路径cd

29、 /home/es/kibana-4.6.4-linux-x8664/binvim /home/es/kibana-4.6.4-linux-x86 64/config/kibana.yml#修改server.host，否则远程无法访问安装Marvel插件./kibana plugin -install elasticsearch/marvel/latest安装sense插件./kibana plugin -install elastic/sense启动 kibana./kibana第11页共18页2.6.3验证浏览器访问：05:5601/,可以看到Kibana以及他的插件HbjriiJr3*I

30、”5 出 EI Wztuf3cI Qi Md浏览器访问：05:5601/,可以看到Kibana以及他的插件HbjriiJr3*I”5 出, 5-nl FAtCJ ITh iv；nn nrp /hnT= (/cpv? nr :feK. 口二口？ir.三卜,? D5sibl3p ,仃 :ct42017-03-09 16:21:06,E65INFO Lenvn427-255d ordinary cbjest 口匚in二日:与 LtrueL2017 C： 09 LjkCTlLlbTOLi工h h vLi t J-I-X 4. -/ciriri /hfih v- i 1/-KAi-i1 y/Hr. .：

31、ri. xml 2017-03-09 16:21:07,Ell INFO Lik-analyzEre_a5tLC=G；.TcJi-2. 4. 4pl.i5in=/ik/: jntif /IKAJiiiLyzGr. cz 三.send 2017-03-09 16:21:0Sn 1DDEINFO Eik-analyzericL2017 C二 09 13;21;CS, m LlbTO J Llk 一二f二江urd Lm Jreq. 11 j14二:7 1maans-groow.7 lllJF-；7；. IJHI 1 . iJdl.M H Uis. tip- tnfr.la-n 匚R-色、, spin

32、s?_nDdc-J_ lioip cizccd-I V 11 illIl uJLi /LjlIIib/ q1wr1 mfi f 11nm口.，口s“一ict Loading CLLCT-oirydic.Dil- L LucidiliJ I.LL5第12页共18页验证分词效果在head中输入analyze?analyzer=ik&pretty=true&text=helloworld,中华人民共和国Elasticsedrch %川骑 连接 各心就讲座俏；fl-7 炉 如 LL 二：，；：无江十|卜血史记甲 rMtV tokens;tokan: hallDwaridj, nstart_aFfsef

33、; 0*IHtpJ/12 168 1 104 920州_3fi3Jyze?8ri3l2er=i(&pre1Ly=1ruea.1eKi=h&lh POST /endjoffeet; 10r:?ltype: EP4GLl：5H position: 0)1tok时中华人民共炯. sUFt.Qff-Sief： 1， Mend_affger! 1 苞 type: MCN_WORDr poarbon: 1?rtoken: 士己忆口向靖；11, Hend_offeer； 15r typfl： CN_WORDr position: 21tokgnN *中华北的wIT: IL aend_affser: 13. type: CN_WORDr posrbon: J提交诱挛|出证JSON |常读塘果竹蟠7卜盅直盾矛卜显示挂项1)rranalyzerr:f-,rik,r; Itokenizer1 : ikir-?* 上-.-mappings Ir : T Irdocir !-t,r_source : enabled: t-ueh2properties :-21 -title! ,rtype: ,rstring-23 -324 Ircontent : 2Irtype : Irstringirj26Analyzer : ik,r匕I28 tcrEate-time ; 29Irt