Elasticsearch介绍与应用

1、Elasticsearch 介绍与应用mysql检索的瓶颈 背景：平台attention检索，数量80万左右 数据库 like %tag% 查询：接口耗时1s左右 全表扫描，性能极差 前端体验差Elasticsearch 解决方案 将attention批量导入到ES中存储 使用ES检索，接口耗时降到50ms以内应用：feed库文章标题检索(title LIKE %wd% AND vertical_type IN (0,1) AND img_num0 )OR(title LIKE %wd% AND vertical_type IN (14)Elasticsearch介绍 分布式、可扩展、实时的搜

2、索与数据分析引擎 Apache Lucene 基础之上 简单一致的RESTful API 开源，免费下载，使用，修改 安装 一、安装要求 jdk至少需要在1.8.0以上版本 linux的内核版本需要在2.6以上 二、安装 下载 wget 解压 tar 启动 ./bin/elasticsearch d 测试 curl http:/localhost:9200/?pretty一些概念 索引(index)：类似于关系数据库中的一个数据库，一个索引就是一个拥有几分相似特征的文档的集合 类型(type)：一个索引中，可以定义一种或多种类型，类似于表 文档(document)：一个文档是一个可被索引的基础

3、信息单元，以JSON格式来表示 分片(shards )：可以将一个索引划分成多份，这些份就叫做分片，可以水平分割/扩展内容容量，进行分布式的、并行的操作，进而提高性能/吞吐量 复制(replicas)：创建分片的一份或多份拷贝，这些拷贝叫做复制分片与Elasticsearch交互 curl -X :/:/? -d 集群状态curl -XGET localhost:8200/_cluster/health?pretty 计算集群中文档的数量 curl -XGET localhost:8200/_count?pretty 插入一条数据简单的GETcurl -XGET localhost:8200/

4、megacorp/employee/1?pretty简单的搜索 curl -XGET localhost:8200/megacorp/employee/_search?pretty curl -XGET localhost:8200/megacorp/employee/_search?q=last_name:Smith&pretty复杂点的搜索 搜索姓氏为 Smith 的雇员，并且年龄大于 30 全文检索多索引，多类型搜索 /_search：在所有的索引中搜索所有的类型 /tag/_search：在 tag 索引中搜索所有的类型 / tag,cat/_search：在 tag 和cat

5、索引中搜索所有的文档 /t*,c*/_search：在任何以g或者u开头的索引中搜索所有的类型 / tag /user/_search：在tag索引中搜索user类型 /tag,us/user,op/_search：在tag和us索引中搜索user和op类型 /_all/user,tweet/_search：在所有的索引中搜索user和tweet类型分页 size显示应该返回的结果数量，默认是10 from显示应该跳过的初始结果数量，默认是0 每页展示 5 条，可以用下面方式请求得到 1 到 3 页的结果： GET /_search?size=5 GET /_search?size=5&

6、;from=5 GET /_search?size=5&from=10查询条件组合 must：文档必须匹配这些条件才能被包含进来。 must_not：文档必须不 匹配这些条件才能被包含进来。 should：如果满足这些语句中的任意语句，将增加_score，否则，无任何影响。 filter:必须匹配，但它以不评分、过滤模式来进行。这些语句对评分没有贡献，只是根据过滤标准来排除或包含文档。 bool: must: match: title: how to make millions , must_not: match: tag: spam , should: match: tag: starred , range: date: gte: 2014-01-01 bool: must: match: title: how to make millions , must