Elasticsearch介绍与应用.ppt

Elasticsearch介绍与应用 mysql检索的瓶颈 背景 平台attention检索 数量80万左右数据库like tag 查询 接口耗时1s左右全表扫描 性能极差前端体验差 Elasticsearch解决方案 将attention批量导入到ES中存储使用ES检索 接口耗时降到50ms以内 应用 feed库文章标题检索 titleLIKE wd ANDvertical typeIN 0 1 ANDimg num 0 OR titleLIKE wd ANDvertical typeIN 14 Elasticsearch介绍 分布式 可扩展 实时的搜索与数据分析引擎ApacheLucene 基础之上简单一致的RESTfulAPI开源 免费下载 使用 修改 安装 一 安装要求jdk至少需要在1 8 0以上版本linux的内核版本需要在2 6以上二 安装下载wget解压tar启动 bin elasticsearch d测试curl http localhost 9200 pretty 一些概念 索引 index 类似于关系数据库中的一个数据库 一个索引就是一个拥有几分相似特征的文档的集合类型 type 一个索引中 可以定义一种或多种类型 类似于表文档 document 一个文档是一个可被索引的基础信息单元 以JSON格式来表示分片 shards 可以将一个索引划分成多份 这些份就叫做分片 可以水平分割 扩展内容容量 进行分布式的 并行的操作 进而提高性能 吞吐量复制 replicas 创建分片的一份或多份拷贝 这些拷贝叫做复制分片 与Elasticsearch交互 curl X d 集群状态curl XGET localhost 8200 cluster health pretty 计算集群中文档的数量curl XGET localhost 8200 count pretty 插入一条数据 简单的GET curl XGET localhost 8200 megacorp employee 1 pretty 简单的搜索 curl XGET localhost 8200 megacorp employee search pretty curl XGET localhost 8200 megacorp employee search q last name Smith pretty 复杂点的搜索 搜索姓氏为Smith的雇员 并且年龄大于30 全文检索 多索引 多类型搜索 search 在所有的索引中搜索所有的类型 tag search 在tag索引中搜索所有的类型 tag cat search 在tag和cat索引中搜索所有的文档 t c search 在任何以g或者u开头的索引中搜索所有的类型 tag user search 在tag索引中搜索user类型 tag us user op search 在tag和us索引中搜索user和op类型 all user tweet search 在所有的索引中搜索user和tweet类型 分页 size显示应该返回的结果数量 默认是10from显示应该跳过的初始结果数量 默认是0每页展示5条 可以用下面方式请求得到1到3页的结果 GET search size 5GET search size 5 from 5GET search size 5 from 10 查询条件组合 must 文档必须匹配这些条件才能被包含进来 must not 文档必须不匹配这些条件才能被包含进来 should 如果满足这些语句中的任意语句 将增加 score 否则 无任何影响 filter 必须匹配 但它以不评分 过滤模式来进行 这些语句对评分没有贡献 只是根据过滤标准来排除或包含文档 bool must match title howtomakemillions must not match tag spam should match tag starred range date gte 2014 01 01 bool must match title howtomakemil