2023学年完整公开课版318Elasticsearch介绍

Elasticsearch介绍1任务描述华云数据集团基于CloudUltra™私有云为兵工物资集团构建私有云平台，在保障平台的高可靠性、高可用性、高安全性的基础之上，为兵工物资集团提供持续性、可扩展性、可管理性的服务。和传统模式相比基础设施使用率提高了75%以上，数据可靠性提高到了99.9%，保证兵工物资集团数据安全可控，满足集团业务需求。本节主要讲解兵工物资集团构建私有云平台项目的项目背景详情目录概述基本概念可以做什么优势2小结Elasticsearch的概述3Elasticsearch（ES）是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎。Elasticsearch还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，ES能够横向扩展至数以百计的服务器存储以及处理PB级的数据。可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。ElasticSearch就是为高可用和可扩展而生的。可以通过购置性能更强的服务器或者升级硬件来完成系统扩展，称为垂直或向上扩展（VerticalScale/ScalingUp）。另一方面，增加更多的服务器来完成系统扩展，称为水平扩展或者向外扩展（HorizontalScale/ScalingOut）。尽管ES能够利用更强劲的硬件，垂直扩展毕竟还是有它的极限。真正的可扩展性来自于水平扩展，通过向集群中添加更多的节点来分担负载，增加可靠性。ES天生就是分布式的：它知道如何管理多个节点来完成扩展和实现高可用性。这也意味你的应用不需要做任何的改动。5Elasticsearch的架构

Gateway代表ElasticSearch索引的持久化存储方式。

DistributedLuceneDirectory，它是Lucene里的一些列索引文件组成的目录。它负责管理这些索引文件。包括数据的读取、写入，以及索引的添加和合并等。

River，代表是数据源。是以插件的形式存在于ElasticSearch中。

Mapping，映射的意思，非常类似于静态语言中的数据类型。比如我们声明一个int类型的变量，那以后这个变量只能存储int类型的数据。比如我们声明一个double类型的mapping字段，则只能存储double类型的数据。

Mapping不仅是告诉ElasticSearch，哪个字段是哪种类型。还能告诉ElasticSearch如何来索引数据，以及数据是否被索引到等。

SearchMoudle，这个很简单

IndexMoudle，这个很简单

Disvcovery，主要是负责集群的master节点发现。比如某个节点突然离开或进来的情况，进行一个分片重新分片等。这里有个发现机制。发现机制默认的实现方式是单播和多播的形式，即Zen，同时也支持点对点的实现。另外一种是以插件的形式，即EC2。

Scripting，即脚本语言。包括很多，这里不多赘述。如mvel、js、python等。

Transport，代表ElasticSearch内部节点，代表跟集群的客户端交互。包括Thrift、Memcached、Http等协议

RESTfulStyleAPI，通过RESTful方式来实现API编程。

3rdplugins，代表第三方插件。

Java(Netty)，是开发框架。

JMX，是监控。Elasticsearch可以做什么4当你经营一家网上商店，你可以让你的客户搜索你卖的商品。在这种情况下，你可以使用ElasticSearch来存储你的整个产品目录和库存信息，为客户提供精准搜索，可以为客户推荐相关商品。当你想收集日志或者交易数据的时候，需要分析和挖掘这些数据，寻找趋势，进行统计，总结，或发现异常。在这种情况下，你可以使用Logstash或者其他工具来进行收集数据，当这引起数据存储到ElasticsSearch中。你可以搜索和汇总这些数据，找到任何你感兴趣的信息。Elasticsearch可以做什么5对于程序员来说，比较有名的案例是GitHub，GitHub的搜索是基于ElasticSearch构建的，在/search页面，你可以搜索项目、用户、issue、pullrequest，还有代码。共有40~50个索引库，分别用于索引网站需要跟踪的各种数据。虽然只索引项目的主分支（master），但这个数据量依然巨大，包括20亿个索引文档，30TB的索引文件。基本概念6ClusterES可以运行在许多互相合作的服务器上。这些服务器的集合称为集群。Node形成集群的每个服务器称为节点。Shard当有大量的文档时，由于内存的限制、磁盘处理能力不足、无法足够快的响应客户端的请求等，一个节点可能不够。这种情况下，数据可以分为较小的分片。每个分片放到不同的服务器上。

Replia为提高查询吞吐量或实现高可用性，可以使用分片副本。

副本是一个分片的精确复制，每个分片可以有零个或多个副本。ES中可以有许多相同的分片，其中之一被选择更改索引操作，这种特殊的分片称为主分片。

全文检索全文检索就是对一篇文章进行索引，可以根据关键字搜索，类似于mysql里的like语句。

ES的优势7分布式：横向扩展非常灵活全文检索：基于lucene的强大的全文检索能力；近实时搜索和分析：数据进入ES，可达到近实时搜索，还可进行聚合分析高可用：容错机制，自动发现新的或失败的节点，重组和重新平衡数据模式自由：ES的动态mapping机制可以自动检测数据的结构和类型，创建索引并使数据可搜索。RESTfulAPI：JSON+HTTP作者：HAO延WEI链