海量日志平台构建elastics集群脑裂

1、大讲台科技ES 集群脑裂，怎么办？什么是"脑裂"现象？由于某些节点的失效，部分节点的网络连接会断开，并形成一个与原集群一样名字的集群，这种情况称为集群脑裂（split-brain）现象。这个问题非常，因为两个新形成的集群会同时索引和修改集群的数据。产生"脑裂"的？1：网络内网一般出现此问题，可以内网流量状态。的网络出现问题的可能性大些。- 1 -大讲台科技2：节点负载由于 master 节点与 data 节点都是混合在一起的，所以当工作节点的负载较大（确实也较大）时，导致对应的 ES 实例停止响应，而这台服务器如果正充当着 master 节点的，那么一部

2、分节点就会认为这个master 节点失效了，故重新新的节点，这时就出现了脑裂；3：回收内存由于data 节点上 ES 进程占用的内存较大，较大规模的内存回收操作也能造成 ES 进程失去响应。应对"脑裂"的解决办法1、推测出应该是由于节点负载导致了 master 进程停止响应，继而导致了部分节点对于 master 的选择出现了。为此，一个直观的解决方案便是将 master 节点与 data 节点分离。为此，我们添加了三台服务器进入 ES 集群，不过它们的只是 master 节点，不担任和搜索的，故它们是相对轻量级的进程。可以通过以下配置来限制其：node.master: tr

3、uenode.data: false当然，其它的节点就不能再担任 master 了，把上面的配置反过来即可。这样就做到了将 master 节点与data 节点分离。- 2 -大讲台科技当然，为了使新加入的节点快速确定 master 位置，可以将 data 节点的默认的master 发现方式有 multicast 修改为 unicast：discovery.zen.ping.multicast.enabled: falsediscovery.zen.ping.unicast.hosts: "master1", "master2", "master

4、3"elasticsearch 的集群是内嵌自动发现功能的。elasticsearch 的集群是内嵌自动发现功能的。你只需要在每个节点配置好了集群名称，节点名称，互相通信的节点会根据 es 自定义的服务发现协议去按照多播的方式来寻找网络上配置在同样集群内的节点。和其他的服务发现功能一样，es 是支持多播和单播的。多播是需要看服务器是否支持的，由于其安全性，其实现在基本的云服务（比如）是不支持多播的，所以即使你开启了多播模式，你也仅仅只能找到本机上的节点。单播模式安全，也高效，但是缺点就是如果增加了一个新的的话，就需要每个节点上进行配置才生效了。- 3 -大讲台科技2、discover

5、y.zen.ping_timeout（默认值是 3 秒）：默认情况下，一个节点会认为，如果 master 节点在 3 秒之内没有应答，那么这个节点就是死掉了，而增加这个值，会增加节点等待响应的时间，从一定程度上会减少误判。3、discovery.zen.minimum_master_nodes（默认是 1）：这个参数的是，一个节点需要看到的具有 master 节点资格的最小数量，然后才能在集群中做操作。的推荐值是(N/2)+1（向下取整），其中 N是具有master 资格的节点的数量（我们的情况是 3，因此这个参数设置为 2，但对于只有 2 个节点的情况，设置为 2 就有些问题了，一个节点 DOWN 掉后，你肯定连不上 2 台服务器了，这点需要注意）。总结ElasticSearch 脑裂问题依然是一个比较难以