elasticsearch性能调优小建议_第1页
elasticsearch性能调优小建议_第2页
elasticsearch性能调优小建议_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

ElasticSearch性能测试调优版本号：5.5.2测试数据：同一天采集的数据保存在当天创建的索引下，所有索引的类型一致测试数据量：5.08亿条电脑硬件：1台，CPU 8核，内存32G1. 大批量创建索引和数据ES集群为单节点下的情况：A 在不采用批量创建数据的情况下：创建数据量8640万，用时16h35m47s，写入速度约为2270条/S。减少写入数据量，约87万，测试50次，写入平均速度约为23002500条/S。B 批量创建数据采用bluk大批量写入数据设置所需创建的内容，循环执行所需次数： 写入数据量约87万条，并发数量10，请求内容条数8000，测试100次，平均耗时约为：190S，写入速率约为：4500条/S。 写入效率有了明显的提升，但是此时发生了异常，有约80%的测试发生ES请求链接断开的异常。当并发请求大于10时，所有请求都发生了该异常。该异常导致的问题是：最后断开请求的数量丢失，丢失数据量约为1万条。当降低并发数量或者请求内容条数时，该问题得到解决。写入数据量并发数量内容条数测试次数平均耗时写入速率状态87万5300050240S3600条/S正常87万10500050210S4300条/S正常87万108000100190S4500条/S发生异常87万8800050220S4000条/S发生异常87万7800050230S3800条/S正常87万6800050235S3700条/S正常874000条/S发生异常8122万8500056h41m50s3400条/S正常C 调优 虽然批量添加效率有了显著提升，但是如何再继续提升性能呢？ 除了新增硬件和新增节点外，合理的配置线程池，可以有效的提升性能。5.x版本的ES，已经将线程池中的index和bulk固定为CPU核心数+1；所以调整这两个指标的对列数，可以解决上面测试中因为线程池线程数量不足导致的请求断开的异常。但是队列数也不建议无线增大，因为这个对内存有较大的压力。一下为测试后较合理的配置：修改的文件是：elasticsearch目录下config文件夹的elasticsearch.yml文件调优后，可以支持多线程同时启动bulk添加数据，而不会因为线程池的问题导致写入数据丢失问题，让磁盘的读写达到最大化，从而实现对大化的写入数据。优化后，写入效率：4500条/S，测试可同时启动5个线程。因为个人电脑性能原因，没有继续测试。D 其他新增数据节点：将新增的数据节点设置为专门存储和查询数据的数据节点，这些节点能有效的提升写入和查询效率。node.master: false no
人人文库> 全部分类> 行业资料 > 管理策划

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论