使用 dmesg 来查看一些硬件或驱动程序的信息或问题。

ES集群CPU、负载性能问题优化,请教各位!

Elasticsearch | 作者 yanlei | 发布于2018年08月16日 | 阅读数:9335

最近ES集群经常某个节点CPU 负载一直很高,导致写入速率变慢,重启这个节点才能恢复。请问有没有什么办法排查CPU、负载变高的原因,以及变高时除了重启还有什么解决办法。
另外请问可以根据什么指标评估ES性能是否到了瓶颈,或者说根据什么指标评估ES集群需不需要新加节点,烦请给点只是。附图为集群的监控情况。
图一为负载CPU实时监控情况,指标明显偏高。
1.png

 
图二为某台节点CPU飙升并且不回落,直到重启才恢复正常。
2.png


图三为某台几点CPU变高时,写入速率变慢,直到重启后才恢复正常。
3.png


根据以上有人给小弟点建议吗,连续两天晚上这样了,暂时没想到好的解决办法,添加节点是否能缓解?
已邀请:

JackGe

赞同来自: rochy weizijun kwan chachabusi

先通过GET _nodes/{hostName}/hot_threads来查看负载高的节点,然后根据热点线程是search,bulk,还是merge进一步分析是查询还是写入导致。

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自: rochy

cpu高排查思路梳理:
https://blog.csdn.net/laoyang3 ... 74984

zqc0512 - andy zhou

赞同来自:

索引多了,这个与CPU核数有关系的。
 

HerbertMahone - 那座山,那片海,那座城

赞同来自:

可以从2个方向查:
1. 可以看下所有的索引的分片是否合理,是否存在索引只有单个shard而该索引访问量高的情况。此外,需要看下该Node的文档数量是否异常。
2. 如果是虚机的话,也有可能是宿主机存在问题。

要回复问题请先登录注册