是时候用 ES 拯救发际线啦

elasticsearch merge过多导致集群节点load非常高

Elasticsearch | 作者 code4j | 发布于2019年06月05日 | 阅读数:2518

集群是5.4.2版本的,18个节点,每个节点64个核,每次到了晚上业务量增长的时候load非常高,导致很多业务执行很慢。
观察了下热点线程主要再Lucene merge,因为所以按时间做了拆分,所以merge都是集中在正在写的索引上,索引平均800G一个,分片40-50G 一个,索引有关merge的配置使用的都是默认的没做过多配置。
看了下segment的大小,最大在5G以内,最小的几百kb,热索引始终维持2000个segment左右(冷索引1200以内)。
情况大概就是这样了,感觉应该控制写时候merge的频率,但是转念一想索引按天拆分,如果merge次数太少可能会产生大量分段读效率又很低。
求大神们支招。
 
已邀请:

王庆焕 - https://discuss.elastic.co/u/wangqinghuan/

赞同来自:

es会自动权衡当前集群的load,判断是否进行merge。如果真的判断是merge导致的load过高,那需要考虑的可能是添加更多的硬件了

unilke

赞同来自:

我也遇到同样的问题,请问楼主最后是怎么来处理它的?

要回复问题请先登录注册