用了Elasticsearch,一口气上5T

关于Lucene merge 占用CPU高的问题

Elasticsearch | 作者 jackin853 | 发布于2016年06月23日 | 阅读数:6667

ES后台的Lucene merge是什么逻辑,一直搞不清楚。目前我们三台虚拟机,全是数据节点,其中一台通过logstash的udp插件不停的接收数据,并做字段解析工作,平均数据量是每分钟1万多条,三台虚拟机均是2个处理器,32G内存(给ES分了一半),磁盘每台500GB。一天一个索引。
前两天都算正常,今天发现通过kibana访问有点慢,每台虚拟机CPU占用均超过100%,通过hot_threads发现一直是Lucene merge thread一直在占用cpu,各位有高招么?请不吝赐教。
已邀请:

cht

赞同来自:

解决了么?我也遇到了

walter123 - IT

赞同来自:

修改下下面两个配置:
"indices.store.throttle.type"和
"index.merge.scheduler.max_thread_count"
 

PandaXu

赞同来自:

https://discuss.elastic.co/t/throttle-merges/31780
https://github.com/elastic/ela ... 31545

index: auto_expand_replicas: 0-all merge: scheduler: max_thread_count: 1 ... indices: store: throttle: max_bytes_per_sec: 10mb type: merge
 
 

要回复问题请先登录注册