使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

请教下写入频繁,导致merge太多,节点remove的情况

Elasticsearch | 作者 es_newbee | 发布于2018年04月25日 | 阅读数:3025


123.jpg

索引采用了rollover,在数据量达到2亿或7天会发生rollover,这样最大的索引,大概是保持在30-50g/shard,但是有多个频繁写入的索引,导致负载较高。查询较慢,遇到较多查询时,负载就升天了,然后发生节点remove。目前索引没有做主动的merge操作。
已邀请:

yayg2008

赞同来自: es_newbee

先确认一下是因为频繁写导致负载高,影响到查;还是因为查询慢占用资源导致写受影响;进而导致节点脱离。再进一步优化写或优化查询。
可以先调大pingtimeout值,缓解脱离的问题。

hufuman

赞同来自:

了解一下: https://blog.csdn.net/jiao_fuy ... 18209

主要是bulk,refresh_interval,线程数,查询低峰的时候forcegemerge一把看看

要回复问题请先登录注册