使用 nohup 或 disown 如果你要让某个进程运行在后台。

为什么会每天23点自动段大量减少,是段合并引起的吗,但是为什么这个点合并,该怎么解决

Elasticsearch | 作者 lhz1165 | 发布于2021年05月06日 | 阅读数:1462

软件版本 6.3.2
运行环境 jdk8
场景/上下文
p1.png

为什么会每天23点自动段大量减少,是段合并引起的吗,但是为什么这个点合并,该怎么解决,这个时候查询被阻塞出现异常,请问改怎么解决




 
已邀请:

zmc - ES PAAS、JuiceFS

赞同来自: lhz1165

ES的merge有throttling,限速的时候对集群的性能压力不会很大,所以导致你请求超时很可能是merge合并的时候缓存被清理了;
 
如果没有forcemerge,从你这个图来看,可能是flush触发的大量的merge;(然后你也可以检查一下是不是这个时间段有index close了,或者删除了,你这个场景看起来是一直有写入,不断生成segment,flush也不应该在短时间有这么大的幅度变化)
 
检查发现没有索引删除、close、或者forcemerge,那可以考虑一下将flush的频次增加一点,尽量分散的进行merge,可能有一点优化,如果业务特别依赖缓存,那就不太好搞了,考虑增加配置。
 
 
PS:可以多放几张图,比如写入曲线,query曲线,只给一个segment曲线图就只能猜你的场景了。。。

lhz1165 - SADADSA

赞同来自:

1111

Charele - Cisco4321

赞同来自:

ES本身缺省好像没有在23点执行forceMerge这种行为,
你检查下是不是在这个时候有什么任务执行而引起了merge这种行为,或者其它软件加了这种计划。
 
你看看日志里面,23点左右有没有merge相关的日志
 
楼上说段合并对ES没有什么压力,我不同意这个说法,底层的lucene段合并对ES影响很大。

lhz1165 - SADADSA

赞同来自:

es3.png


这是查询曲线,7号到10号的

要回复问题请先登录注册