用了Elasticsearch,一口气上5T

针对logstash的FullGC次数过高如何解决呢

Logstash | 作者 xxfenzi | 发布于2016年07月07日 | 阅读数:6836

  最近一直在弄elk的优化,感觉logstash也是瓶颈。观察logstash的JVM发现FullGC非常多。请问有知道如何解决这个问题的么。貌似logstash的优化可做的不是狠多啊。
  这个系统也是刚弄不久,都是随着摸索随着弄的,要是有什么地方说错了,还望指教。现在我们一共3台机器,启了16个节点,一天大概250G+的索引,到晚高峰的时候redis就会出现阻塞。之前考虑过是es的瓶颈,但是感觉可能也是优化做的不够,所以想从各方面对这套系统进行下优化,希望各位指摘。
已邀请:

zengyp

赞同来自: xxfenzi

1、ES和Logstash 默认采用的GC 是CMS,建议采用G1,并且-Xms与-Xmx设置为相同的值。
2、默认Logtash、ES的JVM heapsize较小,建议根据系统内存情况、Logtash、ES的负载调大。
3、你的环境中主机做了很多复用,需要留意CPU的负载,CPU压力大将会影响GC。
4、关闭系统的swap。

要回复问题请先登录注册