即使是不成熟的尝试,也胜于胎死腹中的策略。

logstash7.3.0每隔一段时间挂掉产生hprof文件

Logstash | 作者 xyx666666 | 发布于2021年03月11日 | 阅读数:2052


使用gelf收集日志,并输出到kafka,现在运行一段时间就挂掉在日志中出现了ERROR级别的日志,分析了hprof发现还剩余很多内存。总共128M用了40M,剩余80M
(1)先出现3条:logstash.inputs.gelf JSON parse failure.Falling back to plain-text 'Exception:Failed to decode data:Java heap space'
(2)紧接着:报了一个ArrayIndexOutBoundsException: Index -1 out of bounds for length 20
(3)下面是好多:Exception in pipelineworker,the pipeline stopped processing new events,please check you filter configuration and restart Logstash.IllegalStateException:cannot perform operation after producer has been closed.
已邀请:

locatelli

赞同来自:

最后那个Exception是Kafka producer的错误,也就是说从Kafka的Java library里产生的错误。Logstash Kafka output只是调用Kafka的producer library,所以这个问题可能需要Kafka来解决。 
另外128M heap太小了,增加heap至少可以缓解这个问题。

要回复问题请先登录注册