是时候用 ES 拯救发际线啦

Logstash2.4.1吞吐量问题以及Logstash5.0.1挂起问题求解

Logstash | 作者 yudh22 | 发布于2017年06月23日 | 阅读数:3746

问题一:Logstash2.4.1 4台node,配置32核64G内存500G硬盘物理机,消费一个kafka topic,topic的消息量有27k/s,分区有32个,4台logstash的jvm我配置了2g,每台开8个消费线程,1000 fetch_size 10 workers 消费的时候lag一直在9000W左右,一直下不来,单机开32消费线程,输出到stdout,用pv测试只有13KB/S,无论怎么调参数都不行
下图是pv测试的结果,一直维持在11kB到15KB每秒
单机8个消费线程
2.png

单机1个线程

3.png

感觉两者没多少区别,topic总共有32个分区,很疑惑
问题二:Logstash5.0.1也是相同配置的节点,10 workers 1000 batch_size,在同一个node上 ,启动一段时间后,进程自动退出,日志只显示stopping pipeline,报stopping之前一直报消费者发送给kafka心跳超时, 无其他消息,启动方式为nohup启动,之前使用screen启动也是同样效果,求解
下面是5.0的停止时的日志
1.png
已邀请:

leighton_buaa

赞同来自:

对于logstash 5,可以参考一下这篇文档
https://www.elastic.co/guide/e ... .html
 
将pipeline.batch.size和pipeline.output.workers
调大试试

要回复问题请先登录注册