logstash版本2.3.4
首先根据博文logstash kafka多台机器取数据,只有一个实例消费【logstash2.3.4】http://blog.csdn.net/ty_0930/a ... 83649 修改完,确实可以启动多个logstash进程同时消费kafka,并把结果输出到elasticsearch集群。 后来我想提高机器的利用率,在一台机器上启动多个logstash实例,但是运行一段时间后,就突然停止消费了,有遇到这种情况的朋友吗?求解答。
首先根据博文logstash kafka多台机器取数据,只有一个实例消费【logstash2.3.4】http://blog.csdn.net/ty_0930/a ... 83649 修改完,确实可以启动多个logstash进程同时消费kafka,并把结果输出到elasticsearch集群。 后来我想提高机器的利用率,在一台机器上启动多个logstash实例,但是运行一段时间后,就突然停止消费了,有遇到这种情况的朋友吗?求解答。
4 个回复
BrickXu - BlackOps@Qunar
赞同来自:
logstash的kafka input都是high-level-api写的,能出现不消费的情况,要么配置不对,比如fetch message size小于broker配置,要么就是开太多consumer了(大于partition数量),导致有些实例抢不到partition发呆。
redhat
赞同来自:
pkzikao
赞同来自:
PaladinTyrion
赞同来自: