绊脚石乃是进身之阶。

logstash单线程瓶颈

Logstash | 作者 hanbj | 发布于2017年06月28日 | 阅读数:5301

logstash从kafka取数据发送到es时遇到瓶颈问题:我增大内存(1~10g),batch(100~500),workers(1~10)都没用,发现有一个线程占用cpu很高

1OUO5RLF10(M(GAZ13{9D[J.png
   
豆芽图片20170629111635646.png

从图片上可以看出肯定和kafka有关,我的kafka是3个分区,但是logstash消费kafka的数据也是3个线程(一个线程一个分区),top上显示的是4个kafka相关的线程,占用cpu高的那个不知道是哪个
下面是jstack:

QQ图片20170628192355.png

 
问题:
 占用cpu高的那个是哪个线程呢?
 这个线程数怎么增大呢?
已邀请:

hanbj

赞同来自:

豆芽图片.png

看了源码,感觉是这儿写死的一个线程,ruby没用过,也不知道对不对,但是参数怎么设置呢?没找到

要回复问题请先登录注册