你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
发现
分享
文章
活动
登录
你可以的,加油
logstash单线程瓶颈
Logstash
| 作者
hanbj
| 发布于2017年06月28日 | 阅读数:
5584
分享到:
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
logstash从kafka取数据发送到es时遇到瓶颈问题:我增大内存(1~10g),batch(100~500),workers(1~10)都没用,发现有一个线程占用cpu很高
从图片上可以看出肯定和kafka有关,我的kafka是3个分区,但是logstash消费kafka的数据也是3个线程(一个线程一个分区),top上显示的是4个kafka相关的线程,占用cpu高的那个不知道是哪个
下面是jstack:
问题:
占用cpu高的那个是哪个线程呢?
这个线程数怎么增大呢?
没有找到相关结果
已邀请:
与内容相关的链接
提交
1 个回复
hanbj
赞同来自:
看了源码,感觉是这儿写死的一个线程,ruby没用过,也不知道对不对,但是参数怎么设置呢?没找到
要回复问题请先
登录
或
注册
发起人
hanbj
活动推荐
Jun
17
搜索客 Meetup 讲师招募(长期有效)
线上
·
6-17 周一
·
进行中
Nov
30
【活动报名】ClickHouse Beijing User Group 第2届 Meetup
北京
·
11-30 周六
·
报名中
相关问题
logstash获取时间的问题
关于logstash和elasticsearch的时区问题
kibana分析nginx日志,还在纠结用filebeat还是logstash
logstash导入mysql上亿级别数据的效率问题
logstash同步多张相同表结构的数据表到同一个索引
logstash-input-jdbc不能将mysqk数据同步到es中
logstash向es里面导入mysql数据,表字段名称自动变成了小写
logstash如何运行多个实例?
大家可以讲讲使用ELK架构吗?我打算大家kafka+rsyslog+logstash+elasticsearch+kibana,这个架构可行吗
logstash导入日志数据到elasticsearch如何手动指定_id
Logstash吞吐量求解(从Kafka消费永远赶不上生产速度)
问题状态
最新活动:
2017-06-29 15:57
浏览:
5584
关注:
1
人
1 个回复
hanbj
赞同来自:
看了源码,感觉是这儿写死的一个线程,ruby没用过,也不知道对不对,但是参数怎么设置呢?没找到