用了Elasticsearch,一口气上5T

logstash 输出日志到额elasticsearch 性能?

匿名 | 发布于2018年09月05日 | 阅读数:1279

logstash 接收kafka输出日志到elasticsearch 性能用kibana看出每秒只能写入2000多条。 怎么去优化的?我当时调优了下logstash输出并测试 :/logstash -f /home/bigdata/apps/logstash/config/test.conf | pv -abt > /dev/null可以达到[8.06MiB/s] 不科学啊。
已邀请:

rochy - rochy_he

赞同来自:

你可以设置 consumer_threads ,默认是 1,你设置大于1,即多个线程同时消费

zhangshuai

赞同来自:

这个社区的邮件发送接收不到 无法跟着评论呢? ~ 楼上的大兄弟 我这边的话kafka是十个分区, 用的consumer_threads =10 

要回复问题请先登录注册