你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

求指教：如何在docker中配置logstash多实例，去消费kafka中的同一个topic

Logstash | 作者 Kayle | 发布于2020年02月24日 | 阅读数：2266

在docker上部署了elk,想要使用logstash去消费kafka中topic的数据，发现消费的速度跟不上生产的速度，目前想配置多个logstash去消费同一个topic中的数据，topic中已经建立4个partition。请问：是在docker下启动多个logstash的contariner吗？假如是的话，docker run的时候配置文件路径需要更改吗？多个logstash实例共用的同一个config文件还是不同的文件

1 个回复

yang4210

赞同来自: Kayle

logstash是出了名的低效率。不如自己用其它语言写一个消费者。普通笔记本开个CentOS虚拟机（4G内存，所有软件在这虚拟机运行），单线程都可以每秒消费50K，并导入ES。多线程轻松上100K。就算用python把日志 json格式化之后，写日志到文件里，再由filebeat直接对接到ES都几十K。

filebeat ---- kafka ----- python(json格式化 file) -----filebeat-----ES (简单)

或者

filebeat ---- kafka ----- python(json格式化） ---ES （稍复杂，需要调用ES接口写入数据)

要回复问题请先登录或注册

求指教：如何在docker中配置logstash多实例，去消费kafka中的同一个topic

1 个回复

发起人

活动推荐

相关问题

问题状态

求指教：如何在docker中配置logstash多实例，去消费kafka中的同一个topic

与内容相关的链接

1 个回复

发起人

活动推荐

相关问题

问题状态