要不要也来分享分享一下啊

es重复消费问题

Elasticsearch | 作者 db7689206 | 发布于2016年11月17日 | 阅读数:8317

现在有一套elk的架构filebeat5.0  kafka0.10  logstash5.0  elasticsearch 2.4
filebeat->kafka->logstash->输出到控制台,或者文件中数量都是正确的
filebeta->logstash->es 最后数量也是正确的
filebeta->kafka->logstash->es 每次出现,offset卡主某个点,es在重复消费数据
求解答,为什么会这样,所用参数除了几个必要的,都是默认参数,谢谢了!
已邀请:

db7689206 - 90后屌丝

赞同来自: alibb

已经解决,logstash的kafka插件参数和kafka插件官网参数不同,导致es消费过慢,数据堵塞

要回复问题请先登录注册