不要急,总有办法的

大神帮忙看看!logstash取kafka日志出现数据乱窜,error的topic跑到data的topic里面去了

Logstash | 作者 wq131311 | 发布于2017年12月10日 | 阅读数:2438

架构:filebeat-->logstash->zookeeper+kafka-->logstash-->es
 
现象就是:topic是web-error,但是message内容是web-data的内容。
 
1、我是filebeat采集日志都有每个type类型,比如【web-error,web-data】
2、发到logstash的时候然后到kafka,topic是根据每个type类型自动创建的
3、logstash从kafka取日志的时候,是根据每个topic取得,比如【error是groupid,web-error是topic】【data是groupid,web-data是topic】
 
为啥存到es的日志里面会有日志乱窜的现象,web-data的数据跑到web-error里面去了
 
 

请大神帮忙看看!
已邀请:

puyunjiafly

赞同来自:

暂时没遇到这个问题
不过打开logstash的详细日志很容易定位问题吧?
打开日志跟踪查看下吧 感觉可能是logstash配置问题。

wq131311

赞同来自:

我的logstash都是那边只收集  没有filter  最后直接打到output到kafka,topic_id这边是自动创建的,根据filebeat的document_type自动创建的

Kevin_Yin

赞同来自:

我也出现这样的问题,我在logstash有两个conf,分别output到不同的索引上,结果,我的每个索引都有别的topic中取的日志,但时单开其中任意一个conf,就没有这样的问题,现在问题还没找到呢

Kevin_Yin

赞同来自:

我解决了,参考https://www.elastic.co/blog/lo ... lines,我的原因就是conf在同一个pipeline中导致的

要回复问题请先登录注册