居然是你

logstash到es好像数据延迟

Elasticsearch | 作者 yuki_xl | 发布于2018年10月29日 | 阅读数:4631

之前通过logstash-kafka-es这样把4台机的日志都读到了es里,同一个index,没有出现过延迟的现象,数据量大概是每30分钟有4w多条数据。这个时候还是能及时读取的。后来又加进一台机的日志,采用的filter的正则跟前四台机的不一样,kafka的topic也不一样,这台机的日志数据也不多。所以logstash将kafka的数据读到es采用的是多索引输出到es的配置。现在查看的时候,感觉数据延迟了20分钟左右。。。我现在也不知道怎么排查= =,有大佬可以提供思路吗,我是个新手= =。。。T^T救救孩子吧
已邀请:

chenhongjie - 95后IT男

赞同来自:

你得放上你的index的setting和logstash的配置才能给你分析呀

xiaoke - http://blog.51cto.com/kexiaoke

赞同来自:

看一看topic的积压情况,判断是不是Logstash的性能问题,如果是可以先多启动一个Logstash解决延迟的问题。

要回复问题请先登录注册