Filebeat与kafka集成

使用ELK日志处理流,filebeat作为日志收集agent,我想在中间加一层kafka作为缓冲,但是不想换agent,所以又没有办法可以让filebeat将日志output到kafka?
已邀请:

leighton_buaa

赞同来自: medcl WinMain xiaobeicn wanlitian

filebeat 5.0.0版本有输出到kafka的output,可以试一下。

medcl - Elastic 🇨🇳 !

赞同来自:

目前支持的output:https://www.elastic.co/guide/e ... utput
不能直接丢到output,可以通过Logstash转

Moryaden

赞同来自:

可以参考看看heka

ops

赞同来自:

为什么中间要加kafka?

homevive

赞同来自:

增加消息队列,避免因系统繁忙造成数据丢失。

dreamfly

赞同来自:

我们目前也在使用这套日志分析系统。但是不知道是否因为kafka还是filebeat版本问题,filebeat写入到kafka失败,报错大概意思是:某些分区缺少领导。原文:2016-09-20T12:12:45+08:00 WARN kafka message: client/metadata found some partitions to be leaderless。
我提的问题连接见http://elasticsearch.cn/question/819,希望能得到各位帮助。

jzl

赞同来自:

某些分区缺少领导 看下zookeeper个数是不是奇数个

要回复问题请先登录注册