三人行必有我师

Filebeat与kafka集成

Beats | 作者 evis | 发布于2016年01月15日 | 阅读数：31296
分享到：QQ空间新浪微博微信QQ好友印象笔记有道云笔记
使用ELK日志处理流，filebeat作为日志收集agent，我想在中间加一层kafka作为缓冲，但是不想换agent，所以又没有办法可以让filebeat将日志output到kafka？
2016-01-15 添加评论

没有找到相关结果

    已邀请:

    leighton_buaa

    赞同来自: medcl 、WinMain 、xiaobeicn 、wanlitian

    filebeat 5.0.0版本有输出到kafka的output，可以试一下。
    2016-08-05 4 0
    分享

    medcl - 今晚打老虎。

    赞同来自:

    目前支持的output：https://www.elastic.co/guide/e ... utput
    不能直接丢到output，可以通过Logstash转
    2016-01-15 0 1
    分享

    Moryaden

    赞同来自:

    可以参考看看heka
    2016-01-18 0 0
    分享

    ops

    赞同来自:

    为什么中间要加kafka？
    2016-08-01 0 0
    分享

    homevive

    赞同来自:

    增加消息队列，避免因系统繁忙造成数据丢失。
    2016-09-12 0 0
    分享

    dreamfly

    赞同来自:

    我们目前也在使用这套日志分析系统。但是不知道是否因为kafka还是filebeat版本问题，filebeat写入到kafka失败，报错大概意思是：某些分区缺少领导。原文：2016-09-20T12:12:45+08:00 WARN kafka message: client/metadata found some partitions to be leaderless。
    我提的问题连接见http://elasticsearch.cn/question/819，希望能得到各位帮助。
    2016-10-14 0 0
    分享

    jzl

    赞同来自:

    某些分区缺少领导 看下zookeeper个数是不是奇数个
    2017-06-20 0 0
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册

    Copyright © 2024 · CC BY-NC-SA 3.0

    本站服务器及带宽由 提供赞助