不要急,总有办法的

请教下 filebeats-logstash-elasticsearch 实现日志收集并展示的方案

Elasticsearch | 作者 code4j | 发布于2018年07月09日 | 阅读数:4259

之前有做过一套日志收集相关的系统,整体流程架构大概是:
flume-agent -> flume-server -> kafka -> elasticsearch
 
这一期有个新的日志收集项目要做,由于日志来源和使用目标不同所以打算搭建一套新的体系,老的es版本也比较低,这次打算直接采用新版本的es。
 
在网上调研到的一个方案是和 我第一个类似,logstash做采集,发送到kafka,然后再通过kafka消费到上报方的logstash,再同步到es,因此就变成了这样:
 
logstash-agent -> kafka -> logstash-server -> elasticsearch。
 
然后还调研到有用filebeats的,大体的流程架构如下:
filebeats -> logstash -> elasticsearch
 
中间并没有采用kafka做缓冲。
 
所以想在社区调研下,大家的日志收集系统都采用什么方式的呢?有没有踩到哪些坑,求教。
 
 
已邀请:

fanmo3yuan

赞同来自: code4j

filebeats -> kafka -> logstash 可以这么做。beats更轻量,logstash可以做更多的事情
如果是很多的日志源要考虑到后面filebeats相关配置的修改或升级
logstash在这里的角色有点像之前的flumeserver,需要考虑如何做到灵活的数据分发,平滑的升级

lei13427312420 - 90后IT男

赞同来自:

请问   一下 这个 日志收集系统做完了ElasticSearach / FileBeat / LogStash / Kibana可以分享下么

要回复问题请先登录注册