请教下 filebeats-logstash-elasticsearch 实现日志收集并展示的方案
Elasticsearch | 作者 code4j | 发布于2018年07月09日 | 阅读数:4259
之前有做过一套日志收集相关的系统,整体流程架构大概是:
flume-agent -> flume-server -> kafka -> elasticsearch
这一期有个新的日志收集项目要做,由于日志来源和使用目标不同所以打算搭建一套新的体系,老的es版本也比较低,这次打算直接采用新版本的es。
在网上调研到的一个方案是和 我第一个类似,logstash做采集,发送到kafka,然后再通过kafka消费到上报方的logstash,再同步到es,因此就变成了这样:
logstash-agent -> kafka -> logstash-server -> elasticsearch。
然后还调研到有用filebeats的,大体的流程架构如下:
filebeats -> logstash -> elasticsearch
中间并没有采用kafka做缓冲。
所以想在社区调研下,大家的日志收集系统都采用什么方式的呢?有没有踩到哪些坑,求教。
flume-agent -> flume-server -> kafka -> elasticsearch
这一期有个新的日志收集项目要做,由于日志来源和使用目标不同所以打算搭建一套新的体系,老的es版本也比较低,这次打算直接采用新版本的es。
在网上调研到的一个方案是和 我第一个类似,logstash做采集,发送到kafka,然后再通过kafka消费到上报方的logstash,再同步到es,因此就变成了这样:
logstash-agent -> kafka -> logstash-server -> elasticsearch。
然后还调研到有用filebeats的,大体的流程架构如下:
filebeats -> logstash -> elasticsearch
中间并没有采用kafka做缓冲。
所以想在社区调研下,大家的日志收集系统都采用什么方式的呢?有没有踩到哪些坑,求教。
2 个回复
fanmo3yuan
赞同来自: code4j
如果是很多的日志源要考虑到后面filebeats相关配置的修改或升级
logstash在这里的角色有点像之前的flumeserver,需要考虑如何做到灵活的数据分发,平滑的升级
lei13427312420 - 90后IT男
赞同来自: