Hello,World

一个filebeat如何将数据输出到多个elasticsearch集群,保证两个集群的数据一致(起到备份作用)

Beats | 作者 apeletMarshal | 发布于2019年07月01日 | 阅读数:700

1. 需求是需要将filebeat收集的日志,输出的两个elasticsearch集群中。并且保证两个集群中的数据都是一样的。
 
2. 测试
配置
    output.elasticsearch:
       hosts: ['192.168.223.26:9200','192.168.223.27:9200']
并不能实现需求,原因是官网上介绍说,这个是安装循环顺序往两个集群中写入数据。因此最终结果是,一份数据被写到了两个不同的集群中。两个集群的数据,完全不同。
 
3. 求问,有没有什么办法实现,filebeat将一份数据同时写到两个elasticsearch集群中去。
已邀请:

zqc0512 - andy zhou

赞同来自: Reilee apeletMarshal

你通过ES 进行备份撒……现在ES 7出了集群之间的复制功能。
换个思路……

apeletMarshal - 小猿帅

赞同来自:

filebeat.png

 

bellengao - 博客: https://www.jianshu.com/u/e0088e3e2127

赞同来自:

https://github.com/medcl/elasticsearch-proxy试试medcl写的这个代理,可以实现双写

Reilee - 在日devops

赞同来自:

同意楼上,es 备份应该使用 cross replica 或者 snapshot,而不是从数据源进行双写。

要回复问题请先登录注册