logstash 并联可以实现 负载均衡,发送数据到ES集群吗?

作者 sun_changlong | 发布于2018年07月12日 | 阅读数:350

filebeat 可以通过配置实现负载均衡,那么logstash 并联多分发以后,如何实现数据到 ES集群能够达到负载均衡的效果呢?
logstash 多分发,同一条数据到达每个ES 都是一样的,岂不是造成了数据重复? 
有大佬知道原理吗?
已邀请:

rochy - rochy@Luculent

赞同来自: sun_changlong

如果一定要使用 logstash 并联的话,可以考虑在 logstash 前面加一层 kafka集群,在输入配置中,设置kafka消费的topic一致即可保证数据不会重复。
 
如果仅仅是实现写入 ES 的负载均衡, logstash 的输出本身是支持的,设置字段 elasticsearch.hosts 为 ES 节点 IP:PORT 数组即可
 
可以参考:https://www.elastic.co/guide/e ... onfig
 

要回复问题请先登录注册