好的想法是十分钱一打，真正无价的是能够实现这些想法的人。

logstash 并联可以实现 负载均衡，发送数据到ES集群吗？

Logstash | 作者 sun_changlong | 发布于2018年07月12日 | 阅读数：5612
分享到：QQ空间新浪微博微信QQ好友印象笔记有道云笔记
filebeat 可以通过配置实现负载均衡，那么logstash 并联多分发以后，如何实现数据到 ES集群能够达到负载均衡的效果呢？
logstash 多分发，同一条数据到达每个ES 都是一样的，岂不是造成了数据重复？ 
有大佬知道原理吗？
2018-07-12 添加评论

没有找到相关结果

    已邀请:

    rochy - rochy_he

    赞同来自: sun_changlong

    如果一定要使用 logstash 并联的话，可以考虑在 logstash 前面加一层 kafka集群，在输入配置中，设置kafka消费的topic一致即可保证数据不会重复。
     
    如果仅仅是实现写入 ES 的负载均衡， logstash 的输出本身是支持的，设置字段 elasticsearch.hosts 为 ES 节点 IP:PORT 数组即可
     
    可以参考：https://www.elastic.co/guide/e ... onfig
     
    2018-07-13 1 0
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册

    Copyright © 2024 · CC BY-NC-SA 3.0

    本站服务器及带宽由 提供赞助