身安不如心安,屋宽不如心宽 。

关于es集群扩充节点的问题

Elasticsearch | 作者 xuzz | 发布于2020年03月11日 | 阅读数:1116

现有架构
elasticsearch  7.3.1
服务器4台centos  4核 16G  1T
其中2台master+data(当初设计的时候没有考虑好,master是偶数了)
另外2台data
4分片1副本
集群状态
es.PNG

 
 
现在日志量上来了打算扩充节点
计划 增加3台 8核16G做master   增加一台同配置data
升级后 是 3台8核16G master    5台 data  4核16G1T
 
现有几个问题希望得到答案,先谢过
1.原本是master+data角色的两个节点,可以在新的master加入后,修改配置重启从而角色转换成专门的data节点吗?
2.没有调度节点,那升级后logstash的output插件的elasticsearch的hosts那项配置是填三个master节点地址吗?还是可以8个地址都填上
3.五台data节点各1T,因为有1份副本,意味着只能存储2.5T的日志,我的理解对吗?
4.理论上按照官方的升级文档进行升级重启,可不可以数据持续写入不受影响呢?
5.因为日志是按照服务和每天的日期索引的,日均新增100个索引左右,这个会有什么影响吗?
 
 
已邀请:

xiaoshancun

赞同来自:

抛砖引玉,最终看大佬的答案:1.原本是master+data角色的两个节点,可以在新的master加入后,修改配置重启从而角色转换成专门的data节点吗?
可以的  
2.没有调度节点,那升级后logstash的output插件的elasticsearch的hosts那项配置是填三个master节点地址吗?还是可以8个地址都填上
只填写data结点地址就可以了
3.五台data节点各1T,因为有1份副本,意味着只能存储2.5T的日志,我的理解对吗?
    Replace Shard 是对 Primary  Shard的完整备份, primary有多大,replace也有多大  除数据你还有系统系统的空间,一般要打个八折
4.理论上按照官方的升级文档进行升级重启,可不可以数据持续写入不受影响呢?
    这种方式升级时间长,但不需要停机, 但个人建议先使用snapshot 功有先进行备份,最起码是备要的索引进行备份
5.因为日志是按照服务和每天的日期索引的,日均新增100个索引左右,这个会有什么影响吗?
    目前我这接触到的也是日志集中项目,按日建立索引,不用有什么问题。
 
一般来说,master节点的配置较低,data coording node 节点配置高

locatelli

赞同来自:

1. 升级后master 的配置比data node还好,不合理,浪费了,应该反过来。
2. 每天增加100个索引本身没问题,但是要考虑旧数据清理否则很快就会造成over-sharding。应该用ILM定期清理,比如说超过1周的数据

byx313 - BLOG:https://www.jianshu.com/u/43fd06f9589c

赞同来自:

1.原本是master+data角色的两个节点,可以在新的master加入后,修改配置重启从而角色转换成专门的data节点吗?
--->可以。修改配置完以后就行。然后把rebalance关闭,手动reroute shard到data node上,完了再把rebalance开启。
2.没有调度节点,那升级后logstash的output插件的elasticsearch的hosts那项配置是填三个master节点地址吗?还是可以8个地址都填上
--->建议客户端不要连接master节点,避免大查询、写入走到master,master需要承担聚合功能,可能引发集群不稳定。
3.五台data节点各1T,因为有1份副本,意味着只能存储2.5T的日志,我的理解对吗?
--->节点配置默认的水位线是85%,即磁盘的空间达到85%以后就不能allocation新的shard上去了,所以需要打折。
5.因为日志是按照服务和每天的日期索引的,日均新增100个索引左右,这个会有什么影响吗?
--->不知道你JVM配置多少,按照50% * 16G计算,按照建议的1G节点内存管理20个shard计算,集群建议承载的最大shard数为16G * 0.5 * 5 * 20 = 800个shard(primary + replica)。可以按照这个规模自己衡量下。

要回复问题请先登录注册