es分片策略

Elasticsearch | 作者 Ethan | 发布于2019年10月10日 | 阅读数:96

一个索引 400G数据量 11亿 条数据 3个es节点 每台48核 256配置 ,只建一个索引的情况下给多少分片合适?
已邀请:
匿名用户

匿名用户

赞同来自: Ethan

一个索引 400G数据量 11亿 条数据 3个es节点 每台48核 256配置 ,只建一个索引的情况下给多少分片合适?
 
三台物理机吗?
每台48核 256GB内存
单台物理机可以配置4个es软件节点了,每个es软件节点32G内存,一共12个ES软件节点
分片直接给12个,副本1个,或者分片6个副本1个。(如果是我的话直接12个主分片)
分片的多少跟你以后集群规模有很大的关系的,不是定死的。
以后假如在增加8个ES软件节点,那么调整分片数量为10个副本1个,或者直接分片20个就行了。
 
这些都不是定死的,需要调整的,比如数据量的大小,es软件节点的数量,没有一个非常完美的标准。
 
如果有的话,大家也不用问个几百遍了。都是实际生产环境测试出来的。
 
有人会说分片不能太多,多了怎么怎么样。但是到底怎么样,没人说的清楚。
 
不要怕,20个es软件节点,我就设置20个分片,没什么不可以的。还没试呢,就说不行,我也真的没什么可以说的了。
 
 
 
 
 
 
 
 
 
 

fantuan

赞同来自:

可以参考官方的建议,时序型数据,400G的数据量可以给10~20个分片。
https://www.elastic.co/cn/blog ... uster


尽量将分片的平均大小控制在至少几 GB 到几十 GB 之间。对时序型数据用例而言,分片大小通常介于 20GB 至 40GB 之间。
确保对于节点上已配置的每个 GB,将分片数量保持在 20 以下。如果某个节点拥有 30GB 的堆内存,那其最多可有 600 个分片

要回复问题请先登录注册