使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

超大ES集群如何控制主分片均匀分配

Elasticsearch | 作者 kkgace | 发布于2019年02月22日 | 阅读数:6030

服务器环境:Centos 7.2
软件版本:5.2.2
软件运行环境:每台服务器256G内存,每台5个实例
问题前提:
有多个索引,单个索引超过5TB,分片数为100个,实例节点数为100个,热数据副本初始为1,后期冷数据副本为2;
索引策略已有单节点总索引和总分片策略,单索引单节点分片数量限制,机架和主机感知,冷热分离等
问题:
索引分片在节点中的分布情况,有些节点全为主分片,有些节点全为副本分片,每个节点单个索引最大限制为3个分片;
目标:
如何控制主分片在节点中的均匀分布,例如保障每个节点至少有1个主分片,或者1个主分片+1个副本分片;
 
已邀请:

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自: juneryang

这里按照你的描述可能涉及主分片的分配策略的修改。
5.X版本之后的主分片的选举实现:依据allocation id 从 inSyncAllocationIds 列表中选择主分片。
 
推荐看一下官方文档:https://www.elastic.co/guide/e ... .html
https://www.elastic.co/guide/e ... .html
 
并且还有一个维度,建议关注一下:,触发分片分配的时机:不只是创建索引的阶段,还包含:
1)  index 索引增删;
2)节点增删;
3)reroute操作;
4)副本数量改变;
5)集群重启。

pyxzzfly

赞同来自:

搞定了吗?我也遇到相同的问题

要回复问题请先登录注册