ELK,萌萌哒

ES多路径,按天建索引时,数据不均衡问题

Elasticsearch | 作者 wangxinrong | 发布于2020年04月23日 | 阅读数:2178

每个数据节点挂了多块盘,配置了多路径。集群里有很多索引,每个都是按天创建。
这样偶尔会存在数据不均衡的问题。
 
假设有10个数据节点,每个数据节点8块盘,每个索引分片数设置成5,也就是算上副本,平均每个节点分配一个分片。有100个这样的索引。
极端情况下某台节点会出现这样的情况:
4.1号的全部索引的分片都在盘1上。
4.2号的全部都在盘2上。
...以此类推,就是总体上每块盘的数据量是均衡的,但针对某一天的数据,是不均衡的。每天只有一块盘压力很大其他盘空闲。
 
为了避免这种现象只能把索引的分片从5改成40,也就是5*8,让每个盘都有一个分片,但这样对于大部分比较小的索引来说,分片数都过多了,也影响性能。
 
不知道这种情况,有没有必要把所有盘做成一个raid0呢,或者是有什么其他方法既可以保持多路径,也能避免上面的不均衡问题。
 
已邀请:

byx313 - BLOG:https://www.jianshu.com/u/43fd06f9589c

赞同来自:

我们是磁盘做下软raid0

要回复问题请先登录注册