用了Elasticsearch,一口气上5T

data.path 配置多个路径,IO分布不均衡

Elasticsearch | 作者 shjdwxy | 发布于2017年11月13日 | 阅读数:2194

es版本为5.4.3,每个data hot node通过data.path挂载了两块盘,es集群用来存储日志,index每天提前一天创建,并且历史日志被迁移到stale node。现在发现现象是,每天hot node只有一块盘的在写,剩余一块盘闲置,并且是两块盘交替使用。

61e0da7e-a45f-47b0-b8d3-def4202427c2.png
 
查找文档,主要原因是es会优先在剩余空间较大的data.path上面创建shard,因为index是提前一天创建,因此shard集中被创建到了剩余空间比较大的path上,因此IO压力也就一直不均衡了。并且因为每天进行日志迁移(hot->stale),因此两块盘交替使用。
 
除了做raid,这种问题有什么比较好的解决办法吗?
 
已邀请:

bjfk2006

赞同来自:

shard多分配几个

要回复问题请先登录注册