嘿~ 今天天气不错嘛

elasticsearch-2.3.2 path.data配置多个目录但是数据却只往一个目录写

Elasticsearch | 作者 yiyezhiqiu425 | 发布于2016年12月18日 | 阅读数:11837

elasticsearch-2.3.2 path.data配置多个磁盘目录,但是通过filebeat往ES插入数据的时候,发现和只有一个磁盘目录的索引速度差不多,并且监控各个磁盘的IO使用率,发现只有一个磁盘在使用,其他磁盘的使用率基本为0,请问这个path.data设置多个目录,默认还是往磁盘剩余空间最大的那个目录写数据吗?
已邀请:

medcl - 今晚打老虎。

赞同来自: yiyezhiqiu425

我找文档来帮忙:https://www.elastic.co/blog/pe ... g-2-0
现在是以 shard 为单位,每个 shard 都只会分配在一个物理目录上面,所以你看看你索引的 shard 布局,是不是有每次在写的 shard 

yiyezhiqiu425

赞同来自:

非常感谢大神的回复,我看了你给你文档链接,但还是有些疑问,文档中说2.0以后的ES版本对IO负载有了比较好的优化,按道理说我在2.3.2中使用多个目录,目录挂载的磁盘不同,剩余可用空间也不同,两个目录可用空间大概差500G左右,5个节点,每个索引设置都是8个主分片+1个replia,通过Marvel观察每个节点的分片分配基本都是均匀的,至于你说的每次在写的shard这个要如何观察?还有,我设置好多路径,数据应该是会自动均匀分配到多路径中去的,是还需要我设置什么吗?多谢!

winc

赞同来自:

我也遇到类似的问题  配了多个path.data路径  写数据时却只用到了其中部分  导致io成为瓶颈,楼主有最终解决吗

kennywu76 - Wood

赞同来自:

不要指望使用多路径path.data能够做到磁盘IO的均匀分布,创建shard的时候,ES是将shard分配到剩余空间最大的磁盘上的。 如果每天创建很多索引,那还好,可能热shard基本均匀分布在不同的磁盘,但是如果每天创建很少的索引和shard,并且这些shard很热,就很可能在1个或者几个磁盘上出现写热点。
 
多磁盘推荐使用raid0,磁盘IO可以均匀分布到所有磁盘。

要回复问题请先登录注册