要不要也来分享分享一下啊

elasticsearch磁盘占用率一直100%

Elasticsearch | 作者 wanghao20 | 发布于2018年07月27日 | 阅读数:6315

一个节点,每秒收10MB左右的数据量,磁盘占用率一直是100%,能有什么有效的方法降低磁盘占用率吗?
已配置如下设置
"index.refresh_interval":"30s",
"index.translog.flush_threshold_size":"1024mb"
"index.translog.durability":"async",
"index.translog.sync_interval":"10s"
已邀请:

rochy - rochy_he

赞同来自:

磁盘写入 10M/S 不可能会磁盘占用 100%的,你看一下是不是其他程序也在占用
 
查看方法:https://blog.csdn.net/daiyudon ... 63314

wanghao20

赞同来自:

麻烦帮忙看看,占用率一直是这么高

wanghao20

赞同来自:

QQ截图20180727130411.jpg

QQ截图20180727130109.jpg

进程就这些,system这个进程全部是索引文件的写入

zqc0512 - andy zhou

赞同来自:

看 es tasks  ,
若条件允许,最保留方法,重新启动ES再看下。

zqc0512 - andy zhou

赞同来自:

要看索引与写入速度,对实时性要求高不高 不高可以把30秒,调整 到1分钟,或者很高。 translog 那个时间不要 默认是5G刷新下。这个10秒 有点高了。
IO 我看才不到20M啊。你确定 硬盘 没有问题?
把写入的ES的数据停了看下,是写入的问题,还是自身集群的问题。
看看tasks 是否有一直占着的进程。
单个shard多少G
 
 

yayg2008

赞同来自:

可能是你的内存太小,或者是index buffer设置的过小,导致新创建的缓存 segment因为内存不足不得不刷盘,导致磁盘高IO。

wanghao20

赞同来自:

确实是ES占用的磁盘,停了ES后磁盘直接就0%的占用了,每日新建索引,单个shard有10G,总共10个shard,内存总共12G,jvm heap设置的6G,
indices.memory.index_buffer_size: 50%
indices.memory.min_index_buffer_size: 256mb

要回复问题请先登录注册