有个人长的像洋葱,走着走着就哭了…….

elasticsearch集群5台机器只有一台机器负载高,发现该机器磁盘每秒需要读取150M的数据,为什么

Elasticsearch | 作者 zhanglin | 发布于2020年11月27日 | 阅读数:1401

环境信息:5台机器,配置相同:16核,32G,机械磁盘
未做master节点和数据节点分离
 
背景:机器负载最高达到过40,重启后,截图中最高到27
 
现象:
负载高时发现磁盘读取速度150M/S
 
排查程度:
1.有问题节点没有出现文档分布不均匀问题
2.分片分配没有不均匀
3.网上搜索一下有人说可能跟操作系统的cache有关,但是不明白
 
求助有经历过该问题的大佬,没有思路了
负载高.png 读取150M截图.png query_cache截图.png
已邀请:

xiaoyanghapi - Elasticsearch 爱好者

赞同来自:

通过热点线程api看下能否定位问题

zhanglin

赞同来自:

谢谢提供思路,等负载高的时候我试试看,我们线上集群不太稳定,现在是正常的

lijianghu - timesaving

赞同来自:

解决方案:
1:将副本数量设置为0:index.number_of_replicas=0
2:将主分片均匀的落到各个节点
如果是由于分片不均匀导致的单节点负载过高,可以试下上述设置

要回复问题请先登录注册