用了Elasticsearch,一口气上5T

shards数量不均衡问题

Elasticsearch | 作者 printf_uck | 发布于2020年07月16日 | 阅读数:2160

微信图片_20200716222729.png

ES6.0,索引分片是5,有八个节点,调用接口 GET _cat/shards/$myindex?v,截图如上
如图所示,业务写入ID是时间戳,没有routingID,没有出现倾斜的现象,但是查看分布情况,发现倾斜严重,请问这是为什么呢????
 
已经测试了业务的100W个写入ID分布,测试方法是id%5,分布很均衡,ID类似这样子:
"_id": "1531454926445000689",
已邀请:

heeexy

赞同来自:

有设置routing么

pony_maggie - 公众号:犀牛饲养员的技术笔记

赞同来自:

信息太少,节点的配置一样吗?负载情况如何?集群的线程池情况如何?
都贴出来看看

God_lockin

赞同来自:

分片数量和节点数量不平衡吧

Ombres

赞同来自:

shard分配,不是简单的id数值除以shard数,es标准算法是hash(id)%shard_num,用的murmur3Hash

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

您不指定id 用自动生成id 试试

要回复问题请先登录注册