es集群中存在超过100G的大分片是,怎么才能见效这个分片的质量(reindex成本过高..)

Elasticsearch | 作者 shadowDy | 发布于2018年08月27日 | 阅读数:926

系统提示:这个人太懒了,什么问题描述都没有写!

已邀请:

zqc0512 - andy zhou

赞同来自:

单个shard 100G 不怎么可用了吧,重新来吧。慢慢的把这100G分成多个shards  
这就耗点时间比不可用强吧。规划没有做好。
ES支持单索引配置多少条数据的。
 

laoyang360 - [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

建议考虑基于时间规划索引,借助rollover api,参见实现:https://blog.csdn.net/laoyang3 ... 32646

qw8613243

赞同来自:

优化一下reindex 优化点如下
1.逐渐提高写入的batch_size值,直到性能不在提升。默认是1000
2.增加shard refresh的时间
3.副本减少或者直接设置0
4.结合slicing使用

以上可以很好提升写入性能。

lei2018

赞同来自:

你单个shard 100G 建议看下这个索引字段数有多少 _type 是不是太多了 如果是 建议拆分成多个索引 可以显著降低资源消耗

qw8613243

赞同来自:

单索引是数据量是21亿多

要回复问题请先登录注册