我有点怀疑你在刷屏

es冷数据段合并有什么建议吗?大概200-500G左右。2t索引怎么合理拆分,不影响到聚合查询

Elasticsearch | 作者 unilke | 发布于2020年07月09日 | 阅读数:1971

1、写入或者查询高峰期cpu负载高,refresh为1/s(业务需求)有大量的聚合查询
2、有一个2t的索引,主分片为24个,2千多个segment。准备按日期拆分,但是害怕影响聚合的效率,怎么拆会比较合理,按照单个分片不大于50G?
我目前的想法是按照日期拆分后,冷数据进行段合并从而提高聚合的效率。
已邀请:

sec_master - 中国信息安全老弟

赞同来自:

1、一个索引2T,我感觉你的索引设置不合理。
2、看到你“准备按日期拆分”,说明你之前并没有按照日期来索引,一般都是带有时间戳的数据(日志),按照日期来索引是最好的一个方案。
3、拆分的话,只能重新索引了,对于一个分片多大的问题,网上查资料说:ElasticSearch推荐的最大JVM堆空间 是 30~32G, 所以把分片最大容量限制为 30GB。

juin - 大数据开发

赞同来自:

1. 单个分片建议 30G 左右大小
2. 建议根据大小滚动创建索引【写数据时直接写别名, 别名绑定最新的索引】
3.对于非绑定写数据别名的索引执行 段合并,目前我这边的策略是 1 个分片一个segment, 实际用起来还好
 
根据你们的实际情况来综合考量~

要回复问题请先登录注册