elsticsearch 集群计划任务在每日凌晨从其他数据源同步数据后的段合并优化策略

Elasticsearch | 作者 cronous | 发布于2018年11月01日 | 阅读数：2132

目前集群下的某一索引在业务场景上不能进行拆分，在分片策略上已经预估了每个分片5年内数据增量并进行了划分，计划任务在每日凌晨从其他数据源同步数据批量写入这一索引中（包含新增和更新），这样随着时间的积累，集群中每个数据节点的segment的数量一定积累很多，为了防止查询性能的下降，考虑按照一定周期进行强制段合并，但是段合并是一种非常消耗资源的处理方式，请问除了强制段合并，有没有其他方式对集群中的段合并策略进行优化的方法吗？

2 个回复

zqc0512 - andy zhou

translog
好像只有foremegre

Dapor

curl -XPUT /index_name/_settings -d'
{ "settings": { "index.merge.policy.max_merge_at_once": 10, "index.merge.scheduler.max_thread_count": 10, "index.merge.scheduler.max_merge_count": 10, "index.merge.policy.floor_segment": "100mb", "index.merge.policy.segments_per_tier": 25, "index.merge.policy.max_merged_segment": "10gb" }
}
不同版本可能有区别自行斟酌

要回复问题请先登录或注册

elsticsearch 集群计划任务在每日凌晨从其他数据源同步数据后的段合并优化策略

2 个回复

发起人

活动推荐

相关问题

问题状态

elsticsearch 集群 计划任务在每日凌晨从其他数据源同步数据后的段合并优化策略

与内容相关的链接

2 个回复

发起人

活动推荐

相关问题

问题状态

elsticsearch 集群计划任务在每日凌晨从其他数据源同步数据后的段合并优化策略