要不要再翻翻文档呢?

ES segment 文件数量过多,每个文件过小,有什么解决方案吗

Elasticsearch | 作者 fageiguanbing | 发布于2020年06月08日 | 阅读数:3205


企业微信截图_15912572578073.png

如上图ES segment 文件数量过多,每个文件过小,难道必须手动定期执行force_merge吗?如果正在写入的索引该如何处理?
求社区各位大大解答
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
已邀请:

zqc0512 - andy zhou

赞同来自: byx313

   "index.refresh_interval" : "XXXs",
   "index.translog.flush_threshold_size" : "xxxxg",

fageiguanbing - java

赞同来自: AnswerTouma

突然冒泡。。。
之前问了es社区,说是走默认配置就好了。。

fageiguanbing - java

赞同来自:

每个shard有多少个segment文件算是正合适呢?
我了解到,refresh_interval刷新的时间间隔 使数据可见  和  trans_log的大小,可以控制sengment文件生成的频率
之前,refresh_interval设置为30s,trans_log大小还是默认的500M,是不是下列参数影响的(截取的索引settings)?
"merge": {
    "scheduler": {
        "max_thread_count": "1",
        "max_merge_count": "100"
    },
    "policy": {
        "max_merge_at_once": "30",
        "max_merged_segment": "5GB",
        "segments_per_tier": "50",
        "floor_segment": "100mb"
    }
}
我观察到,只要对应的shard数据多一点,segment文件数就多一点,目前集群内部的每一个shard的segment文件数量都在40个左右,这实在是太多了,请问还有其他参数吗?

heeexy

赞同来自:

要是SSD的话 max_thread_count可以用默认配置

AnswerTouma

赞同来自:

期待作者现在的进展-。-

要回复问题请先登录注册