ES segment 文件数量过多，每个文件过小，有什么解决方案吗

Elasticsearch | 作者 fageiguanbing | 发布于2020年06月08日 | 阅读数：3270

分享到：QQ空间新浪微博微信 QQ好友印象笔记有道云笔记

如上图ES segment 文件数量过多，每个文件过小，难道必须手动定期执行force_merge吗？如果正在写入的索引该如何处理？
求社区各位大大解答

5 个回复

zqc0512 - andy zhou

赞同来自: byx313

"index.refresh_interval" : "XXXs",
"index.translog.flush_threshold_size" : "xxxxg",

fageiguanbing - java

赞同来自: AnswerTouma

突然冒泡。。。
之前问了es社区，说是走默认配置就好了。。

fageiguanbing - java

每个shard有多少个segment文件算是正合适呢？
我了解到，refresh_interval刷新的时间间隔使数据可见和 trans_log的大小，可以控制sengment文件生成的频率
之前，refresh_interval设置为30s，trans_log大小还是默认的500M，是不是下列参数影响的（截取的索引settings）？
"merge": {
"scheduler": {
"max_thread_count": "1",
"max_merge_count": "100"
},
"policy": {
"max_merge_at_once": "30",
"max_merged_segment": "5GB",
"segments_per_tier": "50",
"floor_segment": "100mb"
}
}
我观察到，只要对应的shard数据多一点，segment文件数就多一点，目前集群内部的每一个shard的segment文件数量都在40个左右，这实在是太多了，请问还有其他参数吗？