es在这种情况下很慢,求解答

Elasticsearch | 作者 zcx | 发布于2019年01月03日 | 阅读数:205

filebeat监控30个文件(每天一个),然后扔给logstash处理,然后到es中,在es中根据数据中的logdate字段建不同的索引,如:filebeat-2019-01-03等。比如说这30个文件是离线的日志,此时建索引的速度非常慢。
 
如果将30个原始文件最后只建一个索引,会很快。
如果将30个原始文件合并成一个文件去处理,最后建30个索引,也会很快。
 
求解。谢谢
已邀请:

doctor

赞同来自:

是不是filebeat端太慢了,文件较多filebeat刷新注册表会耗费较多时间。写多个索引可能是索引间切换导致批量较小,刷盘频繁导致。

要回复问题请先登录注册