加快logstash导入数据到elasticsearch的速度有哪些好的方法,目前200万条需要20多分钟

Logstash | 作者 Tanzezhi | 发布于2018年12月29日 | 阅读数:337

系统提示:这个人太懒了,什么问题描述都没有写!

已邀请:

bellengao

赞同来自:

性能调优文档:https://www.elastic.co/guide/e ... .html
主要关注三个参数:pipeline.workers, pipeline.batch.size,  pipeline.batch.delay

trycatchfinal

赞同来自:

  1. 配置logstash先将数据写入消息队列
  2. 配置多个(但不要太多,自己测试一下)logstash消费消息队列写入ES

doctor

赞同来自:

增大logstash的并发、批量,增大es的refresh时间,200w数据20分钟完全够了。

要回复问题请先登录注册