logstash-input-jdbc 导入500万条数据，24小时还没有导完，求提升效率办法

Logstash | 作者 piaoxuan1987 | 发布于2018年07月31日 | 阅读数：2273

2 个回复

laoyang360 - 《一本书讲透Elasticsearch》作者，Elastic认证工程师 [死磕Elasitcsearch]知识星球地址：http://t.cn/RmwM3N9；微信公众号：铭毅天下; 博客：https://elastic.blog.csdn.net

赞同来自: qw8613243

1你这是全量导入，没有设置增量。
2一旦你重启，数据会从头遍历。
3提升效率可以考虑优化es的线程池、队列大小，提高并发。
4当前1s最多导入5000条数据（见你的设置），一天最大量：86400*5000,你可以根据情况5000调大些

不是没有导完，是导入了很多版本。
和我遇到的问题一样：参考问题

要回复问题请先登录或注册