如图所示
logstash conf文件
es部署在一台机器上 内存8g
elasticsearch.yml 配置
bootstrap.memory_lock: true
jvm.options
-Xms7g
-Xmx7g
logstash部署在另一台机器上内存10g
logstash.yml
pipeline.workers: 32
pipeline.batch.size: 2000
jvm.options
-Xms9g
-Xmx9g
实现思路：
每次读取10万条数据，分页数据5万条，每3分钟启动一个logstash，解决jdbc嵌套子查询效率低下问题
结果：
1 读取10万数据，需要3分钟，500万条数据读取需要花费2个多小时，效率低下
想解决的问题
1 读取10万条数需要3分钟，缩短时间
2 每次启动logstash实例需要耗时1分钟，缩短时间
logstash conf文件
es部署在一台机器上 内存8g
elasticsearch.yml 配置
bootstrap.memory_lock: true
jvm.options
-Xms7g
-Xmx7g
logstash部署在另一台机器上内存10g
logstash.yml
pipeline.workers: 32
pipeline.batch.size: 2000
jvm.options
-Xms9g
-Xmx9g
实现思路：
每次读取10万条数据，分页数据5万条，每3分钟启动一个logstash，解决jdbc嵌套子查询效率低下问题
结果：
1 读取10万数据，需要3分钟，500万条数据读取需要花费2个多小时，效率低下
想解决的问题
1 读取10万条数需要3分钟，缩短时间
2 每次启动logstash实例需要耗时1分钟，缩短时间
2 个回复
laoyang360 - 《一本书讲透Elasticsearch》作者，Elastic认证工程师 [死磕Elasitcsearch]知识星球地址：http://t.cn/RmwM3N9；微信公众号：铭毅天下; 博客：https://elastic.blog.csdn.net
赞同来自:
2.根据ES队列和线程池，适当的调整jdbc_page_size的值；
3.考虑使用其他方案，参考：用golang开发了一个gohangout (https://github.com/childe/gohangout ) ，
内存比java 版的hangout(https://github.com/childe/hangout) 内存大幅降低。
zqc0512 - andy zhou
赞同来自:
-b xx - w xx -u xx