提问:布和纸怕什么?

elasticsearch如何全量从MySQL导入千万级别数据

默认分类 | 作者 JonahYan | 发布于2018年05月17日 | 阅读数:7039

公司原先使用的是Solr来做搜索,现在准备转elasticsearch,现有数据一千多万,我试过logstash-input-jdbc来配置增量可以实现,但是全量的话,一下子分页50000条logstash会卡死,有没有同学做过类似迁移,谢谢
已邀请:

zqc0512 - andy zhou

赞同来自:

你把mysql数据导出拆分下,logstash JVM调整大些看。
 

medcl - 今晚打老虎。

赞同来自:

分页没有必要这么大啊,设置小点哈

Memento - Memento

赞同来自:

作者现在是如何解决这个问题的? logstash 的分页是在全表扫描之后, 最外层套的 limit offset, 所以分页效果在大数据量的时候效果很差. 我现在只是用 fetch-size, 然后mysql 开启游标查询来处理的.

要回复问题请先登录注册