Hello,World

求助:如何高效的从ES中同步数据到postgresql数据库中?

Elasticsearch | 作者 wahaha12 | 发布于2016年12月15日 | 阅读数:5278

目前有个项目,数据先被存储到ES中,ES每天新建一个index,可能时刻都会往ES里面存数据。 然后,又需要将ES中的数据取出来,用python做一些处理,再转存到postgresql数据库中。 看了python的helper.scan 函数,如果是对今天以前的index遍历存储,是没有问题的。问题是 对ES中当天的index数据怎么比较有效的获取?
因为如果还是用scan函数的话,是不是就存在重复读取数据的问题?效率有点低感觉。

才接触es,很多不懂,望各位大神点拨一下,不甚感激啊啊啊~~~~
已邀请:

要回复问题请先登录注册