身安不如心安,屋宽不如心宽 。

怎么同步mysql数据到es中,但是数据结构不一样

Elasticsearch | 作者 zzhhacker | 发布于2018年04月10日 | 阅读数:2867

在es中保存的数据结构是由好几个表的数据计算合并而成,这种情况怎么实现更新比较好呢
已邀请:

zhihuizhou

赞同来自: zzhhacker

可以通过定时任务回滚的方式去同步数据,比如先插入基本的数据到es中,在从es中批量的查数据出来,然后在去添加其他的数据,在插入到es中

laoyang360 - Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自: zzhhacker

借助logstash_input_jdbc的增量更新功能,先将最终表数据存入数据,更新最终表到ES

yayg2008

赞同来自: zzhhacker

可以使用 datax 组件,支持自定义Sql,怎么玩随意。https://github.com/alibaba/DataX

ESWorker

赞同来自: zzhhacker

数据仓库中间件,kettle了解一下。。。

zzhhacker - 真宅男

赞同来自:

谢谢 大家的回答

要回复问题请先登录注册