疲劳是最舒适的枕头,努力工作吧。

mysql数据同步es方法

Elasticsearch | 作者 w2856117 | 发布于2017年06月15日 | 阅读数:9580

mysql歌曲表数据(千万级)同步es,因为有大量的附属表信息也要同步过去作为查询的过滤条件(比如专辑,艺人,标签,等等等等),目前的mapping定义是这些附属信息都是nested,请问有什么好的解决方案?现在是通过代码去把附属的信息查询出来,拼接成json对象再同步的
已邀请:

RedNation

赞同来自:

可以采用阿里canal 监控日志 同步信息

luyee2010

赞同来自:

先说说 从表到表的,基本es 一个type/index对应一张表.
 现成的
1,https://github.com/siddontang/ ... earch  这个必须有pk字段
2,翻翻之前帖子的好像还有个python写的
3,自己用canal写个工具吧。。复杂点可以扩展otter,otter算是包装了canal的成套方案了,管理起来方便
 
 
 如果是多张表比如要join啥的?呵呵还是自己码代码吧
 

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

建议将要同步的字段做成视图,通过logstash-input-jdbc同步视图。

要回复问题请先登录注册