悟空,拿我的打狗棒来

请教一下elasticsearch 与 mysql 同步问题

Elasticsearch | 作者 m9rco | 发布于2019年04月30日 | 阅读数:2290

请教一下大家都是怎么对mysql数据做同步的呢? 我们这边目前是通过脚本去批量创建,业务入库一条数据,随之也入库一条数据到elasticsearch,不知道操作是否存在问题
 
简书有位老师推荐了以下四种方式
  1.  elasticsearch-jdbc:作者蛮努力的,源源不断的更新,Java写的
  2.  elasticsearch-river:太监了,已经两三年没更新了
  3.  go-mysql-es:国人写的,还未稳定
  4.  logstash-input-jdbc:Ruby写的,且是官方推荐

已邀请:

m9rco

赞同来自:

因为可能不是 一个表对应一个map,可能某个表对应两个map的结果

kr9226 - 我愿意一步一步走向我想要的世界

赞同来自:

那数据间的关联关系也是通过脚本建立好,然后一起插入到es里的么?
我们这边在做的时候是kafka读取mysql 的binlog,然后有程序监听kafka消息,再进行业务数据组装,写入到es里的

lingo - Let's Think!

赞同来自:

推荐阿里开源中间件Canal,封装了监听binlog的操作。使用简单快捷

要回复问题请先登录注册