MySQL中表无唯一递增字段,也无唯一递增时间字段,该怎么使用logstash实现MySQL实时增量导数据到es中?我的ELK版本是6.5.3

Logstash | 作者 gxguetcw | 发布于2019年02月21日 | 阅读数:213

系统提示:这个人太懒了,什么问题描述都没有写!

已邀请:

laoyang360 - [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自: gxguetcw

logstash增量有两种方式:1、基于时间递增;2、基于递增字段比如:id。
两者都没有,就不大好办。
如果非要使用logstash,建议修改一下表结构。
 
其他的同步方式:比如——kafka-connector,也需要基于时间或者自增id的,才能实现增量。
推荐:
https://docs.confluent.io/curr ... -jdbc

plt140 - 职场新人,蒸汽人,大数据,搜索引擎

赞同来自: gxguetcw

如果不是非要用logstash可以看一下阿里的canal项目,使用binlog来进行增量的话倒是可以忽略标记字段的限制

laoyang360 - [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自: gxguetcw

Debezium实现Mysql到Elasticsearch高效实时同步 能满足你的要求。:https://blog.csdn.net/laoyang3 ... 97886

要回复问题请先登录注册