要不要也来分享分享一下啊

logstash 同步mysql 时,删除除了在业务中用代码删除,没有其他好的办法吗?

Logstash | 作者 langhua81 | 发布于2019年10月21日 | 阅读数:2366

如题:
现在 使用logstash-input-jdbc 插件 在logstash 中同步mysql 重的数据,遇到删除时,目前我时在业务中  mysql 和 es 两边进行删除的,没有其他更好的办法吗,有想过修改mysql 的日志配置,但是目前更改的话风险比较大,还有其他比较好的方法吗?
已邀请:

rochy - rochy_he

赞同来自:

将删除的 sql 转成 select 的sql,然后使用es提供的sql转dsl 接口转为 dsl
最后调用 delete_by_query 执行 dsl 即可

langhua81

赞同来自:

rochy 您好:
    我不是很理解,你看说的对不对,你说将删除的sql 转成 select .. 意思是说,,将要删除的id 用select 语句查出来,然后,使用es 提供的sql 转成dsl ? 不知道什么意思,, 

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

转换思路,借助canal(原理:基于binlog同步增删改查)实现吧。

要回复问题请先登录注册