Easysearch、Elasticsearch 还是 Opensearch,是个问题

根据binlog更新es数据,导致联表查询的数据丢失

Elasticsearch | 作者 penzipenni | 发布于2019年03月20日 | 阅读数:2672

前提:
全量同步采用logstash-jdbc-input,join联表查询mysql数据同步到es。
增量同步采用canal + kafka +logstash +es

遇到的问题:
es中一条数据是由mysql多个表数据组合成的(联表查询),但是binlog只针对某个表的数据操作,而ES的更新操作是delete + insert,这样导致根据binlog数据去更新es中doc的时候,会让其他表字段的数据消失了,这一种情况大家有遇到吗?
该如何解决?
已邀请:

wajika

赞同来自:

logstash同步后再用canal增量同步的话,canal-client好像不支持logstash创建的mapping格式,你是怎么解决的?

要回复问题请先登录注册