前提:
全量同步采用logstash-jdbc-input,join联表查询mysql数据同步到es。
增量同步采用canal + kafka +logstash +es
遇到的问题:
es中一条数据是由mysql多个表数据组合成的(联表查询),但是binlog只针对某个表的数据操作,而ES的更新操作是delete + insert,这样导致根据binlog数据去更新es中doc的时候,会让其他表字段的数据消失了,这一种情况大家有遇到吗?
该如何解决?
全量同步采用logstash-jdbc-input,join联表查询mysql数据同步到es。
增量同步采用canal + kafka +logstash +es
遇到的问题:
es中一条数据是由mysql多个表数据组合成的(联表查询),但是binlog只针对某个表的数据操作,而ES的更新操作是delete + insert,这样导致根据binlog数据去更新es中doc的时候,会让其他表字段的数据消失了,这一种情况大家有遇到吗?
该如何解决?
1 个回复
wajika
赞同来自: