沙师弟,师父的充电器掉了

请问一下,用canal同步复杂数据到ES的问题

Elasticsearch | 作者 dongxiao | 发布于2020年05月18日 | 阅读数:3225

需要实现一个功能,增量或者全量同步数据到ES,但是映射的字段比较复杂,很多字段需要计算后得出的值才能映射过去,如果采用canal能实现这个功能吗,很多字段不是一对一映射,当某个字段改变了,需要经过复杂计算,然后把计算结果同步到ES中的某个字段
已邀请:

m9zjl

赞同来自:

一个参考,canal数据经过kafka 然后接spark stream 翻译后再接kafka ,如果数据处理简单,可以用ingest节点处理

hackerwin7 - aggregator

赞同来自:

ETL

APaul - CSDN:https://blog.csdn.net/qq_23995091?spm=1011.2415.3001.5343 博客园:https://www.cnblogs.com/APaul

赞同来自:

canal和es对应字段类型表达方式不同,添加删除索引都需要去kibana delete对应的索引,重新put,canal的es yml文件也要对应起来;
若mysql的字段更改、删除或增加,canal的yml文件内也要做好映射(去搜索mysql和es字段映射对应关系),然后去kibana delete掉之前put的mappings,重启canal-adapter服务,修改好mappings重新put,全量推送一次,监控日志,不报错就可以了,后续的增量数据会自动实时拉取推送到es。

要回复问题请先登录注册