数据同步

数据同步

跨集群数据同步方案讨论

Elasticsearchluyuncheng 回复了问题 • 7 人关注 • 3 个回复 • 4886 次浏览 • 2019-04-11 11:33 • 来自相关话题

mongo与ES 2.0+版本数据实时同步问题?

Elasticsearchzhr85210078 回复了问题 • 5 人关注 • 3 个回复 • 2449 次浏览 • 2018-07-25 16:25 • 来自相关话题

请求指导技术解决方向

Elasticsearchyayg2008 回复了问题 • 3 人关注 • 2 个回复 • 708 次浏览 • 2018-05-10 21:38 • 来自相关话题

怎么同步mysql数据到es中,但是数据结构不一样

Elasticsearchzzhhacker 回复了问题 • 6 人关注 • 5 个回复 • 1615 次浏览 • 2018-04-11 17:44 • 来自相关话题

elasticsearch垮机房的两个集群 如何保持数据一致性呢

回复

Elasticsearchabc707 发起了问题 • 2 人关注 • 0 个回复 • 1203 次浏览 • 2017-10-24 15:43 • 来自相关话题

mysql数据同步es方法

Elasticsearchlaoyang360 回复了问题 • 4 人关注 • 3 个回复 • 3438 次浏览 • 2017-08-21 18:25 • 来自相关话题

求复杂业务下数据导入elasticsearch的解决方案

Elasticsearchwengqiankun 回复了问题 • 7 人关注 • 5 个回复 • 1784 次浏览 • 2017-06-29 15:39 • 来自相关话题

条新动态, 点击查看
medcl

medcl 回答了问题 • 2018-05-21 23:17 • 3 个回复 不感兴趣

跨集群数据同步方案讨论

赞同来自:

关于方案1,有兴趣试试我的这个小工具么,目前支持多集群多写了,自带本地磁盘队列,支持扩展外部 MessageQueue,如 Kafka,RabbitMQ。地址: https://github.com/medcl/elasticsearch-proxy​
 
方... 显示全部 »
关于方案1,有兴趣试试我的这个小工具么,目前支持多集群多写了,自带本地磁盘队列,支持扩展外部 MessageQueue,如 Kafka,RabbitMQ。地址: https://github.com/medcl/elasticsearch-proxy​
 
方案2最复杂,需要从原始数据开始进行处理,需要从 MySQL 到 ES 的文档转换,MySQL 的数据表达方式往往不够直观,使用起来不是很方便。
 
方案3,目前 ES 的 Translog 不能直接读取,修改底层代码产生新的分支,不具实际可行性。
 
还有方案么,有的:
 
方案4,ES 正在实现新的 CCR,cross cluster replication, 基于底层 sequence id 机制,实现的 Changes API,一个集群可被另外一个集群或是本集群“订阅”,从而可以实现数据复制,进行同步,可以是跨数据中心集群也可以本地集群的数据同步。
 
 
 

跨集群数据同步方案讨论

回复

Elasticsearchluyuncheng 回复了问题 • 7 人关注 • 3 个回复 • 4886 次浏览 • 2019-04-11 11:33 • 来自相关话题

mongo与ES 2.0+版本数据实时同步问题?

回复

Elasticsearchzhr85210078 回复了问题 • 5 人关注 • 3 个回复 • 2449 次浏览 • 2018-07-25 16:25 • 来自相关话题

请求指导技术解决方向

回复

Elasticsearchyayg2008 回复了问题 • 3 人关注 • 2 个回复 • 708 次浏览 • 2018-05-10 21:38 • 来自相关话题

怎么同步mysql数据到es中,但是数据结构不一样

回复

Elasticsearchzzhhacker 回复了问题 • 6 人关注 • 5 个回复 • 1615 次浏览 • 2018-04-11 17:44 • 来自相关话题

elasticsearch垮机房的两个集群 如何保持数据一致性呢

回复

Elasticsearchabc707 发起了问题 • 2 人关注 • 0 个回复 • 1203 次浏览 • 2017-10-24 15:43 • 来自相关话题

mysql数据同步es方法

回复

Elasticsearchlaoyang360 回复了问题 • 4 人关注 • 3 个回复 • 3438 次浏览 • 2017-08-21 18:25 • 来自相关话题

求复杂业务下数据导入elasticsearch的解决方案

回复

Elasticsearchwengqiankun 回复了问题 • 7 人关注 • 5 个回复 • 1784 次浏览 • 2017-06-29 15:39 • 来自相关话题