身安不如心安,屋宽不如心宽 。

ElasticSearch 如何平稳的做数据迁移

默认分类 | 作者 cch | 发布于2020年01月05日 | 阅读数:2405

ElasticSearch 如何平稳的做数据迁移,如题ElasticSearch 如何平稳的做数据迁移,如题ElasticSearch 如何平稳的做数据迁移,如题ElasticSearch 如何平稳的做数据迁移,如题ElasticSearch 如何平稳的做数据迁移,如题ElasticSearch 如何平稳的做数据迁移,如题ElasticSearch 如何平稳的做数据迁移,如题ElasticSearch 如何平稳的做数据迁移,如题ElasticSearch 如何平稳的做数据迁移,如题
已邀请:
匿名用户

匿名用户

赞同来自: lzc medcl rz111

笑了,问问题,这么应付,太勉强了。
 


答案:略

匿名用户

匿名用户

赞同来自: medcl

如题ElasticSearch 如何平稳的做数据迁移?个问题实在是太笼统了。
 
1,同一个集群做数据迁移吗?如果是,是官方提供的冷热分离吗?
要想平稳的话,有如下的建议:
  1. 机器数量假如冷热都是20台,主分片最好设置20个,副本最好设置1个。这样小分片迁移,是非常好的。
  2. 最好采用万兆网卡,这样的话本地局域网带宽不是瓶颈
  3. 最好采用SSD这样磁盘IO也能非常快速
  4. 是夸机房吗?如果是夸机房,网络带宽也是问题?

2,不同的集群之前数据迁移吗?如果是,采用ES 的远程数据迁移吗?或者使用 导入导出吗?或者是其他的工具吗?
这些都不是好方法,都有缺陷。
最好的方式,应该是利用kafka这样的消息队列,消费数据后,分别向不同的ES集群生产数据。这个算数据同步范畴,不应该算作数据迁移。
 
很多人总是理解有误,包括数据迁移,数据同步,数据备份和恢复。
 
数据迁移的目的是什么?是因为硬件有问题,或者是业务有问题,导致必须重建数据和数据模型。
数据同步的目的是什么?是因为想要对数据做容灾,或者是备份,或者是主从复制,做高可用切换。
数据备份和恢复的目的是什么?是因为想要对数据做一个永久的归档,为了将来某一刻可以恢复这些非常重要的数据。
 
 
回答的不好,大家别喷我啊,完全是自己的想法,不代表任何人。
 
 

要回复问题请先登录注册