我刚打酱油去了,不好意思

索引数据历史备份,要求可查

Elasticsearch | 作者 morenbo7758258 | 发布于2019年11月14日 | 阅读数:1288

官网是通过共享文件夹来实现snapshot和restore,由于条件有限,无法安装nfs或者nas等,有没有其他的方案可以备份历史数据并且可恢复供查询
已邀请:

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

匿名用户

匿名用户

赞同来自:

没有, 也没必要。不知道是什么目的要实现如此功能。
 
数据既然是备份,那么备份的目的是为了恢复数据。
 
ES 既然查询,那么数据就要由ES管理。
 
这能实现吗?
 
即使从底层lucene入手,将底层io读写 改成 从 hdfs 这样文件系统读写。
 
还是没有什么必要的。
 
需求不是随便接的,这就是不合理的需求,也是你们领导拍着脑袋想出来的。
 
难为自己,也难为员工。
 
 
我想了一下,你们的需求可能是如下:
 
历史数据想要跟实时数据分离开,
实时数据7天,历史数据2个月,历史数据查询非常少,又不会插入修改,删除等操作,实时数据查询多,插入多,删除修改也多。
 
那么这种情况如何做?
 
1,利用ES 机架模式,分离冷热数据。但是这种方式,冷热数据还是在一个超大集群里面。
 
2,分集群,一年12个集群,(按月分),一年52个集群(按周分),或者其他策略。动态的根据策略切换集群即可。
 
说到备份,当你的集群有几十TB数据,那么备份就是灾难,特别是全量备份。
增量备份,流式备份,还好。(数据量一大,还是灾难)
所以说备份,一定要用kafka这种队列实现,后台恢复数据。并实时恢复到一个备份的ES集群。
并且用VIP漂移的方式,时刻准备着,主ES集群不可用,立马切换到从ES集群提供服务。

要回复问题请先登录注册