目前我的需求是1月以上的冷数据需要以成本最小的方式存储,基本不查询,需要查询时可接受较长时间将数据恢复回ES。
所以现在HDFS采用大硬盘服务器做集群,使用纠删码,这样可以保证HDFS层面服务器成本最低。
ES的备份使用快照方式。存储数据时,我希望使用gzip方式做压缩,压缩率高,现在遇到的问题是使用repository-hdfs插件做快照时,并没有找到参数指定以什么压缩方式写入HDFS,直接写入的数据看起来是没有做压缩的,这个要怎么解决呢,既然ES提供了快照到HDFS的支持,应该考虑到它的应用场景是做备份,那压缩的问题,应该是有对应解决方法的吧?
所以现在HDFS采用大硬盘服务器做集群,使用纠删码,这样可以保证HDFS层面服务器成本最低。
ES的备份使用快照方式。存储数据时,我希望使用gzip方式做压缩,压缩率高,现在遇到的问题是使用repository-hdfs插件做快照时,并没有找到参数指定以什么压缩方式写入HDFS,直接写入的数据看起来是没有做压缩的,这个要怎么解决呢,既然ES提供了快照到HDFS的支持,应该考虑到它的应用场景是做备份,那压缩的问题,应该是有对应解决方法的吧?
3 个回复
zqc0512 - andy zhou
赞同来自:
现在感觉HDFS要凉了……
wangxinrong
赞同来自:
HDFS还是比较有用的,它在高可用、存储成本方面都比较好。
wangxinrong
赞同来自:
现在就是希望快照也能有这样的参数指定,让保存到HDFS里的内容,是经HDFS压缩过的。