日志长时间保存方案

Elasticsearch | 作者 shjdwxy | 发布于2018年05月28日 | 阅读数:1993

各位:请教一下

es用来做日志系统,日志长时间(大于三个月,甚至一年)保存在es里面,成本还是比较高。业界有没有什么好的长时间保存日志的方案?

最好是比较新的日志保存在es里面,大于一定时间的日志,迁移到其他系统(例如hdfs)。迁移到其他系统后,也需要提供一定的查询方式,但实时性不需要要求很高,功能也无需es那么全面。
 
 
大家有什么建议吗?
已邀请:

medcl - 今晚打老虎。

赞同来自: vearne laoyang360

常见的几种方案
  • 冷热分离,集群划分冷热 zone,按周期自动迁移不是最新的数据到冷 zone 去,冷 zone 大硬盘,查 cold 数据性能差点
  • 离线归档,如 HDFS,按需加载到 es 再分析,速度慢,不实时
  • 使用 rollups,需要ES 6.3,将历史数据按查询需求预聚合生成新的更小的索引,历史数据可归档或删除,目前最佳

要回复问题请先登录注册