即使是不成熟的尝试,也胜于胎死腹中的策略。

格式字段各不相同的日志,是使用type呢?还是新建不同的index?

Elasticsearch | 作者 el1035471207 | 发布于2020年06月15日 | 阅读数:993

公司业务需求接收各种syslog日志,日志种类繁多,字段各不相同。使用es如果根据不同index存储日志,index会很多
 
日志类型上千种,而且可能不断新增。现在公司用的es版本为5.4。请问这种情况你们是怎么处理?
已邀请:

juin - 大数据开发

赞同来自:

先升级ES 吧
 
然后可以根据项目区分索引,
比如A 项目有日志x1,x2,x3, 那可以在数据中加个字段区分下是A 项目下的哪个日志,这可以大幅减少分片数量
然后再按照大小切割索引,及时删除价值不大的历史数据

要回复问题请先登录注册