你们好,在这里向大家请教个棘手的问题,我这里安装了elk分析工具,只有一台单点,他的配置是8核、16g内存、500g存储空间。
然后我这里有三台日志源,logstash来将数据处理后发送到redis,一台上面大概有30个应用日志,每个日志一天的增长量在50m之内,我在es的服务器上获取redis里面的数据时发现,es的数据存储目录一分钟之内增长了3个g,每个索引的大小瞬间增长到了500m并且还持续上涨。
这样我发现500g的硬盘根本不够es一天使用,请大家给我一个解决方法。es版本是6.2.4,这上面分片数是1,副本数是0
然后我这里有三台日志源,logstash来将数据处理后发送到redis,一台上面大概有30个应用日志,每个日志一天的增长量在50m之内,我在es的服务器上获取redis里面的数据时发现,es的数据存储目录一分钟之内增长了3个g,每个索引的大小瞬间增长到了500m并且还持续上涨。
这样我发现500g的硬盘根本不够es一天使用,请大家给我一个解决方法。es版本是6.2.4,这上面分片数是1,副本数是0
4 个回复
qiqisa
赞同来自:
zxp123549440 - 80
赞同来自:
索引名称需以日期为规律
laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net
赞同来自:
这个需要你进一步确认,可以安装cerebro直观查看存储磁盘的增长情况。
1、如果增长那么快,那你的磁盘500G的方案本来就是不合理的,需要部署集群。
2、或者你从入口的地方加过滤,只入ES有效的数据。
3、如果实在想删除,可以考虑delete_by_query或者curator方式实现。
zqc0512 - andy zhou
赞同来自: