es存储空间增长极快,求帮助解决方法

你们好,在这里向大家请教个棘手的问题,我这里安装了elk分析工具,只有一台单点,他的配置是8核、16g内存、500g存储空间。
然后我这里有三台日志源,logstash来将数据处理后发送到redis,一台上面大概有30个应用日志,每个日志一天的增长量在50m之内,我在es的服务器上获取redis里面的数据时发现,es的数据存储目录一分钟之内增长了3个g,每个索引的大小瞬间增长到了500m并且还持续上涨。
这样我发现500g的硬盘根本不够es一天使用,请大家给我一个解决方法。es版本是6.2.4,这上面分片数是1,副本数是0
已邀请:

qiqisa

赞同来自:

望大家看到了给我个解决办法,方便的话留个联系方式,一四三三二九零零五九,我的企号

zxp123549440 - 80

赞同来自:

可以临时通过shell 定时删除 es索引库,来暂时维持
索引名称需以日期为规律

laoyang360 - [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:blog.csdn.net/laoyang360

赞同来自:

前面说了:每个日志一天的增长量在50m之内;后面:es的数据存储目录一分钟之内增长了3个g。
这个需要你进一步确认,可以安装cerebro直观查看存储磁盘的增长情况。
1、如果增长那么快,那你的磁盘500G的方案本来就是不合理的,需要部署集群。
2、或者你从入口的地方加过滤,只入ES有效的数据。
3、如果实在想删除,可以考虑delete_by_query或者curator方式实现。

zqc0512 - andy zhou

赞同来自:

一分钟3个g,需要看具体内容啊……  这里面是有translog的  要看ES具体存储的内容……

要回复问题请先登录注册