不要急,总有办法的

elasticsearch集群日志存储问题

Elasticsearch | 作者 Albert_ELK | 发布于2018年07月12日 | 阅读数:4429

服务器是centos6.9
软件版本是6.1.0已经x-pack
 
之前一直是单节点,每天会根据日期新增一个indices,日志大小在20G左右。健康状态是yellow。
由于日志越来越多,所以增加了一台服务器作为新的节点来组成es集群。主节点硬盘是600g,副节点是500g。
现在集群起来后发现主节点把之前的日志都同步给了副节点,每天日志量从20g变成了40g,副节点硬盘几乎已经用完,每当同步完一个indices后,节点就会显示为green, 为什么不是平均分配给两个节点,这样加了一个节点的话就没有意义了。
 
本来是想加一个节点,这样可以多存储一点日志的,现在把日志都同步给新节点了,等于是没有加。
 
本人新手,求大神指导。
已邀请:

code4j - coder github: https://github.com/rpgmakervx

赞同来自: Albert_ELK

日志索引不要留副本。
另外,集群状态yellow 是因为有副本没有分配成功,和数据量没有关系。你把副本下了,两个机器两个主分片,这样就会负载均衡的。
 
通过kopf cerebro等运维工具调整副本,分片等配置比较直观,新手要是api还不熟悉容易漏掉很多信息。

要回复问题请先登录注册