使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

es 数据节点分流不一样.

Elasticsearch | 作者 dreams | 发布于2016年03月03日 | 阅读数:6551

  有一个ES集群,一个master node,一个client node(负载均衡),5个data node,配置都是8G内存,500G硬盘.
  现有个应用的日志特别多,每秒有1-2M的日志产生,因为索引是根据应用名称区分的,所以这个应用的日志全部落地到这个索引上,索引分片为20.观察发现,其中一台机器的日志流程很多,几乎占据了3/4,导致cpu,磁盘IO负荷很重,而其他机器则很闲.
 请问下有没有哪位兄弟遇到过此问题,如何解决,不胜感激!
 
 

shared分片.png

 
已邀请:

medcl - 今晚打老虎。

赞同来自:

该index的primary shard在这个机器上吧,针对索引操作有做过优化么?

三斗室 - ELK

赞同来自:

es集群均衡分片数是按照每个节点上所有open着的分片总数尽量一致来的。不是看IO。所以如果你某个索引的写入压力比其他索引大很多,确实有可能会这样。手动reroute迁移一下,然后在index template里加一个setting,限定index.routing.allocation.total_shards_per_node吧。

要回复问题请先登录注册