在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

es集群设计中的思考(分职责部署在大规模集群中真的很重要!)

Elasticsearch | 作者 code4j | 发布于2018年06月22日 | 阅读数:2634

最近遇到一个case,一个三个节点的集群,每个节点磁盘32T,内存64G,cpu16核。
 
集群有900个索引,15T空间占用,但是集群扛不住压力了。
 
排查了下原因,原来是主节点压力太大了,cmsgc平均不到三分钟一次,每次耗时1分钟左右,所有接口都不可用。
 
看了下集群配置,因为数据节点和主节点的职责是婚用的,所以主节点受数据节点压力的影响,导致很多操作都失败了。原来没有分职责的原因估计是之前集群没什么数据量压力很小,而且本着最小成本原则也就没有分职责部署了。
 
 
但是转念想了一下,假设我分开职责部署了,主节点分离了,数据节点的内存压力依然很大,这时候我要怎么做呢,也只能不断扩大集群数据节点的规模了吗?
 
 
已邀请:

vearne - stay foolish stay hungry

赞同来自:

扩节点吧,15T的话,才3台机器太少了。

viewsite

赞同来自:

数据节点压力大,可以做的优化很多,比如分片,均衡,mapping,lucene等,实在扛不住了才是扩容,你首先要确定消耗内存的瓶颈在哪。

要回复问题请先登录注册