使用 dmesg 来查看一些硬件或驱动程序的信息或问题。

ES 集群节点角色配比,求大佬指点一下

Elasticsearch | 作者 SKYNE | 发布于2020年06月01日 | 阅读数:3096

#### 0. 背景
a. 前面发了一个贴介绍了当前集群的一些情况,请移步之前的发帖
b. 同时也非常感谢几位前辈的建议
c. 现在要准备实操优化了,自己准备分两个阶段进行:
​ 阶段一:  集群角色和资源配置优化
​ 阶段二: 冷热数据分离和索引生命周期管理
d. 下面是自己准备对阶段一的方案,希望有优化维护ES集群的大佬帮忙指点一下,非常感谢
#### 1. 原集群角色和资源配置概况
   a. 集群角色配置不合理,没有设置属性,无法做冷热数据分离,也就无法配合做索引生命周期管理
   b. 下面是具体的节点角色和资源配置情况,更详细的背景和介绍,请移步之前的发帖
   c. 上次发帖说错了一个重要事情,存储都是 固态硬盘自己给说成了机械硬盘。。。

#### 2. 节点角色变更
​ a. 准备配置 3台 Master,8G 内存。4台 Ingest,31G内存。2台 Coordinating-Only,31G内存
​ b. 准备配置 34台Data节点,31G内存。24台 Hot,8台 Warm,2台 Cold,比例 12:4:1
​ c. 因为数据节点资源配置相同,故从数据节点数量上来配比,使得资源往不同

#### 3. ILM配置
a. Hot:  使用Rollover,max_size超过100G时滚动,优先级设置为 100
b. Warm: 超过 90天的索引移动到warm节点,一个副本分片,shrink到4个主分片并ForceMerge,优先级50
c. Cold: 超过240天索引移动至cold节点,0个副本并 Freeze 索引
d. Delete: 无
#### 4. 其他配置
a. 原索引模板默认 32的主分片,一个副本分片,准备变更为 默认 16个主分片,1个副本分片
​    依据:  节点数 = 主分片数 * ( 副本分片数 + 1) ,   分片数 = 单索引大小  /  20G
b. 关闭Data节点的Http功能
#### 5. 忧心忡忡
a. Master节点 8G内存是否有点少
b. Data节点的配置比例是否合理
c. Ingest节点与Coordinating-Only节点配比是否得当
d. 再次希望有优化维护ES集群的大佬帮忙指点一下,超级感谢
 
已邀请:

SKYNE

赞同来自: laoqianya

@laoyang360 好的,多谢多谢前辈建议。我再统计下相关的指标。还有一事不明,因为这边的集群是单主机多实例,主机内存是256G,运行4个数据节点,每个节点准备给31G内存,剩余的50%留给OS和Lucene。这样也符合官方的建议吧。

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

建议您说下:qps, 写入指标(写入吞吐等),检索指标(响应时延等)。
因为集群的部署最重要的目的之一就是通过优化配置、节点角色区分、横向扩展、合理分片机制最大化提升集群性能。


数据节点,如果有可能建议内存设置64GB,堆设置31GB. 给缓存和段存储有更多内存空间提升性能。

主节点、ingest需要结合业务测试下内存使用做决定。


任何脱离业务实际谈优化,仅仅是建议,所以要结合业务实际去配置、调优。

必要的时候,esrally能辅助帮一把。

kitdeng - ELK应用者

赞同来自:

建议上私有云,比如VMware esxi或者免费的kvm,1台主机虚拟4台虚拟主机使用,可随时调配硬件资源,也节省资源,还不用担心1台主机down掉影响其他es节点。主副分片不设置在一台硬件主机上,硬件主机也可以分机架部署。

要回复问题请先登录注册