#### 0. 背景
a. 前面发了一个贴介绍了当前集群的一些情况,请移步之前的发帖
b. 同时也非常感谢几位前辈的建议
c. 现在要准备实操优化了,自己准备分两个阶段进行:
阶段一: 集群角色和资源配置优化
阶段二: 冷热数据分离和索引生命周期管理
d. 下面是自己准备对阶段一的方案,希望有优化维护ES集群的大佬帮忙指点一下,非常感谢
#### 1. 原集群角色和资源配置概况
a. 集群角色配置不合理,没有设置属性,无法做冷热数据分离,也就无法配合做索引生命周期管理
b. 下面是具体的节点角色和资源配置情况,更详细的背景和介绍,请移步之前的发帖
c. 上次发帖说错了一个重要事情,存储都是 固态硬盘自己给说成了机械硬盘。。。
#### 2. 节点角色变更
a. 准备配置 3台 Master,8G 内存。4台 Ingest,31G内存。2台 Coordinating-Only,31G内存
b. 准备配置 34台Data节点,31G内存。24台 Hot,8台 Warm,2台 Cold,比例 12:4:1
c. 因为数据节点资源配置相同,故从数据节点数量上来配比,使得资源往不同
#### 3. ILM配置
a. Hot: 使用Rollover,max_size超过100G时滚动,优先级设置为 100
b. Warm: 超过 90天的索引移动到warm节点,一个副本分片,shrink到4个主分片并ForceMerge,优先级50
c. Cold: 超过240天索引移动至cold节点,0个副本并 Freeze 索引
d. Delete: 无
#### 4. 其他配置
a. 原索引模板默认 32的主分片,一个副本分片,准备变更为 默认 16个主分片,1个副本分片
依据: 节点数 = 主分片数 * ( 副本分片数 + 1) , 分片数 = 单索引大小 / 20G
b. 关闭Data节点的Http功能
#### 5. 忧心忡忡
a. Master节点 8G内存是否有点少
b. Data节点的配置比例是否合理
c. Ingest节点与Coordinating-Only节点配比是否得当
d. 再次希望有优化维护ES集群的大佬帮忙指点一下,超级感谢
a. 前面发了一个贴介绍了当前集群的一些情况,请移步之前的发帖
b. 同时也非常感谢几位前辈的建议
c. 现在要准备实操优化了,自己准备分两个阶段进行:
阶段一: 集群角色和资源配置优化
阶段二: 冷热数据分离和索引生命周期管理
d. 下面是自己准备对阶段一的方案,希望有优化维护ES集群的大佬帮忙指点一下,非常感谢
#### 1. 原集群角色和资源配置概况
a. 集群角色配置不合理,没有设置属性,无法做冷热数据分离,也就无法配合做索引生命周期管理
b. 下面是具体的节点角色和资源配置情况,更详细的背景和介绍,请移步之前的发帖
c. 上次发帖说错了一个重要事情,存储都是 固态硬盘自己给说成了机械硬盘。。。
#### 2. 节点角色变更
a. 准备配置 3台 Master,8G 内存。4台 Ingest,31G内存。2台 Coordinating-Only,31G内存
b. 准备配置 34台Data节点,31G内存。24台 Hot,8台 Warm,2台 Cold,比例 12:4:1
c. 因为数据节点资源配置相同,故从数据节点数量上来配比,使得资源往不同
#### 3. ILM配置
a. Hot: 使用Rollover,max_size超过100G时滚动,优先级设置为 100
b. Warm: 超过 90天的索引移动到warm节点,一个副本分片,shrink到4个主分片并ForceMerge,优先级50
c. Cold: 超过240天索引移动至cold节点,0个副本并 Freeze 索引
d. Delete: 无
#### 4. 其他配置
a. 原索引模板默认 32的主分片,一个副本分片,准备变更为 默认 16个主分片,1个副本分片
依据: 节点数 = 主分片数 * ( 副本分片数 + 1) , 分片数 = 单索引大小 / 20G
b. 关闭Data节点的Http功能
#### 5. 忧心忡忡
a. Master节点 8G内存是否有点少
b. Data节点的配置比例是否合理
c. Ingest节点与Coordinating-Only节点配比是否得当
d. 再次希望有优化维护ES集群的大佬帮忙指点一下,超级感谢
3 个回复
SKYNE
赞同来自: laoqianya
laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net
赞同来自:
因为集群的部署最重要的目的之一就是通过优化配置、节点角色区分、横向扩展、合理分片机制最大化提升集群性能。
数据节点,如果有可能建议内存设置64GB,堆设置31GB. 给缓存和段存储有更多内存空间提升性能。
主节点、ingest需要结合业务测试下内存使用做决定。
任何脱离业务实际谈优化,仅仅是建议,所以要结合业务实际去配置、调优。
必要的时候,esrally能辅助帮一把。
kitdeng - ELK应用者
赞同来自: