好的想法是十分钱一打,真正无价的是能够实现这些想法的人。

关于ES集群规划的求助

Elasticsearch | 作者 taogger | 发布于2018年03月18日 | 阅读数:2295

1.用kafka做消息队列,目前每个topic大概有6个partition

2.用了es 2.3.4,3个master,16核32g,35个data节点,16核32g,后端用的共享存储,基本能满足1200的iops
3.目前大概每秒14w左右的写入,每天大概的数据量在2T算上副本4T
4.所有机子虚拟化部署,底层openstack
5.bulk队列给的比较大,500,会有部分节点写入压力大而出现rejection
6.总感觉没有把30多个机器的能力发挥出来,上层业务会用到ES的聚合,目前看查询性能也不咋地每天8小时建一个索引,一个索引50个shard,约等于节点个数两倍,求大神指点,route没做,冷热数据未分离
已邀请:

lizemin

赞同来自:

你是华为的?

lizemin

赞同来自:

你是华为的?

mmtt

赞同来自:

可以提供下目前我维护的ELK集群一些信息。5台logstash(32核64G),处理数据流,包括读取数据、处理数据、发送数据。ES集群共10台机器(2台master+8台data)。每秒可达13W-14W写入速率。数据量每天大概产生7T左右,未做副本。
参考建议可以升级下ES版本。
QQ20180319-111839@2x.jpg

 

要回复问题请先登录注册