1.用kafka做消息队列，目前每个topic大概有6个partition
2.用了es 2.3.4,3个master，16核32g，35个data节点，16核32g，后端用的共享存储，基本能满足1200的iops
3.目前大概每秒14w左右的写入，每天大概的数据量在2T算上副本4T
4.所有机子虚拟化部署，底层openstack
5.bulk队列给的比较大，500，会有部分节点写入压力大而出现rejection
6.总感觉没有把30多个机器的能力发挥出来，上层业务会用到ES的聚合，目前看查询性能也不咋地每天8小时建一个索引，一个索引50个shard，约等于节点个数两倍，求大神指点，route没做，冷热数据未分离
2.用了es 2.3.4,3个master，16核32g，35个data节点，16核32g，后端用的共享存储，基本能满足1200的iops
3.目前大概每秒14w左右的写入，每天大概的数据量在2T算上副本4T
4.所有机子虚拟化部署，底层openstack
5.bulk队列给的比较大，500，会有部分节点写入压力大而出现rejection
6.总感觉没有把30多个机器的能力发挥出来，上层业务会用到ES的聚合，目前看查询性能也不咋地每天8小时建一个索引，一个索引50个shard，约等于节点个数两倍，求大神指点，route没做，冷热数据未分离
3 个回复
lizemin
赞同来自:
lizemin
赞同来自:
mmtt
赞同来自:
参考建议可以升级下ES版本。