需求：
存储2000台openstack计算节点的nova，ceilometer，neutron的日志。
部署方式：
1.批量部署logstash到2000台计算节点上，采集数据发送到redis缓存（单节点）
2.es集群3节点（node.master: true，node.data: true），版本：1.7.1；es的配置见附件。
3.同时启动24个logstash消费节点，分布在3台物理服务器上，从redis消费，写入es中。平均每个es节点对应8个logstash的写入。
问题：
会有近1亿多的数据积压在redis中。
请问各位大神，如何进行定位和优化，谢谢！
ps：该环境中，es的查询性能可以忽略。
存储2000台openstack计算节点的nova，ceilometer，neutron的日志。
部署方式：
1.批量部署logstash到2000台计算节点上，采集数据发送到redis缓存（单节点）
2.es集群3节点（node.master: true，node.data: true），版本：1.7.1；es的配置见附件。
3.同时启动24个logstash消费节点，分布在3台物理服务器上，从redis消费，写入es中。平均每个es节点对应8个logstash的写入。
问题：
会有近1亿多的数据积压在redis中。
请问各位大神，如何进行定位和优化，谢谢！
ps：该环境中，es的查询性能可以忽略。
9 个回复
Eric_L
赞同来自: medcl 、laoyang360
lz8086 - es小司机
赞同来自: horizon3d
xiaoke - http://blog.51cto.com/kexiaoke
赞同来自:
Eric_L
赞同来自:
lunatictwo
赞同来自:
ELK_Funs
赞同来自:
优化方面1，跳转下bulk大小。内存大的话就调大点
2，把副本取消，不要副本
3，提高refresh_internal的时间
4，增大的你等待队列长度
等等
根据自身进行跳转
medcl - 今晚打老虎。
赞同来自:
xiaoshi
赞同来自:
laoyang360 - 《一本书讲透Elasticsearch》作者，Elastic认证工程师 [死磕Elasitcsearch]知识星球地址：http://t.cn/RmwM3N9；微信公众号：铭毅天下; 博客：https://elastic.blog.csdn.net
赞同来自: