我安装了一套ELK环境,filebeat-->redis-->logstash-->elasticsearch集群-->kibana;发现吞吐量特别小,后端日志量足够大的情况下,kibana端能看到的hits增长量大概只有1000/s,检查发现性能瓶颈应该是在logstash,虚拟机硬件都是2vCPU 4G内存,这远远达不到网上流传的几十万每秒的水平呀。求助如何能大幅提升吞吐性能?谢谢!
1129:之前存在问题主要是没有调整logstash的batch_size参数,调整此参数后性能大增,目前logstash配置为8vCPU,16G内存,处理速度在40000/s左右。
1129:之前存在问题主要是没有调整logstash的batch_size参数,调整此参数后性能大增,目前logstash配置为8vCPU,16G内存,处理速度在40000/s左右。
3 个回复
laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net
赞同来自:
-rw-r--r--. 1 root root 1736 Oct 23 06:58 jvm.options
-rw-r--r--. 1 root root 3958 Jun 9 05:07 log4j2.properties
-rw-r--r--. 1 root root 4427 Oct 24 01:16 logstash.yml
-rw-r--r--. 1 root root 1702 Jun 9 05:07 startup.options
比如:jvm里面可以优化堆内存等
codepub
赞同来自:
yushun
赞同来自: