在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

ELK性能测试及优化

Elasticsearch | 作者 qvitt | 发布于2017年11月06日 | 阅读数:10755

我安装了一套ELK环境,filebeat-->redis-->logstash-->elasticsearch集群-->kibana;发现吞吐量特别小,后端日志量足够大的情况下,kibana端能看到的hits增长量大概只有1000/s,检查发现性能瓶颈应该是在logstash,虚拟机硬件都是2vCPU 4G内存,这远远达不到网上流传的几十万每秒的水平呀。求助如何能大幅提升吞吐性能?谢谢!

1129:之前存在问题主要是没有调整logstash的batch_size参数,调整此参数后性能大增,目前logstash配置为8vCPU,16G内存,处理速度在40000/s左右。
已邀请:

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

logstash5.X以后多了配置下,你修改下配置,举例:
-rw-r--r--.  1 root root 1736 Oct 23 06:58 jvm.options
-rw-r--r--.  1 root root 3958 Jun  9 05:07 log4j2.properties
-rw-r--r--.  1 root root 4427 Oct 24 01:16 logstash.yml
-rw-r--r--.  1 root root 1702 Jun  9 05:07 startup.options
 
比如:jvm里面可以优化堆内存等

codepub

赞同来自:

logstash是瓶颈,那就加logstash啊,个人感觉这里的redis和logstash都可以做成集群模式,没啥问题

yushun

赞同来自:

实际生产中 单台logstash(8c8g) 每秒超过8000条 就很难保证时效性了 ,扩展logstash吧

要回复问题请先登录注册