用了Elasticsearch,一口气上5T

ELK日志处理性能如何提升?CPU、内存占用低如何解决?

默认分类 | 作者 onionwithhoney | 发布于2021年11月30日 | 阅读数:2023

环境:windows10家庭版
AMD 4800U 8核16线程,14G内存,为jvm分配6G,logstash分配4G。
ELK版本:7.8.0
 
使用场景:使用ELK来处理网站的iis服务器日志,日志在logstash中进行正则处理,给每个字段增加标签,日志导入后在kibana中就可以按需求搜索日志,从而发现网站是否有非法访问、攻击访问,以及日志统计等。
 
问题:现在是直接通过logstash监视文件夹的方式导入日志,目前日志的处理速度很慢,CPU只占用20%-30%基本是两个核心,内存占用才不到5G。
手动在logstash.yml中增加了:
pipeline.workers: 16
pipeline.batch.size: 1250
pipeline.ordered: auto
但是没用,CPU、内存占用依然上不去,kibana中堆栈检测,logstash和elasticsearch都是3000条/s。
问:如何设置才能提高CPU占用率,加快日志处理速度?
我感觉问题出在logstash的设置,但网站找了半天没找到靠谱的方案。

logstash.png


elasticsearch.png

 
cpu.png
已邀请:

onionwithhoney - SEO,兼运营

赞同来自:

问题已解决:
原因:windows系统的命令行工具的显示速度限制了数据导入的速度。
只要在logstash的输出中取消在命令行中同步输出日志,就能全速导入日志了,CPU直接占用100%,处理速度大大提升了。
 
 

要回复问题请先登录注册