环境：windows10家庭版
AMD 4800U 8核16线程，14G内存，为jvm分配6G，logstash分配4G。
ELK版本：7.8.0
使用场景：使用ELK来处理网站的iis服务器日志，日志在logstash中进行正则处理，给每个字段增加标签，日志导入后在kibana中就可以按需求搜索日志，从而发现网站是否有非法访问、攻击访问，以及日志统计等。
问题：现在是直接通过logstash监视文件夹的方式导入日志，目前日志的处理速度很慢，CPU只占用20%-30%基本是两个核心，内存占用才不到5G。
手动在logstash.yml中增加了：
pipeline.workers: 16
pipeline.batch.size: 1250
pipeline.ordered: auto
但是没用，CPU、内存占用依然上不去，kibana中堆栈检测，logstash和elasticsearch都是3000条/s。
问：如何设置才能提高CPU占用率，加快日志处理速度？
我感觉问题出在logstash的设置，但网站找了半天没找到靠谱的方案。
AMD 4800U 8核16线程，14G内存，为jvm分配6G，logstash分配4G。
ELK版本：7.8.0
使用场景：使用ELK来处理网站的iis服务器日志，日志在logstash中进行正则处理，给每个字段增加标签，日志导入后在kibana中就可以按需求搜索日志，从而发现网站是否有非法访问、攻击访问，以及日志统计等。
问题：现在是直接通过logstash监视文件夹的方式导入日志，目前日志的处理速度很慢，CPU只占用20%-30%基本是两个核心，内存占用才不到5G。
手动在logstash.yml中增加了：
pipeline.workers: 16
pipeline.batch.size: 1250
pipeline.ordered: auto
但是没用，CPU、内存占用依然上不去，kibana中堆栈检测，logstash和elasticsearch都是3000条/s。
问：如何设置才能提高CPU占用率，加快日志处理速度？
我感觉问题出在logstash的设置，但网站找了半天没找到靠谱的方案。
1 个回复
onionwithhoney - SEO，兼运营
赞同来自:
原因：windows系统的命令行工具的显示速度限制了数据导入的速度。
只要在logstash的输出中取消在命令行中同步输出日志，就能全速导入日志了，CPU直接占用100%，处理速度大大提升了。