架构:filebeat-->kafka-->logstash-->es
filebeat版本,7.4.2
背景:
服务器日志每2小时切割,2小时日志量在60-70G。一共有40台机器接入。
之前采用每台机器安装filebeat收集,因为担心影响业务,所以限制filebeat CPU为2C,发现无法及时收全日志,导致日志丢失。
现采用共享磁盘的方案,把40台机器的日志统一收集以主机名称目录存到共享磁盘中,然后创建新机器专门安装filebeat来收集,filebeat不限制CPU核心
创建机器的配置:8C16g
问题1,filebeat也无法把所有40台主机日志收集进来。
问题2,filebeat paths二台主机目录的日志,8C的CPU只能利用到400%的资源。
filebeat版本,7.4.2
背景:
服务器日志每2小时切割,2小时日志量在60-70G。一共有40台机器接入。
之前采用每台机器安装filebeat收集,因为担心影响业务,所以限制filebeat CPU为2C,发现无法及时收全日志,导致日志丢失。
现采用共享磁盘的方案,把40台机器的日志统一收集以主机名称目录存到共享磁盘中,然后创建新机器专门安装filebeat来收集,filebeat不限制CPU核心
创建机器的配置:8C16g
问题1,filebeat也无法把所有40台主机日志收集进来。
问题2,filebeat paths二台主机目录的日志,8C的CPU只能利用到400%的资源。
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3977 root 20 0 1485604 119304 19928 S 410.7 0.7 262:33.90 filebeat
问题3,有什么方案可以收集这40台的日志呢?
2 个回复
zriplj
赞同来自:
现已把机器配置升级到16C32G,filebeat采用多进程,每个进程跑1台机器的日志,开启1个filebeat进程时CPU使用率在1000%左右,开启2个进程CPU资源如下:
zqc0512 - andy zhou
赞同来自: