身安不如心安,屋宽不如心宽 。

filebeat采集日志文件报错

Beats | 作者 jhondom | 发布于2020年04月22日 | 阅读数:906

elk日志系统通过filebeat+kafka+logstash+es+kibana.通过filebeat采集日志过程中报错,提示是单条日志文件过大,kafka的默认是1000000 字节。如果不调整kafka的数据(调整了影响性能),有没有办法通过filebeat端做设置,比如发现单条日志文件过大就舍弃?请教各位老师有没有相关方案?
报错信息:

QQ截图20200422190405.png

 
已邀请:

shuchen

赞同来自:

建议使用filebeat的处理器processors: 
  - drop_event: 
    when: 
      condition
 

jhondom

赞同来自:

好的,我先使用下。谢谢

要回复问题请先登录注册