用了Elasticsearch,一口气上5T

filebeat写kafka发生以天乱序问题

Beats | 作者 Gaolin Cheng | 发布于2020年11月10日 | 阅读数:2219

我们的测试环境最近由于上k8s集群 日志量很大 前端时间更新filebeat版本7.1.1 到 7.9.2后出现logstash写文件出现以天乱序的问题,文件反复收集 如图所示

企业微信截图_f747e1e3-2612-4c4f-9c16-a0f71170d150.png

 
但是删除filbeat register文件或者设置ACK  收集又会正常 
删除register文件 但是过了一两天收集还是会有问题
已邀请:

要回复问题请先登录注册