我有点怀疑你在刷屏

一个节点死机了,无法自动重启。通过logtash导数据

Logstash | 作者 cc1079154808 | 发布于2020年08月25日 | 阅读数:1456

一个节点死机了,无法自动重启。通过logtash导数据,由于当天入的数据是0备份,节点丢失后,某些shard丢失,导致集群一直处于red状态。节点丢失后,该索引的导入速度直线下降。经测试发现是logtash的原因,logtash的input阶段是一个线程,filter和output用一个线程。中间通过一个同步队列缓存数据。如果在output的过程中出现问题,那么失败的数据会无限制地放回同步队列,然后队列中的数据被再次分配shard导入,分配到丢失shard的数据会再次失败,再次放入同步队列。因此数据一直在同步队列和es的bulk中循环。但不知道怎么才能让logstash回复正常
已邀请:

zqc0512 - andy zhou

赞同来自: cc1079154808

有个缓存文件夹 先备份 把data 目录删除了试试 

要回复问题请先登录注册