嘿~ 今天天气不错嘛

filebeat写数据到kafka乱序

Beats | 作者 Gaolin Cheng | 发布于2020年11月06日 | 阅读数:989

最近我们测试环境升级filebeat版本从7.1.1到7.9.2后 出现日志打到kafka中日志几秒中日志会乱序
如下图
 
不知道怀疑过是kafka的问题,也怀疑过是filebeat问题 但是都不对
企业微信截图_46a59175-4706-4adb-a18b-261c416e7be4.png
已邀请:

cztchoice - life

赞同来自: medcl

kafka在partition数目 >1时,各个partition之间是不保序的

pineapple

赞同来自:

楼上说的对,或者你设置partition为1,就可以保序了,同一个partition里面是顺序写入的

zqc0512 - andy zhou

赞同来自:

partition 读取 问题, 多个 可能不一样的。你入ES的时候查询 可以按照 你自定义时间查询,不要入库时间。

Gaolin Cheng - 蹦哒蹦跶

赞同来自:

我们有将测试用的kafka partition调整成1 但是日志还是乱序的 我想我们需要再测试一次

cztchoice - life

赞同来自:

需要强制保序的话,最好自己在日志里写上某个自增的序号,然后用序号进行排序

shaonianlang

赞同来自:

设置kafka中的max.in.flight.requests.per.connection:1

要回复问题请先登录注册