你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

filebeat写数据到kafka乱序

Beats | 作者 Gaolin Cheng | 发布于2020年11月06日 | 阅读数：3364

分享到：QQ空间新浪微博微信 QQ好友印象笔记有道云笔记

最近我们测试环境升级filebeat版本从7.1.1到7.9.2后出现日志打到kafka中日志几秒中日志会乱序
如下图

不知道怀疑过是kafka的问题，也怀疑过是filebeat问题但是都不对

企业微信截图_46a59175-4706-4adb-a18b-261c416e7be4.png

6 个回复

cztchoice - life

赞同来自: medcl

kafka在partition数目 >1时，各个partition之间是不保序的

楼上说的对，或者你设置partition为1，就可以保序了，同一个partition里面是顺序写入的

zqc0512 - andy zhou

partition 读取问题，多个可能不一样的。你入ES的时候查询可以按照你自定义时间查询，不要入库时间。

Gaolin Cheng - 蹦哒蹦跶

我们有将测试用的kafka partition调整成1 但是日志还是乱序的我想我们需要再测试一次

cztchoice - life

需要强制保序的话，最好自己在日志里写上某个自增的序号，然后用序号进行排序

设置kafka中的max.in.flight.requests.per.connection:1

要回复问题请先登录或注册