使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

Kafka运一段时间,自动删除数据后,无法消费数据

默认分类 | 作者 Kafkalearner | 发布于2021年04月21日 | 阅读数:1883

该服务器为测试环境,设置log.retention.hours=48,在第一次创建topic 为test,未到48小时时,消息未被自动删除,对该test topic的写入和读取都正常。到了第三天,超过48小时,一些数据就被删除了,
(partition,offset,key,value)
0 242 3338 4D73675465737430343231313631313338313732
0 243 3430 4D73675465737430343231313631313430313639
0 244 3535 4D73675465737430343231313631313535373037
0 245 3536 4D73675465737430343231313631313536383631
0 246 3538 4D73675465737430343231313631313538373032
0 247 30 4D73675465737430343231313631323030303930
0 248 31 4D73675465737430343231313631323031303537
0 249 3232 4D73675465737430343231313632363232373837
0 250 33 4D73675465737430343231313633343033373436
0 251 3230 4D73675465737430343231313633343230303633
这时,再打开消费端就无法消费消息了。
有没有办法做到自动删除部分历史数据后,还能不影响消费者消费数据?
我之前的做法是删除掉kafka里边的日志,和zookeeper里边的data目录数据,然后重新创建test topic,这样在生产环境是不可行的。请各位大神指点,我这kafka才学了半个月。
已邀请:

tongchuan1992 - 学无止境、学以致用

赞同来自:

您好,可以在消费端消费的时候进行latest方式进行消费。

要回复问题请先登录注册