该服务器为测试环境,设置log.retention.hours=48,在第一次创建topic 为test,未到48小时时,消息未被自动删除,对该test topic的写入和读取都正常。到了第三天,超过48小时,一些数据就被删除了,
(partition,offset,key,value)
0 242 3338 4D73675465737430343231313631313338313732
0 243 3430 4D73675465737430343231313631313430313639
0 244 3535 4D73675465737430343231313631313535373037
0 245 3536 4D73675465737430343231313631313536383631
0 246 3538 4D73675465737430343231313631313538373032
0 247 30 4D73675465737430343231313631323030303930
0 248 31 4D73675465737430343231313631323031303537
0 249 3232 4D73675465737430343231313632363232373837
0 250 33 4D73675465737430343231313633343033373436
0 251 3230 4D73675465737430343231313633343230303633
这时,再打开消费端就无法消费消息了。
有没有办法做到自动删除部分历史数据后,还能不影响消费者消费数据?
我之前的做法是删除掉kafka里边的日志,和zookeeper里边的data目录数据,然后重新创建test topic,这样在生产环境是不可行的。请各位大神指点,我这kafka才学了半个月。
(partition,offset,key,value)
0 242 3338 4D73675465737430343231313631313338313732
0 243 3430 4D73675465737430343231313631313430313639
0 244 3535 4D73675465737430343231313631313535373037
0 245 3536 4D73675465737430343231313631313536383631
0 246 3538 4D73675465737430343231313631313538373032
0 247 30 4D73675465737430343231313631323030303930
0 248 31 4D73675465737430343231313631323031303537
0 249 3232 4D73675465737430343231313632363232373837
0 250 33 4D73675465737430343231313633343033373436
0 251 3230 4D73675465737430343231313633343230303633
这时,再打开消费端就无法消费消息了。
有没有办法做到自动删除部分历史数据后,还能不影响消费者消费数据?
我之前的做法是删除掉kafka里边的日志,和zookeeper里边的data目录数据,然后重新创建test topic,这样在生产环境是不可行的。请各位大神指点,我这kafka才学了半个月。
1 个回复
tongchuan1992 - 学无止境、学以致用
赞同来自: