要不要也来分享分享一下啊

用logstash读取kafka里的数据怎么能从头开始

Logstash | 作者 aoliao_paopao | 发布于2018年05月14日 | 阅读数:5665

kafka {
bootstrap_servers => "localhost:9092"
topics => "test"
group_id => "logstash"
auto_offset_reset => "earliest"

}
我的配置是这样,我想要重新启动logstash的时候,能重新消费kafka,或者是能接着把没有消费完的数据进行消费,需要每次修改group_id吗
已邀请:

rockybean - Elastic Certified Engineer, ElasticStack Fans,公众号:ElasticTalk

赞同来自:

是的,offset commit 只有一次机会,一旦运行过了就记录了,此时你要重新从头消费的话,要么你手动去 zk 把 offset 改了,要么改 group,此时当然是改 group id方便了。至于重启的时候继续消费,默认就是这样的运行方式,不需要再改 group。

要回复问题请先登录注册