疲劳是最舒适的枕头,努力工作吧。

filebeat不能自动创建topic

Beats | 作者 chachabusi | 发布于2018年09月10日 | 阅读数:6495

整套流程已经跑通了,但是遇到一个问题 ,kafka 不能自动创建topic 已经配置了auto.create
ELK版本6.1.1 kafka 2.11.0.10 zookeeper 3.4.10
 
2018/09/10 09:55:34.457187 log.go:36: INFO client/metadata fetching metadata for [[[test] 172.25.134.19:9092]] from broker %!s(MISSING)
2018/09/10 09:55:34.464111 log.go:36: INFO Unexpected topic-level metadata error: [[kafka server: Replication-factor is invalid.]]
报了这个错误
 
 
已经解决了 
已邀请:

zqc0512 - andy zhou

赞同来自:

量大么?不大可以直接到ES啊。
看看支持的版本吧,这个需要看详细的文档。

zqc0512 - andy zhou

赞同来自:

https://www.elastic.co/guide/e ... .html
 
Kafka version $filebeat is assumed to run against. Defaults to oldest supported stable version (currently version 0.8.2.0).

Event timestamps will be added, if version 0.10.0.0+ is enabled.

Valid values are all kafka releases in between 0.8.2.0 and 0.11.0.0.
你换个filebeat 版本试试。好像不支持。

zqc0512 - andy zhou

赞同来自:

https://www.elastic.co/guide/e ... ity_3
6.4的
Compatibility

This output works with all Kafka in between 0.11 and 1.1.1. Older versions might work as well, but are not supported.

JackGe

赞同来自:

只要在kafka配置auto.create.topics.enable=true,filebeat采集到数据发送到topic中遇到topic不存在的,kafka就会创建该topic。

要回复问题请先登录注册