我是通过docker容器技术来使用ELK的,具体是filebeta - kafka(zk) -logstash -elasticsearch这套,全部都运行在docker上。
是启动filebeat时,发现报错如下:
2016-09-20T12:12:45+08:00 WARN client/metadata fetching metadata for [applog] from broker 10.15.107.82:9092
2016-09-20T12:12:45+08:00 WARN kafka message: client/metadata found some partitions to be leaderless
检查了zk,kafka都是好的,因为还没设计到kafka后面的服务,所以可以不管。说zk和kafka都是好的,是因为我可以连上zk,看到自己配置的3个broker,可以创建或删除topic,可以自己往topic写入和消费,但是filebeat就是报上面错误,诡异的是我的另外一套环境,程序版本完全一致,但是可以写入。
自己也怀疑是配置或者版本问题,但是检查了很多遍,没有找到原因。
如果有人经历过或者知道问题原因,请不吝赐教,非常感谢!
是启动filebeat时,发现报错如下:
2016-09-20T12:12:45+08:00 WARN client/metadata fetching metadata for [applog] from broker 10.15.107.82:9092
2016-09-20T12:12:45+08:00 WARN kafka message: client/metadata found some partitions to be leaderless
检查了zk,kafka都是好的,因为还没设计到kafka后面的服务,所以可以不管。说zk和kafka都是好的,是因为我可以连上zk,看到自己配置的3个broker,可以创建或删除topic,可以自己往topic写入和消费,但是filebeat就是报上面错误,诡异的是我的另外一套环境,程序版本完全一致,但是可以写入。
自己也怀疑是配置或者版本问题,但是检查了很多遍,没有找到原因。
如果有人经历过或者知道问题原因,请不吝赐教,非常感谢!
9 个回复
huangzx
赞同来自:
leighton_buaa
赞同来自:
db7689206 - 90后屌丝
赞同来自:
leighton_buaa
赞同来自:
你试试指定Kafka Output Configuration 中的 version参数,指定为你的kafka版本,例如0.10.0.0
github上面有人问类似的问题,官方解答是Retry.Max不能设置为0
https://github.com/Shopify/sarama/issues/665
但是我看了Kafka Output Configuration,默认的metadat.retry.max的值是3,也就是说应该不会出现这个问题的,能贴一下你的Kafka Output Configuration配置吗?
leighton_buaa
赞同来自:
https://github.com/elastic/beats/issues/2945
密切关注下...
jhin
赞同来自:
leighton_buaa
赞同来自:
chym
赞同来自:
wajika
赞同来自: