filebeat->kafka没反应。

匿名 | 发布于2018年05月25日 | 阅读数:1661


先放配置文件
filebeat.prospectors:
-
paths :
- /home/../login/*.log
input_type: log
fields:
logtype: login
encoding : GBK
scan_frequency: 60s
output.kafka:
hosts: ["kafkaServer:9092"]
topic: "service-login"
enable: true

Logstash ,prospectors

input {
kafka{
bootstrap_servers => "127.0.0.1:9092"
topics => "service-login"
}
}

filter {...
}

output {
if [fields][logtype] == "login"{
# 输出进行格式化,采用Ruby库来解析日志
stdout {
codec => rubydebug
}
elasticsearch{
hosts=>["esServer:9200"]
index=>'log-%{[SystemName]}-login-%{+YYYY.MM}'
}
}

}
kafka 的配置就没有改动。
启动后
filebeat的日志就一直在输出,呼呼呼的
filebeat-log.jpg

 
kafka 的日志。没啥反应

kafka-log.png

 
logstash的日志,也是。

logstash-log.png

 
 
 
已邀请:

rockybean - Elastic Certified Engineer, ElasticStack Fans,公众号:ElasticTalk

赞同来自: Buddha Jiehui Tang

你应该先连到 kafka 上看下你的 topic 是否创建成功吧
bin/kafka-topics.sh --list --zookeeper
 
然后消费下看是否有数据
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
https://kafka.apache.org/quickstart 
 
看 filebeat 的文档是有提到 kafka 版本的,目前只能到 0.10.0,你1.x 太新了
 
 
Compatibilityedit

This output works with Kafka 0.8, 0.9, and 0.10.
 
https://www.elastic.co/guide/e ... .html

JElbert - es菜鸟选手

赞同来自: Buddha

我之前连kafka受阻 后来直接不用了。 我是filebeat可以送数据到kafka 但kafka->logstash没反应  ,很可能是组件和kafka的版本问题

要回复问题请先登录注册