filebeat->kafka没反应。
匿名 | 发布于2018年05月25日 | 阅读数:7615
先放配置文件
filebeat.prospectors:
-
paths :
- /home/../login/*.log
input_type: log
fields:
logtype: login
encoding : GBK
scan_frequency: 60s
output.kafka:
hosts: ["kafkaServer:9092"]
topic: "service-login"
enable: true
Logstash ,prospectors
input {
kafka{
bootstrap_servers => "127.0.0.1:9092"
topics => "service-login"
}
}
filter {...
}
output {
if [fields][logtype] == "login"{
# 输出进行格式化,采用Ruby库来解析日志
stdout {
codec => rubydebug
}
elasticsearch{
hosts=>["esServer:9200"]
index=>'log-%{[SystemName]}-login-%{+YYYY.MM}'
}
}
}
kafka 的配置就没有改动。启动后
filebeat的日志就一直在输出,呼呼呼的
kafka 的日志。没啥反应
logstash的日志,也是。
2 个回复
rockybean - Elastic Certified Engineer, ElasticStack Fans,公众号:ElasticTalk
赞同来自: Buddha 、Jiehui Tang
bin/kafka-topics.sh --list --zookeeper
然后消费下看是否有数据
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
https://kafka.apache.org/quickstart
看 filebeat 的文档是有提到 kafka 版本的,目前只能到 0.10.0,你1.x 太新了
Compatibilityedit
This output works with Kafka 0.8, 0.9, and 0.10.
https://www.elastic.co/guide/e ... .html
JElbert - es菜鸟选手
赞同来自: Buddha