绊脚石乃是进身之阶。

kafka输出给es的文件格式

Logstash | 作者 yu_colin | 发布于2017年12月05日 | 阅读数:4138

测试环境下搭了一套ELK+kafka。 两台ES+kibana集群,三台kafka zookeeper集群(装有logstash),一台client用作发送日志(装有logstash)。
   首先,kafka集群测试OK。
   从client的logstash上输出到kafka集群上也能看到topic,正常。
   从kafka上的logstash上输出到ES集群也能看到。
  问题: 从client的logstash发给kafka,然后kafka再通过logstash输出到ES不成功。
版本:kafka_2.10-0.10.2.1.tgz  logstash-5.6.3.rpm
怀疑是 ,kafka上logstash的input配置有问题,是否版本不被兼容?希望有知道的给予指点,感谢!
配置如下:
 
input {
    kafka {
        bootstrap_servers => "192.168.30.1:9092,192.168.30.2:9092,192.168.30.3:9092"
        topics => ["system-message-2"]
#        codec => rubydebug
#        reset_beginning => false
#        consumer_threads => 5
#        decorate_events => true
    }
}
output {
    elasticsearch {
      hosts => ["192.168.30.11:9200","192.168.30.12:9200"]
      index => "kafka-message2-%{+YYYY-MM-dd}"
  }
  }
 
已邀请:

luohuanfeng

赞同来自:

问题: 从client的logstash发给kafka,然后kafka再通过logstash输出到ES不成功。
先看logstash发给kafka成不成功.就是看kafka里面有没有数据写入.有数据就往下排查
然后在看kafka再通过logstash输出到ES.
1,kafka里group_id logstash的消费情况. 没指定groupid的话 默认就是logstash
2.如果kafka里看到groupid已经消费了,那试一下把logstash output输出到屏幕看看.
3,如果输出到屏幕正常,那就去查es的问题.看看日志什么的.

要回复问题请先登录注册