用了Elasticsearch,一口气上5T

logstash-input-kafka 导入数据时 logstash和kafka必须在同一台机器上么

Logstash | 作者 zhujw | 发布于2017年08月04日 | 阅读数:6034

我的kafka和logstash不在同一台虚拟机上,把kafka数据导入到logstash时,不成功。但是我把kafka和logstash装在同一台机器上是可以的,那kafka和logstash必须在同一台机器上么,还是配置有问题呢
已邀请:

novia - 1&0

赞同来自:

应该是配置有问题,线上环境kafka应该是一个集群,logstash是input或者output端吧

zhujw

赞同来自:

input {
kafka {
bootstrap_servers => "192.168.220.212:9092"
topics => "test2"
group_id => "ttt"
}
}

output {
stdout {
codec => "rubydebug"
}
file {
path => "/usr/share/logstash/input_file"
codec => "json"
}
}
这是logstash-input-kafka的配置,logstash.yml使用默认配置,现在kafka只有一个节点

wangnan9279

赞同来自:

不用在一个机器上
 
input { kafka { zk_connect => "xxx:2181" topic_id => "xxx" reset_beginning => true consumer_threads => 5 decorate_events => false } 
 
zk_connect这里配kafka连接的zk地址就可以

要回复问题请先登录注册