使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

logstash5.6.8 kafka 多个topic写入ES(topic写入不同index)

Logstash | 作者 zhjike0801 | 发布于2020年01月03日 | 阅读数:3195

logstash配置
input {
kafka {
bootstrap_servers => ["localhost:9092"]
group_id => "test"
auto_offset_reset => "latest"
consumer_threads => 5
decorate_events => true
topics_pattern => ".*"
codec => "json"
}

}
output {
elasticsearch {
hosts => ["192.168.101.82:9200","192.168.101.83:9200"]
index => "%{[@metadata][kafka][topic]}-%{+YYYY.MM.dd}"
}

}
但是最后在es中的 index 是 %{[@metadata][kafka][topic]}-2020.01.03
metadata解析失败, decorate_events => true在input已经加上
已邀请:

shitangjiejie

赞同来自:

你在数据采集的时候定义好标签,然后logstash在输入到es的时候根据不同的标签输入到不同index

要回复问题请先登录注册