Metricbeat 搭配 Kafka 和 Logstash 将采集数据输出到 ES(Output),但是 Kibana 不能正常显示 ES 集群的 CUP、硬盘和内存的使用情况
Beats | 作者 chenyong0402 | 发布于2020年04月27日 | 阅读数:5015
情况是这样的,我直接将 Metricbeat 采集的数据 Output 到 ES 时,可以在 Kibana 中看见 ES 集群的信息,包括 CPU、硬盘和内存的使用情况,都是可以正常监测的。但是我使用 Kafka 后,即:Metricbeat 将采集的数据先 Output 到 Kafka,然后 Logstash 到 Kafka 中消费(Input),过滤后,再传给 ES(Output),在 Kibana 中也查询得到 metricbeat 的索引和采集的数据,但是就是不能正常显示 ES 集群的 CUP、硬盘和内存的使用情况。
在过滤阶段是这样的写的:
filter {
json {
source => "message" # 只把 message 中的数据传给 ES
remove_field => ["message"] # 这里只是把 message 这个字段从索引删除,避免数据冗余
}
}
在过滤阶段是这样的写的:
filter {
json {
source => "message" # 只把 message 中的数据传给 ES
remove_field => ["message"] # 这里只是把 message 这个字段从索引删除,避免数据冗余
}
}
0 个回复