三人行必有我师

filebeat怎么自定义需要输出的字段

Beats | 作者 logstashding | 发布于2019年09月12日 | 阅读数:9511

我现在要用filebeat写到logstash然后再写入kafka里,但是filebeat会给我添加一些我不需要的字段,比如时间戳,系统信息等等,但是它也会给我添加一些我需要的信息,如path等。所以我想要自定义输出字段。如何设置。最好是在filebeat这里设置,我想要发送到logstash占用的网络io尽量少。
已邀请:

zqc0512 - andy zhou

赞同来自:

logstash remove fileter
 

stone_xy

赞同来自:

还是自己多看看文档吧,文档中已经有详细的例子和说明了。
我这里先贴一个怎么把@timestamp和@version去掉的例子。
filter {
mutate {
remove_field => ["@timestamp", "@version"]
}
}
其他的请自己详细看下mutate filter的文档:
https://www.elastic.co/guide/e ... utate

liuxg - Elastic

赞同来自:

如果你想在filebeat里做,请参照我写的文章:Beats:通过Filebeat把日志传入到Elasticsearch https://blog.csdn.net/UbuntuTo ... 25401 可以通过它的Processors来删除你不需要的字段。

muxiaofeng - 老大叔

赞同来自:

processors:
- drop_fields:
     fields: ["log", "ecs","agent","agent"] 
 
这个可以在filebeat使用删除字段。@timestamp好像是删除不掉,至少我现在没找到。在logstash里删除@timestamp可以做到,就是楼上哥们回答的。

要回复问题请先登录注册