好的想法是十分钱一打,真正无价的是能够实现这些想法的人。

filebeat如何为原生模块添加字段

Beats | 作者 zwzvvv | 发布于2018年06月21日 | 阅读数:11569

          大家好,我现在用的是filebeat的nginx模块,模块原有的正则过滤感觉字段不够,于是我想扩展几个字段。
          看到网上说修改filebeat/module/nginx/access/ingest/default.json这个文件
          我打开后修改成如下的样式
          
QQ截图20180621134855.jpg

           然后我又修改了/etc/filebeat/fields.yml这个文件,加上了相应的字段,图片如下

QQ截图20180621135054.jpg

           然后清空es的索引,但是字段并没有增加,这个怎么做啊,谢谢
已邀请:

zwzvvv - it精英

赞同来自:

     我这样的是可以的,确实能加上字段,那么问题来了,我重新搭了一个es就是可以的,那么我原来的elasticsearch怎么办,怎么把原来的东西清理掉。

zwzvvv - it精英

赞同来自:

QQ截图20180622083710.jpg


QQ截图20180622083727.jpg

以上是我的配置,哪位朋友帮忙看一下啊

zwzvvv - it精英

赞同来自:

       aiyo, what'up
       还是搞定了,怎么解决以上以上问题,新搭一个es节点,用新的filebeat配置文件初始化它,然后集群模式,配置成master,重新起一个集群名字,端口都不用变。然后把其它节点中的filebeat相关的索引和template都删除,然后把原有的集群一个节点一个节点当作slave转到新的集群,就搞定了。
       ps,这是xia小集群的解决方案,并发量超高的时候用kafka和logstash,原生的解析已经不好使了,自定义解析好了,所以,原生的filebeat提供的module适合一般场景,一般是啥,普通4core虚拟机,一节点filebeat3000万条数据花了18个小时。3节点es最高10000qps,所以一般企业是能满足了。

xuebin

赞同来自:

何必那么麻烦 清空一下pipeline就好了
1. DELETE _ingest/pipeline/
2.字段出来以后有黄色小三角,刷新一下index 的字段缓存就好了

要回复问题请先登录注册