你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
发现
分享
文章
活动
登录
ELK,萌萌哒
filebeat如何为原生模块添加字段
Beats
| 作者
zwzvvv
| 发布于2018年06月21日 | 阅读数:
11947
分享到:
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
大家好,我现在用的是filebeat的nginx模块,模块原有的正则过滤感觉字段不够,于是我想扩展几个字段。
看到网上说修改filebeat/module/nginx/access/ingest/default.json这个文件
我打开后修改成如下的样式
然后我又修改了/etc/filebeat/fields.yml这个文件,加上了相应的字段,图片如下
然后清空es的索引,但是字段并没有增加,这个怎么做啊,谢谢
没有找到相关结果
已邀请:
与内容相关的链接
提交
4 个回复
zwzvvv
-
it精英
赞同来自:
我这样的是可以的,确实能加上字段,那么问题来了,我重新搭了一个es就是可以的,那么我原来的elasticsearch怎么办,怎么把原来的东西清理掉。
zwzvvv
-
it精英
赞同来自:
以上是我的配置,哪位朋友帮忙看一下啊
zwzvvv
-
it精英
赞同来自:
aiyo, what'up
还是搞定了,怎么解决以上以上问题,新搭一个es节点,用新的filebeat配置文件初始化它,然后集群模式,配置成master,重新起一个集群名字,端口都不用变。然后把其它节点中的filebeat相关的索引和template都删除,然后把原有的集群一个节点一个节点当作slave转到新的集群,就搞定了。
ps,这是xia小集群的解决方案,并发量超高的时候用kafka和logstash,原生的解析已经不好使了,自定义解析好了,所以,原生的filebeat提供的module适合一般场景,一般是啥,普通4core虚拟机,一节点filebeat3000万条数据花了18个小时。3节点es最高10000qps,所以一般企业是能满足了。
xuebin
赞同来自:
何必那么麻烦 清空一下pipeline就好了
1. DELETE _ingest/pipeline/
2.字段出来以后有黄色小三角,刷新一下index 的字段缓存就好了
要回复问题请先
登录
或
注册
发起人
zwzvvv
it精英
活动推荐
Aug
15
2025 Zabbix 中国峰会
上海
·
8-15 周五
·
报名中
Oct
17
第27届 GOPS 全球运维大会暨研运数智化技术峰会 · 上海站
上海
·
10-17 周五
·
报名中
相关问题
除了设置mapping为not analyzied,还有其他方法让一个string字段不分词吗?
elasticsearch如何为类型添加字段并赋初值
kibana分析nginx日志,还在纠结用filebeat还是logstash
query_string查询多值字段问题请教
logstash向es里面导入mysql数据,表字段名称自动变成了小写
kibana中的Script Fields如何写?去判断已经有的一个字段,如果是1显示A,如果是2显示B。
ES 错误更新字段【字段类型不匹配】
elasticsearch 添加新的mapping类型之后无法索引数据
filebeat链接kafka,kafka死掉会出现数据丢失吗?
Elasticsearch 如何在同一个字段内多个must必须同时满足查询
问一下,elasticsearch-dsl中用什么方法去除字段相同的数据?
问题状态
最新活动:
2018-12-10 20:03
浏览:
11947
关注:
2
人
4 个回复
zwzvvv - it精英
赞同来自:
zwzvvv - it精英
赞同来自:
以上是我的配置,哪位朋友帮忙看一下啊
zwzvvv - it精英
赞同来自:
还是搞定了,怎么解决以上以上问题,新搭一个es节点,用新的filebeat配置文件初始化它,然后集群模式,配置成master,重新起一个集群名字,端口都不用变。然后把其它节点中的filebeat相关的索引和template都删除,然后把原有的集群一个节点一个节点当作slave转到新的集群,就搞定了。
ps,这是xia小集群的解决方案,并发量超高的时候用kafka和logstash,原生的解析已经不好使了,自定义解析好了,所以,原生的filebeat提供的module适合一般场景,一般是啥,普通4core虚拟机,一节点filebeat3000万条数据花了18个小时。3节点es最高10000qps,所以一般企业是能满足了。
xuebin
赞同来自:
1. DELETE _ingest/pipeline/
2.字段出来以后有黄色小三角,刷新一下index 的字段缓存就好了