悟空,拿我的打狗棒来

logstash解析日志

Logstash | 作者 ttssrs | 发布于2017年03月14日 | 阅读数:5148

有两个问题:
问题一:input模块会读不同目录下的多个文件,其中有两个文件同名且文件内容的格式也一样,在文件解析后,存储输出结果的时候,怎么能获取文件所在目录从而辨别数据来自哪个文件?
问题二:日志是每一秒打印一次,如何能做到每一分钟只去一条记录,其余59条记录均过滤掉?
已邀请:

leighton_buaa

赞同来自:

问题一可以用filebeat的fields配置来解决:
https://www.elastic.co/guide/e ... ields
      prospectors:
-
paths:
- /var/log/dir1/test.log
document_type: logs
fields:
component:
dir1
fields_under_root: true
ignore_older: 24h
-
paths:
- /var/log/dir2/test.log
document_type: logs
fields:
component: dir2
fields_under_root: true
ignore_older: 24h
这样保存在ES的时候,来自dir1的消息的component值为dir1,来自dir2的消息的component值为dir2
 
问题2我也不清楚,哈哈

要回复问题请先登录注册