使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

filebeat 在linux下无法直接使用/* 来读取日志文件

Beats | 作者 playlong00 | 发布于2017年12月25日 | 阅读数:4240

配置文件如下:filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /data/flumeFile/*

不能用/* 来读取文件夹下所有的日志文件
试了一下如果指定文件就可以或者指定后缀(但我的日志文件没有后缀)
我的日志文件每分钟生成一个,文件名不同而且没有后缀
已邀请:

playlong00

赞同来自:

补充一下 filebeat 版本是6.1.1

playlong00

赞同来自:

没有人遇见这问题吗?
 

medcl - 今晚打老虎。

赞同来自:

一个*可以的啊,怎么会不行?

shitangjiejie

赞同来自:

你可以先把具体的日志文件写到filebeat里,查看filebeat到elk是否能正常传数据

playlong00

赞同来自:

谢谢各位的回复,真心抱歉。。。浪费各位时间了,的确可以,是我的文件个数有点多,文件夹下面有上个千个文件,日志是每分钟生成一个新的文件,filebeat 读取到最新数据很慢 ,大概过了半个小时才开始输出日志。。。
但是使用logstash读取的话,立刻就可以读取,等了几分钟没数据,以为是filebeat不能读取
  但是为什么filebeat为什么会这么久才开始输出最新的日志,而且CPU占用率比使用lostash还高,100%-200%, 
logstash才50%-70%
配置如下:
- type: log
  enabled: true
  paths:
    - /data/flumeFile/*  
  ignore_older: 2m
  close_inactive: 1m
  close_removed: true
  close_timeout: 3m
 
 

Atom - beat-logstash-elasticsearch-kabana

赞同来自:

我也遇到了这个问题,现在有没有办法,就是让filebeat只监听新的文件?

xinfanwang

赞同来自:

你这个有点夸张了。我测试过在我的笔记本上监控8000+文件,也就几秒钟能开始读。1K的文件数,CPU占一个核的50%左右,老i5。性能一般吧。。最好把从文件尾读打开。供参考。

要回复问题请先登录注册