Filebeat使用的若干问题

作者: huigy   发布时间:2017-12-21
1、日志文件是json格式(对应ES的索引的字段),如果输出到ES,那么对应ES的格式数据(mapping)应该怎么定义,放到哪个目录,怎么引用。
 
2、为了方便我每条日志生成一个文件,这样文件多了会不会影响Filebeat的性能。
 
3、接第2问怎么配置可以“读取并输出成功”就删除该日志文件。

5 个评论

hello,老司机呢
1. mapping 要提前定好,你的 json 格式固定么?如果固定就可以提前创建好 mapping 或者模板
2.肯定要影响性能的,文件句柄多,操作系统也吃不消的,都需要额外消耗内存的。
3.Filebeat 做不了,在外面自己清理吧。Filebeat 可以保证不读重复的文件,你可以定期按日期文件名来清理

4.发问记得选【发布问题】,不是【发布文章】。
huigy

huigy 回复 medcl

1、json格式固定。mapping或者模板放什么地方,内容是不是就是ES使用的mapping文件或者模板文件。
2、每天大概会产生100G的文件,并发量比较大(1000条/秒),写文件要怎么规划。写到多少个文件合适。
1.mapping 需要手动 post 到 es,或者采用 filebeat module 的方式,写在配置里面。
2.一般日志都会 rotation 机制,或者外部脚本来定时 rename 日志文件,具体多少没有固定,你可以每小时产生一个,一天之后删除。
muou

muou 回复 huigy

并发1000/s有遇到重复数据和丢数据的情况吗,我提问的地址:https://elasticsearch.cn/question/4622 希望各位大神指教

要回复文章请先登录注册