如何将message和source字段按照父子关系文档保存

作者 tyzuo | 发布于2018年10月10日 | 阅读数:105

hi all,我要采集分析的日志里保存着系统每个用户每个进程信息,文件名以系统当时的load值命名,如何在使用filebeat采集数据输送到es的时候按照父子关系保存到同一个index中的不同文档里,以便于查询某条记录的时候可以关联到当时的load值?
已邀请:

rochy - rochy_he@jointsky

赞同来自:

FileBeat 在采集的记录里面有一个字段是 source,这个字段内容为采集的文档的文件名
你可以使用 logstash 的 gork filter 从 source 里面将 load 的值匹配出来并存储为一个单独的字段

tyzuo

赞同来自:

@rochy 使用filebeat采集日志文件名是source字段我知道,并且对这个字段的提取我也做好了,现在是因为我们这边想着每采集一次就要读一次文件名,可能会造成负载增加,能不能对文件名只采集一次保存到一个文档中,然后文件里的内容保存到另外一个文档里,再把这两个文档关联起来?

要回复问题请先登录注册