如何将message和source字段按照父子关系文档保存

Elasticsearch | 作者 tyzuo | 发布于2018年10月10日 | 阅读数：1697

hi all，我要采集分析的日志里保存着系统每个用户每个进程信息，文件名以系统当时的load值命名，如何在使用filebeat采集数据输送到es的时候按照父子关系保存到同一个index中的不同文档里，以便于查询某条记录的时候可以关联到当时的load值？

3 个回复

rochy - rochy_he

FileBeat 在采集的记录里面有一个字段是 source，这个字段内容为采集的文档的文件名
你可以使用 logstash 的 gork filter 从 source 里面将 load 的值匹配出来并存储为一个单独的字段

@rochy 使用filebeat采集日志文件名是source字段我知道，并且对这个字段的提取我也做好了，现在是因为我们这边想着每采集一次就要读一次文件名，可能会造成负载增加，能不能对文件名只采集一次保存到一个文档中，然后文件里的内容保存到另外一个文档里，再把这两个文档关联起来？

使用filebeat采集日志文件名是source字段如何在logstash中提取，麻烦解答一下

要回复问题请先登录或注册