在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

Logstash5.5.0 解析文本文件,第一行是公共数据,剩下其他行是单独数据,怎么解析?

Logstash | 作者 王社英 | 发布于2018年11月09日 | 阅读数:1787

我遇到一个问题,就是以前的时候,文件都是一行一行的数据,一共有11列,其中有6列是公共数据,是一样的,以前解析很简单,就是grok解析每一行,现在文件的格式变了,6列的公共信息提取出来了,放在了第一行,其它5列放在第2,3,....行,
这样的话就必须把解析出来的第一行数据添加到解析其它行里边,
请问logstash怎么能解析这样的文件呢?
 
样例数据如下
TimeStamp=2018-11-02 09:18:16|TimeZone=UTC+8|Period=15|VendorName=Huawei|ElementType=CSCF|PmVersion=V3.2.1|ObjectType=EthernetPort
rmUID|Dn|UserLabel|StartTime
3301HWWX1EPO1003221569541|DC=www.huawei.com,SubNetwork=1,ManagedElement=1924,EthernetPort=vISBG91_CSDPU_0_VNIC1|2018-11-02 09:00:00|vISBG91_CSDPU_0_VNIC1
3301HWWX1EPO1003221569541|DC=www.huawei.com,SubNetwork=1,ManagedElement=1924,EthernetPort=vISBG91_CSDPU_0_VNIC1|2018-11-02 09:00:00|vISBG91_CSDPU_0_VNIC1
已邀请:

lucifron

赞同来自:

先多行,然后再切分拼接,应该是可行的把。

要回复问题请先登录注册