不为失败找理由,要为成功找方法。

logstash json filter性能问题

Logstash | 作者 shjdwxy | 发布于2017年05月27日 | 阅读数:8817

hi
    目前从kafka订阅数据,然后logstash做处理,最终存入elasticsearch。
    由于订阅到的数据分json格式和非json格式的,因此需要进行格式判断。
    目前的做法是使用json filter
    json{
        source => "message"
    }
    如果json解析失败,就会产生_jsonparsefailure的tag,后续依赖这个tag做区分出来。
    但是发现这种方式十分消耗资源。在数据全部是非json格式的情况下,如果开启json filter,单个logstash处理速度6000/s,但是如果去除json filter,处理速度提升到13000/s
   问题:
   (1)判断是否是json,如此消耗资源吗?
   (2)如果不采用上述方法,还有什么其他比较好的办法?
 
谢谢
 
已邀请:

leighton_buaa

赞同来自:

把son格式和非json格式的数据写入到kafka的不同topic吧,然后用不同的logstash来解析

要回复问题请先登录注册