hi
目前从kafka订阅数据,然后logstash做处理,最终存入elasticsearch。
由于订阅到的数据分json格式和非json格式的,因此需要进行格式判断。
目前的做法是使用json filter
json{
source => "message"
}
如果json解析失败,就会产生_jsonparsefailure的tag,后续依赖这个tag做区分出来。
但是发现这种方式十分消耗资源。在数据全部是非json格式的情况下,如果开启json filter,单个logstash处理速度6000/s,但是如果去除json filter,处理速度提升到13000/s
问题:
(1)判断是否是json,如此消耗资源吗?
(2)如果不采用上述方法,还有什么其他比较好的办法?
谢谢
目前从kafka订阅数据,然后logstash做处理,最终存入elasticsearch。
由于订阅到的数据分json格式和非json格式的,因此需要进行格式判断。
目前的做法是使用json filter
json{
source => "message"
}
如果json解析失败,就会产生_jsonparsefailure的tag,后续依赖这个tag做区分出来。
但是发现这种方式十分消耗资源。在数据全部是非json格式的情况下,如果开启json filter,单个logstash处理速度6000/s,但是如果去除json filter,处理速度提升到13000/s
问题:
(1)判断是否是json,如此消耗资源吗?
(2)如果不采用上述方法,还有什么其他比较好的办法?
谢谢
1 个回复
leighton_buaa
赞同来自: