日志过滤并统计数据

作者 mmtt1996 | 发布于2018年10月09日 | 阅读数:176

我现在有这样格式的日志有120亿条
 2018-10-09T17:36:49.314624+08:00 pb_slt_148  <SJG_SLT_LOG_1> weixin 1539077451  10.69.177.5:42470  211.161.127.164:80 TCP weixin:UID:2533851961 我现在希望把第二个ip过滤出来并去掉重复的最后统计有多少条ip可以做到么 大佬们
已邀请:

rochy - rochy_he@jointsky

赞同来自:

使用 logstash 对日志进行采集,使用 logstash 的 gork 插件,借助正则表达式对日志进行结构化,最终存储到 ES 中。
在 ES 里面使用 Cardinality Aggregation 对 IP 字段进行聚合即可获取数目。
 
 

要回复问题请先登录注册