我现在有这样格式的日志有120亿条
2018-10-09T17:36:49.314624+08:00 pb_slt_148 <SJG_SLT_LOG_1> weixin 1539077451 10.69.177.5:42470 211.161.127.164:80 TCP weixin:UID:2533851961 我现在希望把第二个ip过滤出来并去掉重复的最后统计有多少条ip可以做到么 大佬们
2018-10-09T17:36:49.314624+08:00 pb_slt_148 <SJG_SLT_LOG_1> weixin 1539077451 10.69.177.5:42470 211.161.127.164:80 TCP weixin:UID:2533851961 我现在希望把第二个ip过滤出来并去掉重复的最后统计有多少条ip可以做到么 大佬们
1 个回复
rochy - rochy_he
赞同来自:
在 ES 里面使用 Cardinality Aggregation 对 IP 字段进行聚合即可获取数目。