用了Elasticsearch,一口气上5T

apache日志去重问题请教

默认分类 | 作者 cumtwdf | 发布于2020年06月02日 | 阅读数:1479

采集apache日志,因为客户端重复操作或安全漏洞扫描行为会产生重复数据,现在想实现1分钟内,有超过10条记录就drop,想到的方法是利用fingerprint插件,
根据客户端IP、访问URL,计算散列值,再利用metrics插件,添加meter为fingerpinrt值,统计1分钟内的相同fingerpinrt日志条数。现在的问题是:1、
为什么fingerprint值都是重复的,fingerprint具体是什么算法?2、利用metrics插件会生产无数的meter,会严重消耗资源,是不是有更好的办法?
fingerprint配置
{
source:["c-ip","url"]
method:"sha1"
key:"0123"
}
已邀请:

要回复问题请先登录注册