elasitcserach数据重复

1条访问nginx 日志,在kibana 搜索出来两条一样的的,
出了 _id 不一样,求大神解?
已邀请:

唐盛

赞同来自: Rubricate

估计是在入库的时候就有两条数据进入了es了,你可以给每条数据定义一个id,使用自定义的id代替es自动生成的id来排除重复数据

Rubricate - hi

赞同来自:

收集的问题吧?你在看看kibana的收集

Rubricate - hi

赞同来自:

你是怎么入的es?logstash? logstash启动了几次?是什么模式启动的?
怀疑是入了两条数据到es

lyf - 90后程序媛

赞同来自:

我也是这个问题,楼主解决了吗,怎么解决的啊

charles_xu - 一句话介绍

赞同来自:

因为你写了2个配置文件,而每个配置文件都写了output,logstash执行配置文件时,会将2个配置文件在内存里拼接成一个完整的大配置文件,再去执行。也就是说output了2次
解决方式:删除其中一个配置文件中的output

要回复问题请先登录注册