elasitcserach数据重复

Elasticsearch | 作者 solomon2012 | 发布于2015年06月10日 | 阅读数：9125

1条访问nginx 日志，在kibana 搜索出来两条一样的的，
出了 _id 不一样，求大神解？

5 个回复

赞同来自: Rubricate

估计是在入库的时候就有两条数据进入了es了，你可以给每条数据定义一个id，使用自定义的id代替es自动生成的id来排除重复数据

收集的问题吧？你在看看kibana的收集

你是怎么入的es？logstash？ logstash启动了几次？是什么模式启动的？
怀疑是入了两条数据到es

lyf - 90后程序媛

我也是这个问题，楼主解决了吗，怎么解决的啊

charles_xu - 一句话介绍

因为你写了2个配置文件，而每个配置文件都写了output，logstash执行配置文件时，会将2个配置文件在内存里拼接成一个完整的大配置文件，再去执行。也就是说output了2次
解决方式：删除其中一个配置文件中的output

要回复问题请先登录或注册