elasticsearch 数据重复

Elasticsearch | 作者 solomon2012 | 发布于2015年06月10日 | 阅读数:5314


scribe-center +logstash + elasticsearch+kibana,
1条访问nginx 日志,在kibana 搜索出来两条一样的的,
除了 _id 不一样,
php的访问日志却不会重复,
求大神解?
已邀请:

三斗室 - ELK

赞同来自:

每次都如此?还是偶尔?偶尔的话,是因为logstash的retry逻辑问题,output/elasticsearch跟stud的queue都有retry。

solomon2012 - 80后IT男

赞同来自:

Hi,
在测试环境中 基本每次都是两次,
input {
file {
type => "nginx_access"
path => "/data01/scribe-center/logs/v-gongwen02_nginx_access/*"
exclude => "*.gz"
}


file {
type => "php_metrics"
path => "/logs/php_metrics/*"
exclude => "*.gz"
}
}

output {
elasticsearch {
host => "10.1.1.12"
protocol => "http"
index =>"logstash-%{type}-%{+YYYY.MM.dd}"
user => "logstashserver"
password => "abc123"
}

}

linpeiyang

赞同来自:

问题解决了么,我理解是不是数据本来就是存了两份,只是kibana都显示出来了

cixuanxu

赞同来自:

你这个问题解决了吗

LHawen

赞同来自:

请问你这个问题解决了吗?我也遇到这问题了

yangbiao

赞同来自:

我也遇到这个问题

typuc - 80后IT男,乒乓球爱好者

赞同来自:

使用 nginx request_id这个内置变量,作为文档uid
参考文献:https://www.jianshu.com/p/5e103e1eb017
参考文献:https://www.elastic.co/blog/lo ... cates

要回复问题请先登录注册