elasticsearch 数据重复

Elasticsearch | 作者 solomon2012 | 发布于2015年06月10日 | 阅读数：10945

分享到：QQ空间新浪微博微信 QQ好友印象笔记有道云笔记

scribe-center +logstash + elasticsearch+kibana,
1条访问nginx 日志，在kibana 搜索出来两条一样的的，
除了 _id 不一样，
php的访问日志却不会重复，
求大神解？

7 个回复

三斗室 - ELK

每次都如此？还是偶尔？偶尔的话，是因为logstash的retry逻辑问题，output/elasticsearch跟stud的queue都有retry。

solomon2012 - 80后IT男

Hi,
在测试环境中基本每次都是两次，
input {
file {
type => "nginx_access"
path => "/data01/scribe-center/logs/v-gongwen02_nginx_access/*"
exclude => "*.gz"
}

file {
type => "php_metrics"
path => "/logs/php_metrics/*"
exclude => "*.gz"
}
}

output {
elasticsearch {
host => "10.1.1.12"
protocol => "http"
index =>"logstash-%{type}-%{+YYYY.MM.dd}"
user => "logstashserver"
password => "abc123"
}

}