疲劳是最舒适的枕头,努力工作吧。

使用logstash资料重复写入

Logstash | 作者 ginochu | 发布于2018年10月27日 | 阅读数:1821

大家好 我第一次使用elk
我在写入一个log档时 资料会重复输入

举例 test.log 档案里面有1笔内容

127.0.0.1 test1

五分钟后 又新增一笔资料(同一个档案)
127.0.0.1 test1
127.0.0.2 test2

我去kibana 发现里面输入了三笔?
有什么方式 只会插入最新资料?

这是我的logstash.conf

input {
   tcp {
      port => 5000
      type => "testlog"
   }
}
filter {
                 grok {
                        match => ["message", "%{IPV4:client_ip} %{GREEDYDATA:detail}"]
                }
}

output {

                elasticsearch {
                        hosts => "elasticsearch:9200"
                        index => "test2"
                }

}
已邀请:

rochy - rochy_he

赞同来自: ginochu

你第二次添加了一条数据还是两条数据?
你可以检查下你的代码

ginochu - 90后it男

赞同来自:

我去kibana看是存入两条数据加上第一次存入的一条数据共三条 但我的log档案只有两条,意思是存入时也把旧的数据重复存入我去kibana看是存入两条数据加上第一次存入的一条数据共三条 但我的log档案只有两条,意思是存入时也把旧的数据重复存入

zqc0512 - andy zhou

赞同来自:

你停过logstash吧。
从beging开始写入了。有个参数不是从旧的数据开始。 找找logstash的input设置。
我一下想不起来了。
 

要回复问题请先登录注册