三人行必有我师

logstash大并发写入es报错

Logstash | 作者 knight | 发布于2018年09月19日 | 阅读数:6518

多个logstash大量并发的情况下偶尔报错连接不上es

[2018-09-19T16:20:13,708][WARN ][logstash.outputs.elasticsearch] Marking url as dead. Last error: [LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError] Elasticsearch Unreachable: [http://xxxxx:xxxxxx@192.168.1.2:9200/][Manticore::SocketTimeout] Read timed out {:url=>http://xxxxx:xxxxxx@192.168.1.1:9200/, :error_message=>"Elasticsearch Unreachable: [http://xxxxx:xxxxxx@192.168.1.2:9200/][Manticore::SocketTimeout] Read timed out", :error_class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError"}
[2018-09-19T16:20:13,708][ERROR][logstash.outputs.elasticsearch] Attempted to send a bulk request to elasticsearch' but Elasticsearch appears to be unreachable or down! {:error_message=>"Elasticsearch Unreachable: [http://xxxxx:xxxxxx@192.168.1.2:9200/][Manticore::SocketTimeout] Read timed out", :class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError", :will_retry_in_seconds=>2}
已邀请:

zqc0512 - andy zhou

赞同来自:

这个支持多配置几个节点的,你不可能只有一个ES节点撒。轮训……

zqc0512 - andy zhou

赞同来自:

处理不过了吧。这不会丢数据的。又找下一个样。没撒大问题……
你把logstash的bulk cache调整大点,不要1条就转发。有几个size调整下。

cc1079154808

赞同来自:

大哥你这问题最后是怎么解决的

要回复问题请先登录注册