用了Elasticsearch,一口气上5T

logstash 导入大量数据到elasticsearch 出现崩溃

Logstash | 作者 cjsund | 发布于2015年06月30日 | 阅读数:11284

logstash-forwarded => logstash(port:5000) => es(port:9300)
logstash 使用 output 插件elasticsearch 导入到es,每秒大概1024个时间,过一会logstash就无法写入到es的,
logstash报错
:message=>"retrying failed action with response code: 503"
forward端报错
Read error looking for ack: read tcp 192.168.1.100:5000: i/o timeout
Setting trusted CA from file: /etc/pki/tls/certs/logstash-forwarder.crt

我启动了两个logstash,一个大量写入,过一会就报错了,但是另一个每秒100个时间的任务就没事。
我使用output codec dots 测试每秒可以处理1500个时间
有朋友出现过这个问题吗?
已邀请:

要回复问题请先登录注册