logstash日志堆积

作者 wangdi244 | 发布于2018年02月28日 | 阅读数:637

[2018-02-28T02:08:43,075][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 429 ({"type"=>"es_rejected_execution_exception", "reason"=>"rejected execution of org.elasticsearch.transport.TransportService$7@2a30af2c on EsThreadPoolExecutor[bulk, queue capacity = 200, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@6683707e[Running, pool size = 16, active threads = 16, queued tasks = 231, completed tasks = 2546983]]"})
求教如何解决
已邀请:

laoyang360 - [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:blog.csdn.net/laoyang360

赞同来自:

队列容量为200,你的大小231。解决方案 :配置文件中修改队列大小

hexiaohong

赞同来自:

一、先查看你的当前ES线程池配置:
直接访问http://你的IP:9200/_nodes/thread_pool/?pretty
 
二、修改1.在elasticsearch.yml配置文件最后加上:thread_pool.search.queue_size: 2000 
2.重启ES
 
补充:
动态配置:
curl -XPUT '你的IP:9200/_cluster/settings' -d '{  
    "transient": {   
        "thread_pool.search.size": 20  
    }  
}'
好像5以上都不支持动态修改,会报如下错误,只能加在配置
{
    "error":{
        "reason":"transient setting [thread_pool.search.queue_size], not dynamically updateable",
        "root_cause":[{
            "reason":"transient setting [thread_pool.search.queue_size], not dynamically updateable",
            "type":"illegal_argument_exception"
        }],
        "type":"illegal_argument_exception"
    },
    "status":400
}
 

zqc0512 - andy zhou

赞同来自:

有这个问题,一般都到集群瓶颈了,优化,或者扩展集群。

要回复问题请先登录注册