ES集群写入性能问题

Elasticsearch | 作者 wwwlll | 发布于2019年01月11日 | 阅读数:365

ES集群批量写入瓶颈
版本:5.3.2
35台物理机16c 256g raid6的20t普通磁盘
每日增量200亿条,每条最大40k。
bulk写入队列1000
高峰时30分钟8亿,每秒45万。
每日自动生成12个索引,每个索引24个分片,1个副本。
现在遇到的问题就是写入的bulk队列总是会超出,导致写入回滚延迟。
在不扩容的前提下,是否有优化空间.
 
 
 
node_name     name                active queue rejected
1  bulk                    32    83    13851
1  bulk                     5     0    17233
1  bulk                     8     0    14017
1  bulk                     7     0    22725
1  bulk                     7     0    16527
1  bulk                     4     0    20598
1  bulk                     3     0    11357
1  bulk                     2     0     8204
1  bulk                     6     0     7509
1  bulk                    32    16    29337
2  bulk                     6     0    40252
2  bulk                    10     0     5111
2  bulk                     3     0    24931
2  bulk                     5     0    19848
2  bulk                    17     0    53445
2  bulk                     2     0    13480
2  bulk                    11     0     4077
2  bulk                     3     0     4728
2  bulk                     8     0    25901
3  bulk                     1     0     8459
1  bulk                     2     0     4809
2  bulk                     3     0     2349
3  bulk                     7     0    30125
4  bulk                     1     0    12168
5  bulk                     6     0     1900
已邀请:

rochy - rochy_he@tw

赞同来自:

写入的bulk队列总是会超出,这个是什么意思?

fanmo3yuan

赞同来自:

每次bulk的大小是多少呢

zqc0512 - andy zhou

赞同来自:

队列搞大些,目前看有性能瓶颈了。 bulk一次提交多少?测试下那个值合适。

要回复问题请先登录注册