ES集群批量写入瓶颈
版本:5.3.2
35台物理机16c 256g raid6的20t普通磁盘
每日增量200亿条,每条最大40k。
bulk写入队列1000
高峰时30分钟8亿,每秒45万。
每日自动生成12个索引,每个索引24个分片,1个副本。
现在遇到的问题就是写入的bulk队列总是会超出,导致写入回滚延迟。
在不扩容的前提下,是否有优化空间.
node_name name active queue rejected
1 bulk 32 83 13851
1 bulk 5 0 17233
1 bulk 8 0 14017
1 bulk 7 0 22725
1 bulk 7 0 16527
1 bulk 4 0 20598
1 bulk 3 0 11357
1 bulk 2 0 8204
1 bulk 6 0 7509
1 bulk 32 16 29337
2 bulk 6 0 40252
2 bulk 10 0 5111
2 bulk 3 0 24931
2 bulk 5 0 19848
2 bulk 17 0 53445
2 bulk 2 0 13480
2 bulk 11 0 4077
2 bulk 3 0 4728
2 bulk 8 0 25901
3 bulk 1 0 8459
1 bulk 2 0 4809
2 bulk 3 0 2349
3 bulk 7 0 30125
4 bulk 1 0 12168
5 bulk 6 0 1900
版本:5.3.2
35台物理机16c 256g raid6的20t普通磁盘
每日增量200亿条,每条最大40k。
bulk写入队列1000
高峰时30分钟8亿,每秒45万。
每日自动生成12个索引,每个索引24个分片,1个副本。
现在遇到的问题就是写入的bulk队列总是会超出,导致写入回滚延迟。
在不扩容的前提下,是否有优化空间.
node_name name active queue rejected
1 bulk 32 83 13851
1 bulk 5 0 17233
1 bulk 8 0 14017
1 bulk 7 0 22725
1 bulk 7 0 16527
1 bulk 4 0 20598
1 bulk 3 0 11357
1 bulk 2 0 8204
1 bulk 6 0 7509
1 bulk 32 16 29337
2 bulk 6 0 40252
2 bulk 10 0 5111
2 bulk 3 0 24931
2 bulk 5 0 19848
2 bulk 17 0 53445
2 bulk 2 0 13480
2 bulk 11 0 4077
2 bulk 3 0 4728
2 bulk 8 0 25901
3 bulk 1 0 8459
1 bulk 2 0 4809
2 bulk 3 0 2349
3 bulk 7 0 30125
4 bulk 1 0 12168
5 bulk 6 0 1900
3 个回复
rochy - rochy_he
赞同来自:
fanmo3yuan
赞同来自:
zqc0512 - andy zhou
赞同来自: