疲劳是最舒适的枕头,努力工作吧。

写入elasticsearch慢

Elasticsearch | 作者 daier9498060 | 发布于2020年11月05日 | 阅读数:2070

rally,设置1个client(bulk 为3000)测试写入elasticsearch,速度为5000每秒(可能是数据比较大),查看服务器负载cpu ,IO并不高。
rally,设置10个client(bulk 为3000)测试写入elasticsearch,速度为30000+每秒(可能是数据比较大),查看服务器负载cpu ,大约用了70%。
请问一下,
1、在设置1个client下,还能优化ES的写入速度么?为啥发挥不出来ES的性能呢?
2、在设置10个client下,写入速度快了,服务器负载也提高了,说明了发挥了ES的性能,ES这个原理是什么?
 
已邀请:

JiangJibo - 喊我雷锋

赞同来自:

client少的时候你可以适当的调大bulk的大小,多试几种bulk尺寸就能试出当前环境下最合适的bulk尺寸了。当加大了bulk尺寸就变相的减少了数据传输的次数,减少IO时间。
还有性能也和你当前client的带宽有关的,如果10个client不在同一个服务器上可以考虑下这种情形。

zqc0512 - andy zhou

赞同来自:

bulk 就是一次批量数据问题 太大 太小都不合适需要根据每天数据大小,进行调整测试。

liuxg - Elastic

赞同来自:

有两种方法可以提供数据导入的速度:
1) 把 replicas 设置为0,这样避免在数据导入时复制数据。等数据导入完毕后,再修改 replicas 的数量为想要的数据
2)在默认的情况下 refresh_interval 为1s,如果你有大批量的数据,你可以把这个 refresh_interval 设置为 -1,等数据导入完毕后,再设置为默认值,或者自己想要的值,

要回复问题请先登录注册