看,灰机...

Elasticsearch写入速度越来越慢

Elasticsearch | 作者 elasticmsj1 | 发布于2018年05月02日 | 阅读数:13738

用sparkstreaming并行写入es,采用的是bulk接口,20s写入一次,当索引刚建立时速度挺快,耗时大概8到12s,而当大概运行半天后,写入速度下降很多,耗时变为18s以上,有时候甚至超过40s,有大哥哥知道是什么问题吗
          if(bulkRequest.numberOfActions()>0)
{
val bulkResponse = bulkRequest.get()
if (bulkResponse.hasFailures) {
println("failed processing bulk index requests " + bulkResponse.buildFailureMessage)
}
}
已邀请:

JackGe

赞同来自: medcl exceptions CarrieJin guoyanbiao520

写入变慢的原因可能有
1.随着写入索引数据增多,单个shard数据量太大(超过50GB),导致写入速度变慢
2.随着数据写入,segment合并变得频繁,es节点负载变高

fengtianhe - 90后搬砖工

赞同来自:

这个有解决方案么

要回复问题请先登录注册