用sparkstreaming并行写入es，采用的是bulk接口，20s写入一次，当索引刚建立时速度挺快，耗时大概8到12s，而当大概运行半天后，写入速度下降很多，耗时变为18s以上，有时候甚至超过40s，有大哥哥知道是什么问题吗
if(bulkRequest.numberOfActions()>0)
{
val bulkResponse = bulkRequest.get()
if (bulkResponse.hasFailures) {
println("failed processing bulk index requests " + bulkResponse.buildFailureMessage)
}
}
2 个回复
JackGe
赞同来自: medcl 、exceptions 、CarrieJin 、guoyanbiao520
1.随着写入索引数据增多，单个shard数据量太大(超过50GB)，导致写入速度变慢
2.随着数据写入，segment合并变得频繁，es节点负载变高
fengtianhe - 90后搬砖工
赞同来自: