在我们的es集群(v1.6.2)中一个index在每次写入的时候,能观察到这份数据使用的index buffer达到20G+,见图
 
因为这份数据是一份离线计算数据,所以量级不大,一天的量级也不会超过3G,下图为2月20日的量级
 
一小时一次的写入量大概在50w行左右。
现在由于这份数据的写入,导致集群定时GC严重。由于这份数据是一个1小时1次离线计算数据,理论上如果有异常每小时都会,但是从现在看不一定每个小时的写入都会有这种情况。而且其他index不会,就这个index会有这种情况。
 
实在查不出问题,有遇到过相同的问题的吗?
附上template setting
 
																																																
															
														因为这份数据是一份离线计算数据,所以量级不大,一天的量级也不会超过3G,下图为2月20日的量级
一小时一次的写入量大概在50w行左右。
现在由于这份数据的写入,导致集群定时GC严重。由于这份数据是一个1小时1次离线计算数据,理论上如果有异常每小时都会,但是从现在看不一定每个小时的写入都会有这种情况。而且其他index不会,就这个index会有这种情况。
实在查不出问题,有遇到过相同的问题的吗?
附上template setting
      "settings": {
         "index.refresh_interval": "20s",
         "index.replication": "async",
         "index.translog.durability": "async",
         "index.number_of_replicas": "1",
         "index.routing.allocation.require.tag": "hot",
         "index.number_of_shards": "4",
         "index.translog.sync_interval": "10s"
      }
																

	
1 个回复
Charele - Cisco4321
赞同来自: