看,灰机...

新增 node 后自动rebalance速度

Elasticsearch | 作者 Roarain123 | 发布于2019年03月12日 | 阅读数:2442

原本是5个 node(node0-node4),每个1.5T 的 disk,新增一个1.5T 的 node5后,集群自动做了 rebalance。
在 node5上用 dstat 1查看 recv 在45M/s,但是 write达到了125M/s,均衡1T的数据到 node5上用了3.5小时。
如果按照 recv 的速度算,远远超过3.5小时。
刚开始 rebalance 使用的是默认参数,后期调整了如下参数
{
  "cluster": {
    "routing": {
      "allocation": {
        "cluster_concurrent_rebalance": "6",
        "node_concurrent_recoveries": "6"
      }
    }
  },
  "indices": {
    "recovery": {
      "max_bytes_per_sec": "300m"
    }
  }
}
 
疑问:为何write速度远远大于recv 的速度,难道数据在 rebalance 是使用了压缩?
若使用了压缩,有没有相应的文档介绍或者源码?在 github 上未找到。。。
 
 
调整参数时的中间状态.png
已邀请:

zqc0512 - andy zhou

赞同来自:

多个索引 进出6个的话,有3个进,3个出。正好吧。

Jea - 一只猿

赞同来自:

注意下: 复制分片

zhangrui90 - z

赞同来自:

默认开了 tcp 压缩

要回复问题请先登录注册