elasticsearch 5 磁盘存储量过大,压缩率不足

版本:elasticsearch 5.3
问题现象:写入索引到ES之后,磁盘存储量过大,压缩率不足。经测试,1亿条记录就会产生36G磁盘存储,从ES官方社区找到的优化方法,也只能减少40%.导致我们只能存储3个月的数据,严重影响业务。请问各位大神,还有什么可以提高压缩率的方法。
长整形改为短整型,使用best_compression等已经都使用过了
已邀请:

highmoutain

赞同来自:

我已经按照https://www.elastic.co/guide/e ... teral中所描述的进行了调优,但是效果不好

highmoutain

赞同来自:

我索引的mapping如下:
{
  "ae_count_es_417" : {
    "mappings" : {
      "analytics" : {
        "_all" : {
          "enabled" : false
        },
        "properties" : {
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          },
          "col_a" : {
            "type" : "integer"
          }
        }
      }
    }
  }
}

chachabusi - 新手妹子运维,希望多多关照

赞同来自:

问个没关系的,请问你们是怎么清理过期数据的 
可以在保留索引的情况下 清理数据吗

白衬衣 - 金桥

赞同来自:

你原始数据多大呢?然后进行了segment merge吗?

zqc0512

赞同来自:

best_compression 这个好像还可以选择压缩方式的样,可以修改的。
你的所有字段都需要索引查询不?不需要就不要搞这么多mapping,
实在不行就添加节点,或者扩展硬盘吧。

viewsite

赞同来自:

把不需要索引的字段设置成index:false,

要回复问题请先登录注册