elasticsearch 5 磁盘存储量过大，压缩率不足

Elasticsearch | 作者 highmoutain | 发布于2018年07月11日 | 阅读数：15294

版本：elasticsearch 5.3
问题现象：写入索引到ES之后，磁盘存储量过大，压缩率不足。经测试，1亿条记录就会产生36G磁盘存储，从ES官方社区找到的优化方法，也只能减少40%.导致我们只能存储3个月的数据，严重影响业务。请问各位大神，还有什么可以提高压缩率的方法。
长整形改为短整型，使用best_compression等已经都使用过了

10 个回复

medcl - 今晚打老虎。

赞同来自: ghnjk

一个字段么？我看都是col_a。
你可以试试把这个字段开启索引时排序，可以提高压缩率，也节省不少磁盘空间。
https://www.elastic.co/guide/e ... .html

highmoutain

我已经按照https://www.elastic.co/guide/e ... teral中所描述的进行了调优，但是效果不好

highmoutain

我索引的mapping如下：
{
"ae_count_es_417" : {
"mappings" : {
"analytics" : {
"_all" : {
"enabled" : false
},
"properties" : {
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
},
"col_a" : {
"type" : "integer"
}
}
}
}
}
}