看,灰机...

[parent] data too large

Elasticsearch | 作者 mafa1993 | 发布于2017年12月12日 | 阅读数:5385

用的es5.4 分配了8g内存 14g的数据大约百万, 聚合查询时, 总是说data too lager,有时候是说parent, 有时候说request data too large
{
"query": {
"bool": {
"must": [
{
},
{
"range": {
"timestamp.date": {
"gte": 20171205000000,
"lte": 20171210170816
}
}
},
{
},
{
"bool": {
"must_not": {
"exists": {
"field": "white"
}
}
}
},
{
"range": {
"status": {
"gte": "63"
}
}
}
]
}
},
"size": 0,
"aggs": {
"content": {
"nested": {
"path": "a.items"
},
"aggs": {
"fi": {
"filter": {
"terms": {
"a.items.field.keyword": [
"b",
"c"
]
}
},
"aggs": {
"recipient": {
"filter": {
"bool": {
"must": [
{
},
{
"bool": {
"must_not": {
"script": {
"script": {
"inline": "doc['a.items.address.keyword'].value == \"\"",
"lang": "painless"
}
}
}
}
}
]
}
},
"aggs": {
"recipient": {
"terms": {
"field": "a.items.address.keyword",
"size": 1000,
"collect_mode" : "breadth_first"
},
"aggs": {
"re": {
"reverse_nested": {},
"aggs": {
"d_type": {
"nested": {
"path": "d.items.checked"
},
"aggs": {
"content": {
"filter": {
"range": {
"d.items.p_type": {
"gt": 160,
"lt": 241
}
}
},
"aggs": {
"p_type": {
"terms": {
"field": "d.items.p_type",
"size": 1000,
"collect_mode" : "breadth_first"
},
"aggs": {
"sub_type": {
"terms": {
"field": "d.items.s_type",
"size": 1000,
"collect_mode" : "breadth_first"
}
}
}
}
}
}
}
},
"risk_content": {
"filter": {
"bool": {
"must": {
"bool": {
"should": []
}
}
}
},
"aggs": {
"risk_count": {
"filter": {
"range": {
"level": {
"gt": 0
}
}
}
}
}
}
}
}
}
}
}
}
}
}
}
}
}
}
查询结构如上
已邀请:

kennywu76 - Wood

赞同来自: mafa1993

嵌套比较深的原因吧,有3层terms聚合嵌套,每层最多返回1000个分桶,实际生成的分桶数量是每一层分桶数量的乘积关系,可能非常大,需要消耗过多内存被circuit breaker熔断了。

要回复问题请先登录注册