三人行必有我师

es 聚合性能瓶颈

Elasticsearch | 作者 wilbur | 发布于2016年10月09日 | 阅读数:12986

Es版本 2.4.0
4台data node 每台超24核 128G内存,es分配32内存。
4000万数据 300个字段全部为string类型,分析器用正则表达式: 逗号分割
主要使用场景做多字段分组聚合,使用query做过滤。
平均聚合统计耗时5s到15s不等
请问各位大神这性能有提升空间吗?
除了使用filter以外还有什么建议?
感谢!
已邀请:

wilbur

赞同来自:

聚合查询的脚本是用es-sql转成DSL执行的

kerwin - 90后挨踢男

赞同来自:

建议把内存从32G降低到31G,对性能有提升帮助。

hailin0

赞同来自:

聚合的字段能不分词或者提前分好吗
有嵌套聚合吗

wilbur

赞同来自:

谢谢两位,这个问题已经解决。内存确实过了32g指针压缩失效,有一定的影响。
1. 既然是聚合应该就要用filter.
2. 的确也不能使用分词。 我们项目都是聚合为主。

littleboy

赞同来自:

楼主还在吗,问下效率怎么样的,我这要满足1到3亿的数据的聚合,有2层和3层的嵌套聚合,5秒内响应,需要什么样的机器配置,目前只有3台8核32g的机器

要回复问题请先登录注册