你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

可否用spark这种多节点分布计算加快es查询

Elasticsearch | 作者 Carpe | 发布于2019年11月28日 | 阅读数：1298

我的想法是这样的。es对于关键词的查询。如果关键词很多的时候，es查询性能就很慢。是不是可以用spak实现输入一条数据和规则输出该数据是否满足查询条件。如果可以的话我就可以用spark把所有数据过一遍常用的查询规则。然后给这条数据在es写上一个keyword字段的值标记。就可以使用term查询加快速度了。不知道大佬们知不知道这种方式的可行性和成本高低怎么样。

1 个回复

Ombres

应用场景决定了是否可行，单独拎出来不好判断是否能满足你们的要求。之前接触过几个项目，也是多了一步数据预处理，提前对数据进行一次查询，将符合条件的数据打标然后再索引，查询的时候通过标签来进行搜索，这样确实能加快查询速度。
但是这么做会导致一些问题，比如，查询非实时（毕竟多了数据处理和重新索引过程），数据量大的情况下处理时间长，数据频繁更新的导致索引压力，不太适合冷热数据等

要回复问题请先登录或注册

可否用spark这种多节点分布计算加快es查询

1 个回复

发起人

相关问题

问题状态

可否用spark这种多节点分布计算加快es查询

与内容相关的链接

1 个回复

发起人

相关问题

问题状态