我刚打酱油去了,不好意思

elasticsearch scroll查询的原理没太懂

Elasticsearch | 作者 code4j | 发布于2017年11月28日 | 阅读数:31353

网上看了好多说es游标查询的,但大多就是说和mysql游标一样,对查询条件的数据做快照然后后续只从快照取。
 
感觉说的还是有点抽象,我说下我的问题:
 
1.如果第一次查询要取全部查询数据的快照的话,假设全部匹配的数据有10w条,那这scroll的第一步拉取快照的这一步,和正常分页size=10000 有什么区别?不一样会吃很多内存?
 
2.滚动的第一步汇总结果排序一样也很消耗内存,说白了和1一样,只不过是不做限制了,甚至会取到更多的数据(比如普通分页取1w条,实际上结果可能有10w条,换成滚动的话第一次就会取结果为10w的快照了)
 
最后顺便问一问,滚动查询生产环境下什么场景适合用,频率多大比较合适呢?
 
已邀请:
ES的搜索是分2个阶段进行的,即Query阶段和Fetch阶段。  Query阶段比较轻量级,通过查询倒排索引,获取满足查询结果的文档ID列表。  而Fetch阶段比较重,需要将每个shard的结果取回,在协调结点进行全局排序。  通过From+size这种方式分批获取数据的时候,随着from加大,需要全局排序并丢弃的结果数量随之上升,性能越来越差。
 
而Scroll查询,先做轻量级的Query阶段以后,免去了繁重的全局排序过程。 它只是将查询结果集,也就是doc id列表保留在一个上下文里, 之后每次分批取回的时候,只需根据设置的size,在每个shard内部按照一定顺序(默认doc_id续), 取回这个size数量的文档即可。 
 
由此也可以看出scroll不适合支持那种实时的和用户交互的前端分页工作,其主要用途用于从ES集群分批拉取大量结果集的情况,一般都是offline的应用场景。  比如需要将非常大的结果集拉取出来,存放到其他系统处理,或者需要做大索引的reindex等等。
 
参考:  https://www.elastic.co/guide/c ... .html
 

kennywu76 - Wood

赞同来自: lingerchouzi lbx6z MichaelXoX

如果想深究scroll底层机理,推荐阅读这篇博客: Elasticsearch 5.x 源码分析(3)from size, scroll 和 search after
 

machao - 90后IT

赞同来自: kongtianyi mediaDoraemon shengtu0328

"  而Fetch阶段比较重,需要将每个shard的结果取回,在协调结点进行全局排序。" :  排序应该是第一阶段吧,第二阶段是获取匹配的内容。

caster_QL

赞同来自:

mark

要回复问题请先登录注册