用了Elasticsearch,一口气上5T
es查询海量数据

es查询海量数据

ES数据返回量大的问题

Elasticsearchrochy 回复了问题 • 2 人关注 • 1 个回复 • 3219 次浏览 • 2018-11-26 17:02 • 来自相关话题

条新动态, 点击查看
我觉得和ES没有关系,是代码逻辑有问题。
 
看起来这段代码是通过scoll查询将满足条件的几十万条数据,1万条一个批次分批取回。 while循环里,想通过下面这个方法:

customers = getCustomers(customers,respons... 显示全部 »
我觉得和ES没有关系,是代码逻辑有问题。
 
看起来这段代码是通过scoll查询将满足条件的几十万条数据,1万条一个批次分批取回。 while循环里,想通过下面这个方法:

customers = getCustomers(customers,response);

将response里解析出来的结果放到customers这个list里面。 
 
这个赋值是做了对象的拷贝,意味着每次迭代,就拷贝一个更大的list,越来越慢。  正确的做法是每次迭代解析出response里的结果后,直接add到customers列表。
 
 

ES数据返回量大的问题

回复

Elasticsearchrochy 回复了问题 • 2 人关注 • 1 个回复 • 3219 次浏览 • 2018-11-26 17:02 • 来自相关话题