你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
发现
分享
文章
活动
登录
Q:非洲食人族的酋长吃什么?
es查询优化问题
Elasticsearch
| 作者
dongmei
| 发布于2018年05月29日 | 阅读数:
3435
分享到:
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
如上图,大概流程是通过scroll进行查询,查询结果获取id写进set中,数据量比较大,几百万到上千万;但是结果很慢,之后发现瓶颈在查询的过程,因此开始想利用多线程进行查询,但发现获取scrollID每次都需要上一次的结果才能生成下次的,所以没办法进行多线程。就不知道如何优化了,请教各位。。。
没有找到相关结果
已邀请:
与内容相关的链接
提交
2 个回复
bill
赞同来自:
1. 通过source限制返回的列
你如果只想得到满足条件的document id,不需要文档的所有列,那么可以限制一下,这样减少ES查询处理中使用的内存。
2. 根据你的查询条件做具体优化。
dongmei
赞同来自:
可以,这个确实是一个点,昨天搞定了,去除了排序,和只查询id,加上运用slice的方式进行多线程查询,提高了很多。。。
要回复问题请先
登录
或
注册
发起人
dongmei
活动推荐
Jun
17
搜索客 Meetup 讲师招募(长期有效)
线上
·
6-17 周一
·
进行中
Dec
18
【活动邀请·深圳】深圳 UG 2024 re:Invent re:Cap
深圳英特尔大湾区科技创新中心
·
12-18 周三
·
进行中
相关问题
elasticsearch scroll查询的原理没太懂
这个问题有点难?
怎么解决elasticsearch集群占用太多虚拟内存(VIRT)的问题?占用了几十个G,有什么可以对它进行限制的相关设置吗?
集群稳定性的一些问题(一定量数据后集群变得迟钝)
elasticsearch functionScoreQuery scriptFunction效率问题
请问查询人与人之间合作度,这种聚合查询怎么写呢?
Elastic对类似枚举数据的搜索性能优化
query_string查询疑问
Elasticsearch查询时指定分词器
索引某个shard无法恢复的问题
聚合查询如何优化
问题状态
最新活动:
2018-05-30 10:13
浏览:
3435
关注:
4
人
2 个回复
bill
赞同来自:
你如果只想得到满足条件的document id,不需要文档的所有列,那么可以限制一下,这样减少ES查询处理中使用的内存。
2. 根据你的查询条件做具体优化。
dongmei
赞同来自: