愚者求师之过,智者从师之长。

单key的value特别大的时候,有什么使用建议么?

匿名 | 发布于2018年04月18日 | 阅读数:1383

我现在想存一种日志数据,日志体特别大,但是搜索条件不会使用到日志体查询,大概100亿条100T大小。
初步想法是 用两个index,一个类似用作搜索引擎(index A),只存储需要查询的key,还有一个索引文档是id加body体(index B)。
这样做很大数据量查询的时候,只会查询index A能快速查询到列表,再去B用id查询查明细。 这样是不是可以避免了很大的io开销?

或者换成 nested,parent-child那种单独文档的结构有帮助么?
已邀请:

kennywu76 - Wood

赞同来自: laoyang360

不用搞这么复杂,就放一个索引,日志体因为不需要做检索,可以将该字段在mapping里设置成"enabled": false,也就是不索引。 ES的索引和原始数据的存放是分开的,查询的时候只走索引,不受存放的原始数据大小影响。 只有查到了结果,fetch数据阶段,才回去访问很大的source store。

要回复问题请先登录注册