无论才能、知识多么卓著，如果缺乏热情，则无异纸上画饼充饥，无补于事。

Elasticsearch大数据下怎么去重

Elasticsearch | 作者 xuhuipeng | 发布于2022年07月05日 | 阅读数：1330
分享到：QQ空间新浪微博微信QQ好友印象笔记有道云笔记
目前Elasticsearch集群中索引中有7亿条数据，1Tb,字段10个，要求对账号字段进行去重，返回全部的不重复账号。
使用Filnk或者spark全量扫描数据，对于集群压力太大，请问有别的方法吗
2022-07-05 添加评论

没有找到相关结果

    已邀请:

    juin - 大数据开发

    赞同来自:

    你搜一下 collapse ，ES 有个"折叠" 的功能
    2022-07-05 0 0
    分享

    FFFrp

    赞同来自:

    切分下数据用 scroll  扫数据，压力不会很大
    2022-07-07 0 0
    分享

    sdx

    赞同来自:

    collapse函数目前最好的方案
    2022-07-08 0 0
    分享

    xuhuipeng

    赞同来自:

    补充一下，不重复的账号大于有20W。
    2022-07-08 0 0
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册

    Copyright © 2025 · CC BY-NC-SA 3.0

    本站服务器及带宽由 提供赞助