不为失败找理由,要为成功找方法。

关于同索引下数据去重问题

Elasticsearch | 作者 study_test | 发布于2020年01月16日 | 阅读数:1602

对于同一个索引下面的相同数据,有什么办法可以去重,删除重复的数据呢?(不是查询去重,是ES存储中的数据去重)
 
数据导入ES之后,出现部分字段,除了_id不同以外,其他字段相同,这种情况应该如何快速去重呢?

小白求助。。
已邀请:

locatelli

赞同来自: ppppenger

官网有一篇blog讲这个问题的:
https://www.elastic.co/blog/ho ... earch

ppppenger

赞同来自:

除了自定义ID,我觉得没啥好办法
不过你可以根据内容生成指纹信息,如果两个数据的指纹信息相同就不更新

要回复问题请先登录注册