你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

ES 上传时跟已存在的文档进行替换或去重

Elasticsearch | 作者 wild | 发布于2021年08月23日 | 阅读数：1300

业务场景
跟已存在的文档进行去重
版本：7.13

我现在两个思路：
直接插入然后再查询重复的进行删除
es index id相同会进行替换，但是我上传文件是没有id的
请问下还有更好的方式吗？

2 个回复

tongchuan1992 - 学无止境、学以致用

赞同来自: wild

你这样的可以用自定义id作为写入es的ID字段，这样同一个ID的文档就会自动被update，不会重新生成一个doc

赞同来自: wild

如果是logstash 写入的话可以看一下FignerPrint https://www.elastic.co/guide/e ... .html 可能是个思路

要回复问题请先登录或注册