在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

ES 上传时跟已存在的文档进行替换或去重

Elasticsearch | 作者 wild | 发布于2021年08月23日 | 阅读数:1049

业务场景
跟已存在的文档进行去重
版本:7.13
 
我现在两个思路:
直接插入然后再查询重复的进行删除
es index id相同会进行替换,但是我上传文件是没有id的
请问下还有更好的方式吗?
 
 
已邀请:

tongchuan1992 - 学无止境、学以致用

赞同来自: wild

你这样的可以用自定义id作为写入es的ID字段,这样同一个ID的文档就会自动被update,不会重新生成一个doc

Tsukiand - 90后

赞同来自: wild

如果是logstash 写入的话可以看一下FignerPrint https://www.elastic.co/guide/e ... .html 可能是个思路

要回复问题请先登录注册