我刚打酱油去了,不好意思

elastic from size 分页遇到重复数据问题

Elasticsearch | 作者 wengxuejie | 发布于2018年11月15日 | 阅读数:3016

在一个全是filter的查询中 ,使用from,size ,结果发现有重复数据,使用sort和偏移量也都会出现,分片只有1
已邀请:

rochy - rochy_he

赞同来自:

如果在查询过程中没有新文档的变化或者文档的修改删除,
理论上是不会出现重复问题的

wengxuejie

赞同来自:

我目前遇到的问题是用了from,size 结果有好几页都有重复发生

rochy - rochy_he

赞同来自:

如果只有一个分片,From+Size+Sort 应该是不会重复的

laoyang360 - Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

1,楼上也说了,确认一下你的配置。有几个分片?
2,确认一下数据是不是完全一致。还是本来你写入的时候有数据重复。

wengxuejie

赞同来自:

问题找到了,分片确实只有一个,重复原因是因为filter没有相关性分数,使用了es默认排序,sort 按_uid排序可以解决,用sort重复的原因是因为有数据添加了,导致后面又看到之前的值,这个无法规避, 不过可以忽略

bznie - 90s程序员

赞同来自:

我也遇到这个问题,但是是偶然性的,有时候下拉刷新就好了,我用的创建时间排序的,

要回复问题请先登录注册