Elasticsearch数据比对工具

Elasticsearch | 作者 waywu | 发布于2019年11月18日 | 阅读数：3044

现准备将es集群由2.x升级到7.x，方案是搭建一套新的7.x集群，然后通过reindex将2.x集群的数据迁移到7.x上去，由于在迁移的过程中，业务方不停服，所以采用新老集群双写+reindex的方式再同步数据；
现在想请教一下，是否有工具来比对新老集群数据是否一致？

2 个回复

如果索引中有数值类型的数据，可以用聚合的方式来计算某个值（count, distinct, group by）做比较；然后随机挑选几条数据做对比（计算hash值），这样可以在很大程度上保证一致。

可以参考下，集群索引间复制数据时，在写入es的时候做幂等，这样只要双写+复制同时进行，最后核对总数量，就没什么问题

要回复问题请先登录或注册