三人行必有我师

使用elasticsearch 做排重存储使用的可行性

Elasticsearch | 作者 taoyantu | 发布于2018年03月23日 | 阅读数:5077

请教一个各位,目前需要一个分布式的有排重功能的数据存储。性能需要能支持20W左右每秒的数据插入,并且多个机房使用es,es也部署在多个机房组成集群。
想用elasticsearch作为存储方案,
使用 post /index/type/_id?op_type=create 的方式,提交数据,利用es的排重功能。
想问一下,这个方案是否可行?
请各位大神指点一下。谢谢
已邀请:

kennywu76 - Wood

赞同来自: rockybean taoyantu laoyang360 lbx6z

功能上可行,主要还是需要测试一下性能。 因为op=create这种方式写入文档,遇到重复的id会抛异常,从而阻止写入。 所以当有大量重复文档的时候,catch大量的异常产生的性能损耗就不能够忽视。 
 
20w每秒的写入量不算小,自己剋模拟不同量级的id重复情况,测试一下写入吞吐量,据此规划硬件资源。

novia - 1&0

赞同来自:

每秒20w,每分钟就是1200w,写入量很大,如果单条数据也必比较大的话,确实需要严格的测试

medcl - 今晚打老虎。

赞同来自:

用 redis 之类不更好?

要回复问题请先登录注册