分布式
使用elasticsearch 做排重存储使用的可行性
Elasticsearch • medcl 回复了问题 • 6 人关注 • 3 个回复 • 4116 次浏览 • 2018-03-27 11:07
功能上可行，主要还是需要测试一下性能。 因为op=create这种方式写入文档，遇到重复的id会抛异常，从而阻止写入。 所以当有大量重复文档的时候，catch大量的异常产生的性能损耗就不能够忽视。
20w每秒的写入量不算小，自己剋模拟不同量级的id重复情... 显示全部 »
20w每秒的写入量不算小，自己剋模拟不同量级的id重复情... 显示全部 »
功能上可行，主要还是需要测试一下性能。 因为op=create这种方式写入文档，遇到重复的id会抛异常，从而阻止写入。 所以当有大量重复文档的时候，catch大量的异常产生的性能损耗就不能够忽视。
20w每秒的写入量不算小，自己剋模拟不同量级的id重复情况，测试一下写入吞吐量，据此规划硬件资源。
20w每秒的写入量不算小，自己剋模拟不同量级的id重复情况，测试一下写入吞吐量，据此规划硬件资源。
使用elasticsearch 做排重存储使用的可行性
回复Elasticsearch • medcl 回复了问题 • 6 人关注 • 3 个回复 • 4116 次浏览 • 2018-03-27 11:07
