嘿~ 今天天气不错嘛
分布式

分布式

使用elasticsearch 做排重存储使用的可行性

Elasticsearchmedcl 回复了问题 • 6 人关注 • 3 个回复 • 4370 次浏览 • 2018-03-27 11:07 • 来自相关话题

条新动态, 点击查看
kennywu76

kennywu76 回答了问题 • 2018-03-23 12:26 • 3 个回复 不感兴趣

使用elasticsearch 做排重存储使用的可行性

赞同来自:

功能上可行,主要还是需要测试一下性能。 因为op=create这种方式写入文档,遇到重复的id会抛异常,从而阻止写入。 所以当有大量重复文档的时候,catch大量的异常产生的性能损耗就不能够忽视。 
 
20w每秒的写入量不算小,自己剋模拟不同量级的id重复情... 显示全部 »
功能上可行,主要还是需要测试一下性能。 因为op=create这种方式写入文档,遇到重复的id会抛异常,从而阻止写入。 所以当有大量重复文档的时候,catch大量的异常产生的性能损耗就不能够忽视。 
 
20w每秒的写入量不算小,自己剋模拟不同量级的id重复情况,测试一下写入吞吐量,据此规划硬件资源。

使用elasticsearch 做排重存储使用的可行性

回复

Elasticsearchmedcl 回复了问题 • 6 人关注 • 3 个回复 • 4370 次浏览 • 2018-03-27 11:07 • 来自相关话题