帮忙分析一下这种场景是否可以选择ES

Elasticsearch | 作者 JasonLi | 发布于2019年10月30日 | 阅读数：1224

请问这种场景可以选用ES吗？
场景：约1000亿/天，日志约2k/条，复杂的压缩格式，峰值流量约750M/s，需要存储2天
机器：40台，40逻辑cpu，128内存，512G SSD以及足够的机械盘
需求：秒级检索，最好10秒之内

4 个回复

40个机器都是40逻辑CPU还是40个机器共享40CPU？

如果数据结构不复杂的话理论上可以用ES

zqc0512 - andy zhou

入库应该没撒问题，关键是看查询，你就2天数据，没有必要分冷热的。这玩意对全库查询性能有很大影响的。

一次全量查询2天4K亿条数据，你觉得行吗？

es 不适合做大数据量的存储和大数据量的查询，大数据量的实时聚合。

ES本身就是个全文检索框架，

都是从大数据量里面挑选出少量数据，给足够的查询条件，筛选出少量的数据。

千万不要在几千亿的数据基础之上做聚合查询。

需求：秒级检索，最好10秒之内

单纯的全文检索查询，我觉得没啥问题，如果满足条件的数据大概有10000条的话。

还是非常快速的。

如果是聚合查询，那性能，还是算了吧。

要回复问题请先登录或注册