悟空,拿我的打狗棒来

ES超大数据集群方案请教

Elasticsearch | 作者 artisan | 发布于2020年02月18日 | 阅读数:3074

现状: ES数据总量100亿左右, 磁盘占用约6T

目前有32核 64G内存的机器若干(15台左右),SSD。 ES内存打算分配20G左右,15台主机可用的os cache 大约在600G左右 ,这样的话 只有约1/10的数据能被os 缓存,90%的数据都在磁盘,这样是不是机器配置远远不够? 有没有更好的集群方案?
已邀请:

medcl - 今晚打老虎。

赞同来自: artisan

够不够要看你的需求,除了存储,还有考虑查询响应时间和索引吞吐的需求。
Elasticsearch 基于 Mmap 的方式读取文件,是按需加载,不需要全部缓存在内存里面的。
建议实际压测一下,才知道是否达到你的需求。
 
匿名用户

匿名用户

赞同来自: artisan

6T100亿,是固定不变的吗?
如果是,那真的太少了。我们公司1万亿条,500T

要回复问题请先登录注册