ES是否适合在超大磁盘空间的机器上运行

Elasticsearch | 作者 ghnjk | 发布于2018年09月11日 | 阅读数：3274

公司的日志非常大，为了节省成本，准备使超大磁盘空间的机器组建存储集群。
具体差不多是32cpu 64g内存然后是60块2T（共120T)的磁盘。
最近在做这块的方案，现在担心内存不够，查询会很慢，想问问有人是否碰到类似的场景，有没有好的建议。

5 个回复

JackGe

赞同来自: juin

ES在写入数据时先在内存建立倒排索引会有大量计算耗CPU和内存，在进行小segment合并时耗CPU和内存和磁盘IO；在进行聚合分析查询时耗内存和CPU；ES节点重启后加载Lucene文件时耗磁盘IO，长期保存数据耗磁盘空间和内存。因此ES服务器需要计算型，您说的机型32C64G120T，磁盘太大了无法利用起来，除非把不查询的索引close需要时再open。存日志数据，mapping设置也很关键，长字符串建议index:no，如果分词的话磁盘和内存消耗会很大。