怎么解决elasticsearch集群占用太多虚拟内存(VIRT)的问题？占用了几十个G，有什么可以对它进行限制的相关设置吗？
Elasticsearch | 作者 ESWorker | 发布于2018年03月31日 | 阅读数：18202
我这里是es5.6.4版本的，有十个节点，都是64G内存的配置，集群启动后，具体表现在用top命令查看，发现虚拟内存有70G,80G，严重影响到其他任务的正常运行。
查了官方文档说是从索引文件映射的方式是MMap,会使用到大量虚拟内存，然后就没下文了。
难道默认就是无限制的，虚拟内存会随着集群索引数据量的增长而无限增长吗？
怎么限制住对虚拟内存的占用？
请教各位大神帮忙解答一下。
查了官方文档说是从索引文件映射的方式是MMap,会使用到大量虚拟内存，然后就没下文了。
难道默认就是无限制的，虚拟内存会随着集群索引数据量的增长而无限增长吗？
怎么限制住对虚拟内存的占用？
请教各位大神帮忙解答一下。
5 个回复
medcl - 今晚打老虎。
赞同来自: laoyang360 、ESWorker 、zsgking 、lbx6z 、machao 、Merrizee 、artisan更多 »
如果没有实际占用，哪些都只是个数字，不用担心。
给 Elasticsearch 设置内存不是越大越好，要根据实际的使用需求来设置，你可以一开始大一点，然后看看实际的生产环境上，
在实际的查询和压力下看看，在一段时间的观察下，具体是跑了多少内存，不够就调大，占用率低就减少内存的分配，
把更多的内存留给系统做分页缓存更好。堆如果设置越大，垃圾堆积起来的 GC 压力会自然增大，也会造成偶尔的 GC 时间变长，影响 ES。
kennywu76 - Wood
赞同来自: famoss 、ESWorker 、machao 、derobukal 、JiangJibo
根据经验，如果按照官方的建议，给ES heap的内存少于机器可用物理内存的一半，通常不会有什么问题。 实际生产环境种，我们遇到过的相关问题场景: 预留的物理内存大大少于ES heap内存，从而在做大的查询聚合时，因为物理内存紧缺，mmap引起高频度的page in/page out，性能变得很差。
strglee
赞同来自: ESWorker
https://www.elastic.co/guide/e ... store
es 5之前使用mmapfs读取索引文件的部分，而5.0以后改为用mmapfs读取索引文件的全部，大范围的数据搜索可能造成过高的磁盘读IO
这是github上的一些讨论 可以看一下
https://github.com/elastic/ela ... 17616
https://github.com/elastic/ela ... 21611
laoyang360 - 《一本书讲透Elasticsearch》作者，Elastic认证工程师 [死磕Elasitcsearch]知识星球地址：http://t.cn/RmwM3N9；微信公众号：铭毅天下; 博客：https://elastic.blog.csdn.net
赞同来自: ESWorker
注意：
最大可分配堆内存大小为：
32GB与当前ES宿主机内存二者的最小值。
举例1）：ES宿主机内存：128GB，可供分配的堆内存：32GB。（建议31GB）
举例2）：ES宿主机内存：32GB，可供分配的堆内存：16GB。
renwanhui
赞同来自: