使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。
内存

内存

【es 6.5.4】ES内存占用过高问题

Elasticsearchenvy666 回复了问题 • 3 人关注 • 2 个回复 • 4200 次浏览 • 2021-03-10 14:32 • 来自相关话题

ES有时候old GC的时间会非常长,请问可能是因为什么原因?

Elasticsearchcode4j 回复了问题 • 6 人关注 • 4 个回复 • 5769 次浏览 • 2019-11-25 23:45 • 来自相关话题

64G内存如何为Elasticsearch和Logstash分配内存?

Elasticsearchziyou 回复了问题 • 2 人关注 • 1 个回复 • 5678 次浏览 • 2019-08-13 15:14 • 来自相关话题

es 进程占用的内存会越来越大

Elasticsearchkennywu76 回复了问题 • 6 人关注 • 3 个回复 • 8329 次浏览 • 2018-12-28 17:57 • 来自相关话题

elastic内存问题 yong survivor总量都是0

Elasticsearchzhangg7723 回复了问题 • 2 人关注 • 2 个回复 • 2404 次浏览 • 2018-11-26 11:23 • 来自相关话题

Elasticsearch内存不受控制吗?

Elasticsearchrockybean 回复了问题 • 7 人关注 • 3 个回复 • 2876 次浏览 • 2018-06-29 13:56 • 来自相关话题

Elasticsearch内存配置成系统内存的50%是否合理?

Elasticsearchkennywu76 回复了问题 • 8 人关注 • 4 个回复 • 14148 次浏览 • 2018-04-18 17:49 • 来自相关话题

内存紧张,FGC停不下来

回复

Elasticsearchsimooge 发起了问题 • 1 人关注 • 0 个回复 • 6976 次浏览 • 2018-01-24 14:17 • 来自相关话题

ES内存使用过高

Elasticsearchredhat 回复了问题 • 8 人关注 • 3 个回复 • 20289 次浏览 • 2017-11-14 08:50 • 来自相关话题

现在es能不能用G1来进行内存回收?

Elasticsearchdavinciyxw 回复了问题 • 5 人关注 • 3 个回复 • 6500 次浏览 • 2017-09-11 15:35 • 来自相关话题

聚合引起的内存问题

ElasticsearchBrickXu 回复了问题 • 6 人关注 • 8 个回复 • 6098 次浏览 • 2017-07-19 11:22 • 来自相关话题

es对查询发起端的性能是否有要求?

ElasticsearchYuna 回复了问题 • 2 人关注 • 1 个回复 • 4173 次浏览 • 2017-05-24 10:21 • 来自相关话题

es最大只能用32G内存吗

ElasticsearchJea 回复了问题 • 2 人关注 • 1 个回复 • 6258 次浏览 • 2017-05-08 11:41 • 来自相关话题

怎么设置让索引文件全部在内存中查询

Elasticsearchhuigy 回复了问题 • 6 人关注 • 8 个回复 • 7313 次浏览 • 2017-04-01 10:16 • 来自相关话题

ES内存数据占用异常问题

Elasticsearchmedcl 回复了问题 • 5 人关注 • 1 个回复 • 5772 次浏览 • 2017-02-23 16:50 • 来自相关话题

条新动态, 点击查看
kennywu76

kennywu76 回答了问题 • 2017-09-11 13:44 • 3 个回复 不感兴趣

现在es能不能用G1来进行内存回收?

赞同来自:

之前版本,官方是有文档明确说明不要用G1。 因为根据Lucene的stress test,发现某些版本JAVA G1存在的Bug,会造成Lucene的段文件损坏。
 
在5.0以后,官方文档没有明确说是否可以使用G1,但是ES启动过程中有一个针对G1 GC的J... 显示全部 »
之前版本,官方是有文档明确说明不要用G1。 因为根据Lucene的stress test,发现某些版本JAVA G1存在的Bug,会造成Lucene的段文件损坏。
 
在5.0以后,官方文档没有明确说是否可以使用G1,但是ES启动过程中有一个针对G1 GC的JVM版本校验
https://www.elastic.co/guide/en/elasticsearch/reference/5.5/_g1gc_check.html
其隐含的意思是说,使用 JDK 8u40以上版本,启用G1应该是安全的。
 
不过,根据经验,在使用ES过程中遇到长时间GC问题时,通常需要调整的不是JVM,而是Query本身。特别是,频繁OLD GC过后, 释放不了Heap空间的情况下,用CMS还是G1不会有什么分别。
事实上,给ES分配的内存有一个魔法上限值26GB,这样可以确保启用zero based Compressed Oops,这样性能才是最佳的。参考:
https://www.elastic.co/blog/a-heap-of-trouble
 
  显示全部 »
事实上,给ES分配的内存有一个魔法上限值26GB,这样可以确保启用zero based Compressed Oops,这样性能才是最佳的。参考:
https://www.elastic.co/blog/a-heap-of-trouble
 
 

【es 6.5.4】ES内存占用过高问题

回复

Elasticsearchenvy666 回复了问题 • 3 人关注 • 2 个回复 • 4200 次浏览 • 2021-03-10 14:32 • 来自相关话题

ES有时候old GC的时间会非常长,请问可能是因为什么原因?

回复

Elasticsearchcode4j 回复了问题 • 6 人关注 • 4 个回复 • 5769 次浏览 • 2019-11-25 23:45 • 来自相关话题

64G内存如何为Elasticsearch和Logstash分配内存?

回复

Elasticsearchziyou 回复了问题 • 2 人关注 • 1 个回复 • 5678 次浏览 • 2019-08-13 15:14 • 来自相关话题

es 进程占用的内存会越来越大

回复

Elasticsearchkennywu76 回复了问题 • 6 人关注 • 3 个回复 • 8329 次浏览 • 2018-12-28 17:57 • 来自相关话题

elastic内存问题 yong survivor总量都是0

回复

Elasticsearchzhangg7723 回复了问题 • 2 人关注 • 2 个回复 • 2404 次浏览 • 2018-11-26 11:23 • 来自相关话题

Elasticsearch内存不受控制吗?

回复

Elasticsearchrockybean 回复了问题 • 7 人关注 • 3 个回复 • 2876 次浏览 • 2018-06-29 13:56 • 来自相关话题

Elasticsearch内存配置成系统内存的50%是否合理?

回复

Elasticsearchkennywu76 回复了问题 • 8 人关注 • 4 个回复 • 14148 次浏览 • 2018-04-18 17:49 • 来自相关话题

内存紧张,FGC停不下来

回复

Elasticsearchsimooge 发起了问题 • 1 人关注 • 0 个回复 • 6976 次浏览 • 2018-01-24 14:17 • 来自相关话题

ES内存使用过高

回复

Elasticsearchredhat 回复了问题 • 8 人关注 • 3 个回复 • 20289 次浏览 • 2017-11-14 08:50 • 来自相关话题

现在es能不能用G1来进行内存回收?

回复

Elasticsearchdavinciyxw 回复了问题 • 5 人关注 • 3 个回复 • 6500 次浏览 • 2017-09-11 15:35 • 来自相关话题

聚合引起的内存问题

回复

ElasticsearchBrickXu 回复了问题 • 6 人关注 • 8 个回复 • 6098 次浏览 • 2017-07-19 11:22 • 来自相关话题

es对查询发起端的性能是否有要求?

回复

ElasticsearchYuna 回复了问题 • 2 人关注 • 1 个回复 • 4173 次浏览 • 2017-05-24 10:21 • 来自相关话题

es最大只能用32G内存吗

回复

ElasticsearchJea 回复了问题 • 2 人关注 • 1 个回复 • 6258 次浏览 • 2017-05-08 11:41 • 来自相关话题

怎么设置让索引文件全部在内存中查询

回复

Elasticsearchhuigy 回复了问题 • 6 人关注 • 8 个回复 • 7313 次浏览 • 2017-04-01 10:16 • 来自相关话题

ES内存数据占用异常问题

回复

Elasticsearchmedcl 回复了问题 • 5 人关注 • 1 个回复 • 5772 次浏览 • 2017-02-23 16:50 • 来自相关话题