使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

elasticsearch 持续一段时间打数据,系统 cached 持续增长

Elasticsearch | 作者 sun_changlong | 发布于2019年04月26日 | 阅读数:1021

环境:
   系统是centos6.4 
   logstash 、elastic 版本是6.7.0 
   采用源码安装
 
 
现象:  通过logstash 持续向elasticsearch 发数据,测压,数据发送完毕以后,free -m  查看内存情况,发现cache 部分在数据写入时持续增加,计时数据停止一段时间也没有被回收,请问这是什么原因引起的? 使用默认索引限制 10%;
 
elasticsearch 和 logstash 的 jvm.options  相同
-Xms4g
-Xmx4g
 
cache 增量大约是每增加 1千万数据,cache增加1.5G
[root@localhost ~]# free -m
total used free shared buffers cached
Mem: 32000 10252 21747 0 106 4448
-/+ buffers/cache: 5697 26302
Swap: 0 0 0

已邀请:

juin - 大数据开发

赞同来自:

lucene 会用堆外内存

laoyang360 - Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

步骤1: 查看索引状态
GET /_stats 
 
步骤2: 查看luncene分段信息
GET /test/_segments
 
步骤3:清理缓存(requst/query/fielddata缓存)

POST /test/_cache/clear
 
步骤4:适当时机分段合并。

POST /test/_forcemerge
 

zqc0512 - andy zhou

赞同来自:

lucene 与cache  这能够提高查询效率的。 内存够就忽略他吧。32G机器给8-12G左右吧。

要回复问题请先登录注册