三人行必有我师

elastic加载索引过大出现Data too large

Elasticsearch | 作者 wanghao20 | 发布于2018年09月04日 | 阅读数:4494

由于日志文件过多,elastic加载的索引太大导致出现Data too large
索引是每天一个,已经在配置文件设置了indices.fielddata.cache.size: 20%
但是还是无法解决问题,现有内存是32G,jvm内存16g,限于实际情况扩大内存无法实现,因为很少需要查询,想请教下需要怎么设置才能让elastic只加载部分索引,
求大神们给个提示
已邀请:

zqc0512 - andy zhou

赞同来自:

加载部分索引?
不用的index可以关掉。看业务情况,若是查询的时候选择部分索引就行。
或者自己在kibana上面定制下。
 

qw8613243

赞同来自:

增大数据刷新到本地的时间。

yayg2008

赞同来自:

ES内存可以分为性能提升类型和必须占用类型,前者主要是为了提升性能,例如query cache,这部分内存不够顶多是慢;后者是ES正常工作必须的,比如segement cache,这部分不够,就会出异常了。
所以,如果索引过大,必须要控制内存分配,预留给segement 足够内存空间。可以参考 https://elasticsearch.cn/article/699

要回复问题请先登录注册