嘿~ 今天天气不错嘛

ES1.6.2 索引数据时间太长

Elasticsearch | 作者 shandian811 | 发布于2017年10月30日 | 阅读数:990

现在5台机器,每个机器:6T硬盘,1个master,3个data 节点(256G内存,12G(主)+55G*3(data 节点)); 索引分片数30, 每天全量从hbase hfile批量bulk插入差不多2T数据到es,要跑11个小时,查看日志是磁盘IO过高,准备做raid0;请问各位大神内存配置是否合理呢,还有其他建议没?看官网说内存不要超过32G? 这个真的影响很大吗
已邀请:

白衬衣 - 金桥

赞同来自:

1.32G是因为指针压缩问题,55G比32G略好,但是,内存使用效率没有32G高,浪费了大量内存在。
2.需要设置一个合理的bulk size和并发线程数,这些数据都是需要测试合理的值,不是越大越好,也不是越小越好。
3.设置一下索引的translog size,segment合并等相关的参数,有利于加速导入。
4.不建议一台服务器设置4个实例,两个实例应该足够了。
5.认真看下es-hadoop的参数,里面有些地方需要注意的,我之前测试es-hadoop的时候,24c64G的服务器,极限写入单机差不多80K行/s,集群350K行/s的样子。

qq123 - 90后IT精英

赞同来自:

批量写数据是时候去副本

要回复问题请先登录注册