怎么又是你

ES1.6.2 索引数据时间太长

Elasticsearch | 作者 shandian811 | 发布于2017年10月30日 | 阅读数：1828
分享到：QQ空间新浪微博微信QQ好友印象笔记有道云笔记
现在5台机器，每个机器：6T硬盘，1个master，3个data 节点（256G内存，12G(主)+55G*3(data 节点)）； 索引分片数30， 每天全量从hbase hfile批量bulk插入差不多2T数据到es，要跑11个小时，查看日志是磁盘IO过高，准备做raid0；请问各位大神内存配置是否合理呢，还有其他建议没？看官网说内存不要超过32G？ 这个真的影响很大吗
2017-10-30 添加评论

没有找到相关结果

    已邀请:

    白衬衣 - 金桥

    赞同来自:

    1.32G是因为指针压缩问题，55G比32G略好，但是，内存使用效率没有32G高，浪费了大量内存在。
    2.需要设置一个合理的bulk size和并发线程数，这些数据都是需要测试合理的值，不是越大越好，也不是越小越好。
    3.设置一下索引的translog size，segment合并等相关的参数，有利于加速导入。
    4.不建议一台服务器设置4个实例，两个实例应该足够了。
    5.认真看下es-hadoop的参数，里面有些地方需要注意的，我之前测试es-hadoop的时候，24c64G的服务器，极限写入单机差不多80K行/s，集群350K行/s的样子。
    2017-10-30 0 1
    分享

    qq123 - 90后IT精英

    赞同来自:

    批量写数据是时候去副本
    2017-11-28 0 1
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册

    Copyright © 2024 · CC BY-NC-SA 3.0

    本站服务器及带宽由 提供赞助