用了Elasticsearch，一口气上5T

bulkindex导入 1500/秒，请教怎么才能快点？

Elasticsearch | 作者 tyler820879622 | 发布于2015年04月21日 | 阅读数：6398
分享到：QQ空间新浪微博微信QQ好友印象笔记有道云笔记
5台节点，给10G内存，10个分片，0个复制，用bulkindex导入1000万数据的时候,3个小时，1500/s, 能不能快点呢？我看理论20000/s,请教问题在哪里？
2015-04-21 添加评论

没有找到相关结果

    已邀请:

    jingkyks - 水果铅笔2B橡皮

    赞同来自: stab

    bulk的时候，用条数来衡量数据量是不是不太合理呢？建议用数据量作为衡量标准，印象中es默认设置是5m做一次bulk。
    2015-04-21 1 0
    分享

    stab - freshman

    赞同来自: jingkyks

    不必要的不分词，不必要的不索引
    2015-04-21 1 0
    分享

    jingkyks - 水果铅笔2B橡皮

    赞同来自:

    再就是监控协议网络和磁盘的情况，硬件性能也是不可忽略的。
    2015-04-21 0 0
    分享

    tyler820879622 - 80后IT 男

    赞同来自:

    我的测试数据 是 6个字段，6个字段都分词。
    譬如：
    “
    3832741 name1832721 address1832721 idcard1832721 company1832721 email1832721
    ”
    这样子的。我看别人测的是20000~30000/s，我像我这个也不复杂啊，怎么要那么久呢？
    谢谢！
    2015-04-21 0 0
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册

    Copyright © 2024 · CC BY-NC-SA 3.0

    本站服务器及带宽由 提供赞助