是时候用 ES 拯救发际线啦

bulkindex导入 1500/秒,请教怎么才能快点?

Elasticsearch | 作者 tyler820879622 | 发布于2015年04月21日 | 阅读数:6424

5台节点,给10G内存,10个分片,0个复制,用bulkindex导入1000万数据的时候,3个小时,1500/s, 能不能快点呢?我看理论20000/s,请教问题在哪里?
已邀请:

jingkyks - 水果铅笔2B橡皮

赞同来自: stab

bulk的时候,用条数来衡量数据量是不是不太合理呢?建议用数据量作为衡量标准,印象中es默认设置是5m做一次bulk。

stab - freshman

赞同来自: jingkyks

不必要的不分词,不必要的不索引

jingkyks - 水果铅笔2B橡皮

赞同来自:

再就是监控协议网络和磁盘的情况,硬件性能也是不可忽略的。

tyler820879622 - 80后IT 男

赞同来自:

我的测试数据 是 6个字段,6个字段都分词。
譬如:

3832741 name1832721 address1832721 idcard1832721 company1832721 email1832721

这样子的。我看别人测的是20000~30000/s,我像我这个也不复杂啊,怎么要那么久呢?
谢谢!

要回复问题请先登录注册