你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

请教下写入es的并发量.

Elasticsearch | 作者 coolloves | 发布于2016年04月05日 | 阅读数：14417

分享到：QQ空间新浪微博微信 QQ好友印象笔记有道云笔记

目前使用的rsyslog写入es,有些离线数据想导入es,就通过rsyslog的imfile读入后解析然后传给es,看了下,大约5k doc/s的速度导入,那么几百g的日志导入进去,貌似时间也挺久的,有什么其他的途径能更快点吗?

1 个回复

赞同来自: stab 、coolloves

用SSD
多线程bulk
尽量设置每个bulk的大小在5~15M左右
增加节点、分片
设置多个path.data目录，或配置RAID 0阵列
如果用的是SSD，设置index.store.throttle.type：none
禁用_all
增大index.refresh_interval的值，默认1s
增大index.translog.flush_threshold_size的值
设置0副本，建完索引优化后再增加副本
增大indices.memory.index_buffer_size的值
用比较新版本的ES

要回复问题请先登录或注册