身安不如心安,屋宽不如心宽 。

请教下写入es的并发量.

Elasticsearch | 作者 coolloves | 发布于2016年04月05日 | 阅读数:7677

目前使用的rsyslog写入es,有些离线数据想导入es,就通过rsyslog的imfile读入后解析然后传给es,看了下,大约5k doc/s的速度导入,那么几百g的日志导入进去,貌似时间也挺久的,有什么其他的途径能更快点吗?
已邀请:

helloes

赞同来自: stab coolloves

  • 用SSD
  • 多线程bulk
  • 尽量设置每个bulk的大小在5~15M左右
  • 增加节点、分片
  • 设置多个path.data目录,或配置RAID 0阵列
  • 如果用的是SSD,设置index.store.throttle.type:none
  • 禁用_all
  • 增大index.refresh_interval的值,默认1s
  • 增大index.translog.flush_threshold_size的值
  • 设置0副本,建完索引优化后再增加副本
  • 增大indices.memory.index_buffer_size的值
  • 用比较新版本的ES

要回复问题请先登录注册