从sql server里向es导数据，现在用的logstash速度大概700条每秒，要导亿级数据，有什么比较快的方法吗？

Elasticsearch | 作者 xiao13mm | 发布于2018年09月03日 | 阅读数：1245

系统提示：这个人太懒了，什么问题描述都没有写！

logstash的配置文件发下看看。还需要看下是从sql server读取慢了，还是写入es慢了。

rochy - rochy_he

如果ES写入负荷不是很高的话推荐你启动多个logstash写入，
你可以根据记录的主键ID进行分段，也可以根据记录的时间进行分段；
分段后，每一段使用一个logstash进行同步，以此提高并发写入速度。

此外可以试着提高单个节点的BuklSize，看看有没有速度的提升。

zqc0512 - andy zhou

700条多半内存给少了。
JVM 多大 logstash bulksize 多少
你数据怎么处理的，这玩意若是filter多了的话，很耗CPU的

要回复问题请先登录或注册