从sql server里向es导数据,现在用的logstash速度大概700条每秒,要导亿级数据,有什么比较快的方法吗?

作者 xiao13mm | 发布于2018年09月03日 | 阅读数:194

系统提示:这个人太懒了,什么问题描述都没有写!

已邀请:

JackGe

赞同来自:

logstash的配置文件发下看看。还需要看下是从sql server读取慢了,还是写入es慢了。

rochy - rochy_he@jointsky

赞同来自:

如果ES写入负荷不是很高的话推荐你启动多个logstash写入,
你可以根据记录的主键ID进行分段,也可以根据记录的时间进行分段;
分段后,每一段使用一个logstash进行同步,以此提高并发写入速度。
 
此外可以试着提高单个节点的BuklSize,看看有没有速度的提升。

zqc0512 - andy zhou

赞同来自:

700条 多半内存给少了。
JVM 多大 logstash bulksize 多少
你数据怎么处理的,这玩意若是filter多了的话,很耗CPU的

要回复问题请先登录注册