有个人长的像洋葱,走着走着就哭了…….

logstash 将mysql数据导入es 越来越慢

Logstash | 作者 jiaminxu | 发布于2019年09月09日 | 阅读数:3466

centos7下安装了logstash 6.5.4
数据库是自建数据库mysql5.7
 
配置文件如下
[root@localhost config]# cat db-qa.conf 
input {
  stdin {
  }
  jdbc {
  type => "xxx"
  jdbc_connection_string => "jdbc:mysql://192.168.10.210:3306/pdabc"
  jdbc_user => "root"
  jdbc_password => "pdabc"
  record_last_run => true
  use_column_value => true
  tracking_column => "id"
  last_run_metadata_path => "/usr/local/logstash-6.5.4/data/my_info2"
  clean_run => "false"

  jdbc_driver_library => "/opt/mysql-connector-java-8.0.17/mysql-connector-java-8.0.17.jar"
  jdbc_driver_class => "com.mysql.jdbc.Driver"
  jdbc_paging_enabled => true
  jdbc_page_size => "500"
  statement => "select * from api_info_log_20190823 where id > :sql_last_value"
  schedule => "* * * * *"
  }
}
 
运行起来之后 耗时越来越久  最后5-6秒   mysql的表大约2G左右

time.png

 
也没有产生/usr/local/logstash-6.5.4/data/my_info2文件

123.png

 
请大佬指导一下
已邀请:

Ombres

赞同来自:

有递增id就不要用limit offset了,建议用 id > min and id < max ,需要修改一下logstash插件的代码,logstash处理这种大量数据的时候性能总是不太好
 

要回复问题请先登录注册