用了Elasticsearch,一口气上5T

logstash-input-jdbc 删除索引重新导入无数据无法写入

Logstash | 作者 Kevin Koo | 发布于2017年09月21日 | 阅读数:5458


删除索引重新同步数据之前 es的同步增量更新都是正常的,我也没有更改任何其他配置


使用 logstash-input-jdbc插件进行mysql同步数据
nohup ./logstash -f ./logstash-jdbc/jdbc.conf 2>&1 &
首先上配置
input {
stdin {
}
jdbc {
jdbc_connection_string => "jdbc:mysql://192.168.148.41:3306/yuya_v3"
jdbc_user => "ceshi_root"
jdbc_password => "ceshi_pwd"
jdbc_driver_library => "/usr/local/elasticsearch-5.5.2/lib/mysql-connector-java-5.1.41.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
jdbc_default_timezone => "Asia/Shanghai"
last_run_metadata_path => "/usr/local/logstash-5.5.2/bin/logstash-jdbc/last_time"
statement_filepath => "/usr/local/logstash-5.5.2/bin/logstash-jdbc/back-news.sql"
schedule => "* * * * *"
type => "backend"
}
}
output {
elasticsearch {
hosts => "192.168.148.42:9200"
index => "backed_news"
document_id => "%{_id}"
}
stdout {
codec => json_lines
}
}
日志里 能看到执行同步的数据库数据,但是es里却没有任何数据,不知道如何解决这个问题。
TIM截图20170921101154.png TIM截图20170921101135.png TIM截图20170921101208.png
已邀请:

novia - 1&0

赞同来自: Kevin Koo

看看es的日志,是不是报错了,这种情况,es经常会报一个日期转换的错误

要回复问题请先登录注册