你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
发现
分享
文章
活动
登录
不要急，总有办法的
logstash 同步上亿数据oracle到elasticsearch
Logstash
| 作者
aminemine
| 发布于2018年09月10日 | 阅读数：
5714
分享到：
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
oracle没有自增长id，只能使用rownum，子查询，但是好几亿的数据量同步，数据还在实时变动，唯一的是uuid，有时间戳，但是一批一个，时间戳会重复，如果删除某数据，或者有更新，rownum就不会是原来的那个数字了，如果在子查询里面按照uuid或者时间戳排序，肯定不现实，速度太慢，而且同步到elasticsearch里面，不能用rownum做docid,怎么设置使用uuid来做doc的id？
没有找到相关结果
已邀请:
与内容相关的链接
提交
1 个回复
aminemine
赞同来自:
input {
jdbc {
jdbc_connection_string => ""
jdbc_user => ""
jdbc_password => ""
jdbc_driver_library => "C:/developtools/elasticsearch/driver/ojdbc6.jar"
jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
jdbc_page_size => "50000"
statement => "SELECT * FROM(SELECT NP.*, ROWNUM RN FROM (SELECT * FROM TB_WENSHU_P) NP)T_TB_WENSHU_P WHERE T_TB_WENSHU_P.RN > :sql_last_value"
schedule => "* * * * *"
type=> "tb_wenshu_p"
record_last_run => "true"
use_column_value => "true"
tracking_column => "rn"
last_run_metadata_path => "C:/developtools/elasticsearch/driver/last_id.txt"
clean_run => "false"
}
}
output {
elasticsearch {
hosts => [""]
index => "tb_wenshu_p"
document_id => "%{rn}"
user => ""
password => ""
}
stdout{
}
}
要回复问题请先
登录
或
注册
发起人
aminemine
活动推荐
Jun
17
搜索客 Meetup 讲师招募（长期有效）
线上
·
6-17 周一
·
进行中
相关问题
3千万数据，如何设计集群
elasticsearch scroll查询的原理没太懂
我来写第一个帖子-你们都是什么时候知道elasticsearch的？
怎么解决elasticsearch集群占用太多虚拟内存(VIRT)的问题？占用了几十个G，有什么可以对它进行限制的相关设置吗？
elasticsearch 设置 node.data: false 依然有数据
集群稳定性的一些问题（一定量数据后集群变得迟钝）
ElasticSearch-Hadoop的目標是什麼呢??
跨集群数据同步方案讨论
elasticsearch functionScoreQuery scriptFunction效率问题
Elastic对类似枚举数据的搜索性能优化
请教elasticsearch出现unassigned shards根本原因
问题状态
最新活动:
2018-09-10 19:00
浏览:
5714
关注:
1
人
1 个回复
aminemine
赞同来自:
jdbc {
jdbc_connection_string => ""
jdbc_user => ""
jdbc_password => ""
jdbc_driver_library => "C:/developtools/elasticsearch/driver/ojdbc6.jar"
jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
jdbc_page_size => "50000"
statement => "SELECT * FROM(SELECT NP.*, ROWNUM RN FROM (SELECT * FROM TB_WENSHU_P) NP)T_TB_WENSHU_P WHERE T_TB_WENSHU_P.RN > :sql_last_value"
schedule => "* * * * *"
type=> "tb_wenshu_p"
record_last_run => "true"
use_column_value => "true"
tracking_column => "rn"
last_run_metadata_path => "C:/developtools/elasticsearch/driver/last_id.txt"
clean_run => "false"
}
}
output {
elasticsearch {
hosts => [""]
index => "tb_wenshu_p"
document_id => "%{rn}"
user => ""
password => ""
}
stdout{
}
}