高峰只对攀登它而不是仰望它的人来说才有真正意义。

logstash 是否支持两个维度更新

Logstash | 作者 wengxuejie | 发布于2018年10月24日 | 阅读数:1730

有一个需求,是将两个表合并到一起,用logstash合并,请问,logstash 是否支持两个变量监控 tracking_column 是否支持两个字段,来监控两个表的更新
已邀请:

wengxuejie

赞同来自:

比如说A表有变化了,logstash 增量更新A表,b表变化了,logstash增量更新b表

wengxuejie

赞同来自:

前提是更新同一个索引

rochy - rochy_he

赞同来自:

按照你上面的说法,还是可以实现的
logstash-jdbc 的方式根据 sql 对表中数据进行抽取,然后在 output 部分设置 es 的更新模式为 upsert;
最重要的是要显式指定 document_id,保证 id 一致的情况下,A 和 B 才能对同一条记录进行修正

wengxuejie

赞同来自:

@rochy  logstash 是可以配置成更新同一个索引同一type,是吗,只要保证document_id相同就行?

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

确认支持一个字段
建议:通过两表建立视图 然后同步视图

要回复问题请先登录注册