即使是不成熟的尝试,也胜于胎死腹中的策略。

elasticsearch-spark的script部分除了通过ctx._source获取已有的值之外,有什么方法能获取到正在输入的数据吗?

Elasticsearch | 作者 minglex | 发布于2019年12月24日 | 阅读数:969

场景:通过sparkstreaming消费kafka的数据并写入es,写入时需要根据新消费的数据来作为条件判断是否需要upsert,例如:假设es中存在ID为1的数据为{A:10,B:"nothing"},此时新来的一条数据ID同为1,需求为当新数据的A字段大与已存在的数据的A字段的值时,则更新该字段,否则就跳过
疑问:怎么获取新数据的A字段的值
已邀请:

要回复问题请先登录注册