找到问题的解决办法了么?

spark向es中写入数据产生异常如何处理

Elasticsearch | 作者 Vbeifeng | 发布于2018年01月13日 | 阅读数:4050

使用sparkRDD向ES中写入数据使用的是saveToES方法写入,如果字段会解析不出来,如何抛出这个异常呢。使用try catch捕捉不到这个异常。如何处理才能让程序不会因为一条数据不和格而终止呢
已邀请:

locatelli

赞同来自: Vbeifeng

我的理解是目前savetoES没有很好的异常处理机制,所以暂时的解决方法是从上游进行控制,比如说过滤不合适的字符串。
 
估计这个问题会在下一个发布版本里得到解决:
https://github.com/elastic/ela ... /1064

要回复问题请先登录注册