你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

spark向es中写入数据产生异常如何处理

Elasticsearch | 作者 Vbeifeng | 发布于2018年01月13日 | 阅读数：4019

分享到：QQ空间新浪微博微信 QQ好友印象笔记有道云笔记

使用sparkRDD向ES中写入数据使用的是saveToES方法写入，如果字段会解析不出来，如何抛出这个异常呢。使用try catch捕捉不到这个异常。如何处理才能让程序不会因为一条数据不和格而终止呢

1 个回复

赞同来自: Vbeifeng

我的理解是目前savetoES没有很好的异常处理机制，所以暂时的解决方法是从上游进行控制，比如说过滤不合适的字符串。

估计这个问题会在下一个发布版本里得到解决：
https://github.com/elastic/ela ... /1064

要回复问题请先登录或注册