使用Spark在cdh上执行ES插入,报错java.lang.NoSuchFieldError: INSTANCE

作者 Dapor | 发布于2018年10月16日 | 阅读数:120

猜想:ES6.4.1的httpclient时4.5.2,但是集群上的cdh有默认的httpclient4.2.5;执行spark任务会读取cdh上的jars,导致版本冲突
求大佬们 这该如何是好如图:
1539685833(1).jpg

 
已邀请:

rochy - rochy_he@jointsky

赞同来自: kennywu76 exceptions

你可以试一下 Elasticsearch for Apache Hadoop
https://www.elastic.co/guide/e ... .html
 
对于 jar 包冲突你可以尝试使用 maven-shade-plugin 将冲突的 jar 包隐藏起来
详情请参考:https://www.jianshu.com/p/d9fb7afa634d

要回复问题请先登录注册