使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

使用Spark在cdh上执行ES插入,报错java.lang.NoSuchFieldError: INSTANCE

Elasticsearch | 作者 Dapor | 发布于2018年10月16日 | 阅读数:6678

猜想:ES6.4.1的httpclient时4.5.2,但是集群上的cdh有默认的httpclient4.2.5;执行spark任务会读取cdh上的jars,导致版本冲突
求大佬们 这该如何是好如图:
1539685833(1).jpg

 
已邀请:

rochy - rochy_he

赞同来自: kennywu76 exceptions

你可以试一下 Elasticsearch for Apache Hadoop
https://www.elastic.co/guide/e ... .html
 
对于 jar 包冲突你可以尝试使用 maven-shade-plugin 将冲突的 jar 包隐藏起来
详情请参考:https://www.jianshu.com/p/d9fb7afa634d

frankZu - 一个忧伤的漫步者

赞同来自:

请问这个问题解决了吗?

要回复问题请先登录注册