设置参数 `node.name` 可以自定义 Elasticsearch 节点的名字。 此条 Tips 由 medcl 贡献。
spark Elasticsearch

spark Elasticsearch

spark读取ES时报scroll错误

回复

ElasticsearchEmperorisMe 发起了问题 • 1 人关注 • 0 个回复 • 2533 次浏览 • 2020-02-17 08:38 • 来自相关话题

使用Spark在cdh上执行ES插入,报错java.lang.NoSuchFieldError: INSTANCE

ElasticsearchfrankZu 回复了问题 • 3 人关注 • 2 个回复 • 6679 次浏览 • 2019-12-18 17:06 • 来自相关话题

spark导入数据到elasticsearch如何指定默认的id

Elasticsearchwuqi55777 回复了问题 • 2 人关注 • 1 个回复 • 3135 次浏览 • 2019-09-11 10:23 • 来自相关话题

spark向ES写入数据不受控制

Elasticsearchganzidong 回复了问题 • 3 人关注 • 1 个回复 • 2042 次浏览 • 2019-05-20 09:56 • 来自相关话题

SparkStreaming 写 ES可能遇到的问题

Elasticsearchrochy 回复了问题 • 2 人关注 • 2 个回复 • 4393 次浏览 • 2018-12-06 01:05 • 来自相关话题

spark 结合 ES 可以执行聚合语句吗

ElasticsearchVbeifeng 回复了问题 • 4 人关注 • 2 个回复 • 3794 次浏览 • 2018-11-22 18:45 • 来自相关话题

EsSparkStreaming.saveToEs 如何做到负载均衡

Elasticsearchzqc0512 回复了问题 • 2 人关注 • 1 个回复 • 2099 次浏览 • 2018-11-20 09:51 • 来自相关话题

spark写es应该设置多少个partition,如果有三台es机器?

Elasticsearchrochy 回复了问题 • 2 人关注 • 1 个回复 • 2442 次浏览 • 2018-08-22 08:33 • 来自相关话题

通过spark往es中持续写数据

回复

Elasticsearchyqbboy 发起了问题 • 1 人关注 • 0 个回复 • 2545 次浏览 • 2018-05-31 15:55 • 来自相关话题

Spark数据清洗写入es时报错

Elasticsearchexceptions 回复了问题 • 2 人关注 • 1 个回复 • 2963 次浏览 • 2018-05-30 20:50 • 来自相关话题

spark向es中写入数据产生异常如何处理

Elasticsearchlocatelli 回复了问题 • 3 人关注 • 1 个回复 • 4299 次浏览 • 2018-01-15 08:22 • 来自相关话题

spark elasticsearch 异常: PowerSet: Too many elements to create a power set 40

Elasticsearchmazedfishs 发表了文章 • 0 个评论 • 2192 次浏览 • 2017-11-14 17:22 • 来自相关话题

org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Too many elements to create a power set 54 at org.elasticsearch.hadoop.util.Assert.isTrue(Assert.java:50) at org.elasticsearch.hadoop.rest.ShardSorter$PowerSet.(ShardSorter.java:218) at org.elasticsearch.hadoop.rest.ShardSorter.powerList(ShardSorter.java:202) at org.elasticsearch.hadoop.rest.ShardSorter.checkCombo(ShardSorter.java:89) at org.elasticsearch.hadoop.rest.ShardSorter.find(ShardSorter.java:85) at org.elasticsearch.hadoop.rest.RestRepository.doGetReadTargetShards(RestRepository.java:352) at org.elasticsearch.hadoop.rest.RestRepository.getReadTargetShards(RestRepository.java:295) at org.elasticsearch.hadoop.rest.RestService.findPartitions(RestService.java:253) at org.elasticsearch.spark.rdd.AbstractEsRDD.esPartitions$lzycompute(AbstractEsRDD.scala:61) at org.elasticsearch.spark.rdd.AbstractEsRDD.esPartitions(AbstractEsRDD.scala:60) at org.elasticsearch.spark.rdd.AbstractEsRDD.getPartitions(AbstractEsRDD.scala:27) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237) at scala.Option.getOrElse(Option.scala:120) at org.apache.spark.rdd.RDD.partitions(RDD.scala:237) at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)Users with the same issue   解释: Read failure when index/alias spread among 32 or more nodes   https://github.com/elastic/ela ... s/737

spark streaming 写入 Elasticsearch 报错 Cannot detect ES version

回复

Elasticsearch夜玉 发起了问题 • 1 人关注 • 0 个回复 • 5556 次浏览 • 2017-11-06 10:42 • 来自相关话题

spark读取Elasticsearch数据异常 java.lang.NullPointerException

回复

Elasticsearchmazedfishs 回复了问题 • 1 人关注 • 1 个回复 • 8002 次浏览 • 2017-09-22 14:16 • 来自相关话题

spark读取ES时报scroll错误

回复

ElasticsearchEmperorisMe 发起了问题 • 1 人关注 • 0 个回复 • 2533 次浏览 • 2020-02-17 08:38 • 来自相关话题

使用Spark在cdh上执行ES插入,报错java.lang.NoSuchFieldError: INSTANCE

回复

ElasticsearchfrankZu 回复了问题 • 3 人关注 • 2 个回复 • 6679 次浏览 • 2019-12-18 17:06 • 来自相关话题

spark导入数据到elasticsearch如何指定默认的id

回复

Elasticsearchwuqi55777 回复了问题 • 2 人关注 • 1 个回复 • 3135 次浏览 • 2019-09-11 10:23 • 来自相关话题

spark向ES写入数据不受控制

回复

Elasticsearchganzidong 回复了问题 • 3 人关注 • 1 个回复 • 2042 次浏览 • 2019-05-20 09:56 • 来自相关话题

SparkStreaming 写 ES可能遇到的问题

回复

Elasticsearchrochy 回复了问题 • 2 人关注 • 2 个回复 • 4393 次浏览 • 2018-12-06 01:05 • 来自相关话题

spark 结合 ES 可以执行聚合语句吗

回复

ElasticsearchVbeifeng 回复了问题 • 4 人关注 • 2 个回复 • 3794 次浏览 • 2018-11-22 18:45 • 来自相关话题

EsSparkStreaming.saveToEs 如何做到负载均衡

回复

Elasticsearchzqc0512 回复了问题 • 2 人关注 • 1 个回复 • 2099 次浏览 • 2018-11-20 09:51 • 来自相关话题

spark写es应该设置多少个partition,如果有三台es机器?

回复

Elasticsearchrochy 回复了问题 • 2 人关注 • 1 个回复 • 2442 次浏览 • 2018-08-22 08:33 • 来自相关话题

通过spark往es中持续写数据

回复

Elasticsearchyqbboy 发起了问题 • 1 人关注 • 0 个回复 • 2545 次浏览 • 2018-05-31 15:55 • 来自相关话题

Spark数据清洗写入es时报错

回复

Elasticsearchexceptions 回复了问题 • 2 人关注 • 1 个回复 • 2963 次浏览 • 2018-05-30 20:50 • 来自相关话题

spark向es中写入数据产生异常如何处理

回复

Elasticsearchlocatelli 回复了问题 • 3 人关注 • 1 个回复 • 4299 次浏览 • 2018-01-15 08:22 • 来自相关话题

spark streaming 写入 Elasticsearch 报错 Cannot detect ES version

回复

Elasticsearch夜玉 发起了问题 • 1 人关注 • 0 个回复 • 5556 次浏览 • 2017-11-06 10:42 • 来自相关话题

spark读取Elasticsearch数据异常 java.lang.NullPointerException

回复

Elasticsearchmazedfishs 回复了问题 • 1 人关注 • 1 个回复 • 8002 次浏览 • 2017-09-22 14:16 • 来自相关话题

spark elasticsearch 异常: PowerSet: Too many elements to create a power set 40

Elasticsearchmazedfishs 发表了文章 • 0 个评论 • 2192 次浏览 • 2017-11-14 17:22 • 来自相关话题

org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Too many elements to create a power set 54 at org.elasticsearch.hadoop.util.Assert.isTrue(Assert.java:50) at org.elasticsearch.hadoop.rest.ShardSorter$PowerSet.(ShardSorter.java:218) at org.elasticsearch.hadoop.rest.ShardSorter.powerList(ShardSorter.java:202) at org.elasticsearch.hadoop.rest.ShardSorter.checkCombo(ShardSorter.java:89) at org.elasticsearch.hadoop.rest.ShardSorter.find(ShardSorter.java:85) at org.elasticsearch.hadoop.rest.RestRepository.doGetReadTargetShards(RestRepository.java:352) at org.elasticsearch.hadoop.rest.RestRepository.getReadTargetShards(RestRepository.java:295) at org.elasticsearch.hadoop.rest.RestService.findPartitions(RestService.java:253) at org.elasticsearch.spark.rdd.AbstractEsRDD.esPartitions$lzycompute(AbstractEsRDD.scala:61) at org.elasticsearch.spark.rdd.AbstractEsRDD.esPartitions(AbstractEsRDD.scala:60) at org.elasticsearch.spark.rdd.AbstractEsRDD.getPartitions(AbstractEsRDD.scala:27) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237) at scala.Option.getOrElse(Option.scala:120) at org.apache.spark.rdd.RDD.partitions(RDD.scala:237) at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)Users with the same issue   解释: Read failure when index/alias spread among 32 or more nodes   https://github.com/elastic/ela ... s/737