你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
发现
分享
文章
活动
登录
沙师弟，师父的充电器掉了
elasticsearch中index有40多个，shard共有800个。用spark-es工具插入数据特别慢。
Elasticsearch
| 作者
Vbeifeng
| 发布于2018年04月11日 | 阅读数：
2024
分享到：
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
目前有8个节点的es集群。和其他服务公用资源。在使用spark插入数据的时候特慢。是因为shard太多这个原因吗
没有找到相关结果
已邀请:
与内容相关的链接
提交
2 个回复
ESWorker
赞同来自:
能给出每个节点的配置情况么？如内存配置，磁盘类型，最好有个elasticsearch.yml配置文件的截图
个人认为，分片多对写入应该没什么大影响。首先在排除ES集群自身吞吐量，索引速度没问题的前提下，建议可以适当给插入数据的工程增加内存，提高（进入ES之前）插入数据的速度。
可以了解一下写入原理：
Elasticsearch 写入流程简介
分片优化方面：
ES节点及分片常见分配规则和ES优化方案
写入优化：
将 ELASTICSEARCH 写入速度优化到极限
yayg2008
赞同来自:
先要确认哪里耗时，是ES服务本身，还是spark-es工具插入速度的限制?
如果ES服务本身已经被插的负载很高了，那再结合index进行写入优化即可。
要回复问题请先
登录
或
注册
发起人
Vbeifeng
相关问题
3千万数据，如何设计集群
elasticsearch scroll查询的原理没太懂
我来写第一个帖子-你们都是什么时候知道elasticsearch的？
怎么解决elasticsearch集群占用太多虚拟内存(VIRT)的问题？占用了几十个G，有什么可以对它进行限制的相关设置吗？
elasticsearch 设置 node.data: false 依然有数据
集群稳定性的一些问题（一定量数据后集群变得迟钝）
ElasticSearch-Hadoop的目標是什麼呢??
elasticsearch functionScoreQuery scriptFunction效率问题
跨集群数据同步方案讨论
Elastic对类似枚举数据的搜索性能优化
5.X 版本多type 的 es 数据迁移到6.1
问题状态
最新活动:
2018-04-11 13:34
浏览:
2024
关注:
4
人
2 个回复
ESWorker
赞同来自:
个人认为，分片多对写入应该没什么大影响。首先在排除ES集群自身吞吐量，索引速度没问题的前提下，建议可以适当给插入数据的工程增加内存，提高（进入ES之前）插入数据的速度。
可以了解一下写入原理：Elasticsearch 写入流程简介
分片优化方面：ES节点及分片常见分配规则和ES优化方案
写入优化：将 ELASTICSEARCH 写入速度优化到极限
yayg2008
赞同来自:
如果ES服务本身已经被插的负载很高了，那再结合index进行写入优化即可。