ES 现在有接近5亿条数据,再使用python的helpers.bulk导入数据变得非常慢?
Elasticsearch | 作者 wkl7123 | 发布于2016年05月17日 | 阅读数:9309
已经把refresh时间设为了-1,每个bulk语句中即使只有10条数据也异常缓慢(timeout=10, 还会报timeout exception),其他设置基本上是默认设置。es版本2.3, 服务器 windows server 2008, 4G内存,cpu忘了。在刚开始导入的时候(es库里条目为0),大概是每秒2000条。请问es在数据库数据变大的时候插入性能会严重变差吗?是不是只有一个数据节点的缘故?有什么解决办法?
4 个回复
qq123 - 90后IT精英
赞同来自: zhouyou1000
viewsite
赞同来自:
puyunjiafly
赞同来自:
_id是自定义的吗?
如果_id是默认的 这种机器最好用索引-时间的索引名称存储比较快。
但是搜索也会是个问题。。
rochy - rochy_he
赞同来自:
其次也可以建立多个索引,多个索引使用一个别名(或者特定的规则,例如db_user_001);
虽然不能使用别名进行索引数据,但是可以进行搜索、查询;
只需要在索引数据时,进行一些额外额判断即可