要不要也来分享分享一下啊

大json数据文件导入elasticsearch失败的问题,请问有什么好的工具?

Elasticsearch | 作者 show | 发布于2016年12月30日 | 阅读数:6603

近1G的json数据文件,想导入ES,用的elasticdump,导入一半时报错,out of memory, 请问下有什么好的工具能导入大的数据文件到ES?
已邀请:

show

赞同来自: medcl

唉,自己回复了,可以指定nodejs内存,比如指定8G内存,使用node --max_old_space_size=8192 + 命令,可以导入大文件,nodejs默认是1G内存

Eviltuzki - 90h后IT

赞同来自:

我之前也碰到了类似的问题,700多M的json。。我是反序列化以后,重新分组分段插入的。。。

Angi_Y - 90后

赞同来自:

【菜鸟级别问题】1.9个G的json文件用curl语句导入数据失败,请问具体的命令什么呢,我运行出错。。。

medcl - 今晚打老虎。

赞同来自:

json格式长什么样呢?如果是标准的bulk格式可以先split拆成若干个小文件,一个shell脚本搞定

要回复问题请先登录注册