你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

大json数据文件导入elasticsearch失败的问题，请问有什么好的工具？

Elasticsearch | 作者 show | 发布于2016年12月30日 | 阅读数：7088

近1G的json数据文件，想导入ES，用的elasticdump，导入一半时报错，out of memory, 请问下有什么好的工具能导入大的数据文件到ES？

4 个回复

赞同来自: medcl

唉，自己回复了，可以指定nodejs内存，比如指定8G内存，使用node --max_old_space_size=8192 + 命令，可以导入大文件，nodejs默认是1G内存

Eviltuzki - 90h后IT

我之前也碰到了类似的问题，700多M的json。。我是反序列化以后，重新分组分段插入的。。。

Angi_Y - 90后

【菜鸟级别问题】1.9个G的json文件用curl语句导入数据失败，请问具体的命令什么呢，我运行出错。。。

medcl - 今晚打老虎。

json格式长什么样呢？如果是标准的bulk格式可以先split拆成若干个小文件，一个shell脚本搞定

要回复问题请先登录或注册