使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

es如何导入批量的文件

Elasticsearch | 作者 yangguangjian | 发布于2017年12月08日 | 阅读数:7284

导师给了我一堆的专利数据基本上都是xml格式的文件,让我导入到es中并且实现正常的检索查询。我刚刚开始在官网教程上学es,用的是Windows系统,正常导入json文件的那个curl命令也一直出错。导师那边一直催,我也找不到解决办法。请各位大神帮一下忙。
已邀请:

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自: yangguangjian

读文件,当成一个字符串存入即可。你导师的任务是检索,数据导入进es就完成了95%

puyunjiafly

赞同来自: yangguangjian

花一两天时间把es,kibana装好
着重看bulk相关es官方文档
mapping起初可以忽略
kibanan上面很多操作有提示可以省去很多查询api时间
 
读取xml
bulk批量插入
 
语言可以选择python  使用起来方便
 
后期再优化分词,针对特定需求做逻辑
优化mapping

要回复问题请先登录注册