关于社工库搭建的问题请教各位老铁

资料分享 | 作者 caisege | 发布于2018年02月27日 | 阅读数：12259

一直没发现论坛有这类东西刚接触大数据数据多了上亿就是麻烦 mysql太耗资源了偶然接触了sphinx和elastic还有kettle 主要是用来查询听说都是毫秒级的实在是没用过翻阅了一些文章文档没有可比性请教一下有经验的分享一下阿原始数据是mysql csv txt html 都有乱七八糟的
如果是需要数据我可以发布一部分出来嘘

2 个回复

hufuman

elastic好一些，因为社工库的数据一般格式字段都不一样，elastic的查询语法也更丰富一些

也有一些现成的社工库，可以百度一下

laoyang360 - 《一本书讲透Elasticsearch》作者，Elastic认证工程师 [死磕Elasitcsearch]知识星球地址：http://t.cn/RmwM3N9；微信公众号：铭毅天下; 博客：https://elastic.blog.csdn.net

建议：Elasticsearch，对于mysql可以借助logstash_input_jdbc导入，txt可以借助logstash导入，html可以java读文件解析导入，csv最近社区里探讨比较多，可查看最新导入方法。
数据量上亿不是问题。

要回复问题请先登录或注册

关于社工库搭建的问题请教各位老铁

2 个回复

发起人

活动推荐

相关问题

问题状态

关于社工库搭建的问题 请教各位老铁

与内容相关的链接

2 个回复

发起人

活动推荐

相关问题

问题状态

关于社工库搭建的问题请教各位老铁