即使是不成熟的尝试,也胜于胎死腹中的策略。

关于社工库搭建的问题 请教各位老铁

资料分享 | 作者 caisege | 发布于2018年02月27日 | 阅读数:12032

一直没发现论坛有这类东西 刚接触大数据 数据多了上亿就是麻烦 mysql太耗资源了 偶然接触了sphinx和elastic还有kettle 主要是用来查询 听说都是毫秒级的 实在是没用过 翻阅了一些文章文档没有可比性 请教一下 有经验的分享一下阿 原始数据是mysql csv txt html 都有 乱七八糟的
如果是需要数据我可以发布一部分出来 嘘
已邀请:

hufuman

赞同来自:

elastic好一些,因为社工库的数据一般格式字段都不一样,elastic的查询语法也更丰富一些

也有一些现成的社工库,可以百度一下

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

建议:Elasticsearch,对于mysql可以借助logstash_input_jdbc导入,txt可以借助logstash导入,html可以java读文件解析导入,csv最近社区里探讨比较多,可查看最新导入方法。
数据量上亿不是问题。

要回复问题请先登录注册