elk 与 hadoop 集成正确应用场景？

Elasticsearch | 作者 zhangrui90 | 发布于2017年07月11日 | 阅读数：11553

一直存在一种需求，就是近期数据需要完整的，因为不知道可以获取什么，比如需要 url 这种字段，比较久的数据保存历史趋势或者聚合后的结果，那么集成 hadoop 能做些什么呢？使用 logstash 其实是不是也能做简单的 mr?

4 个回复

其实通过 logstash 做 reindex（时间比较久远的索引）去掉不必要的列，应该是没有太大性能提升？因为启用了 doc value

想到一个减少数据量的方法，1分钟的数据合成一条？比如resp_time 求个平均为这一条的值？

没人知道么。。

medcl - 今晚打老虎。

hadoop适合离线批量加工，提取摘要，机器学习，数据清理，聚合关联等等
Logstash只能逐条加工。

要回复问题请先登录或注册