身安不如心安,屋宽不如心宽 。

elk 与 hadoop 集成正确应用场景?

Elasticsearch | 作者 zhangrui90 | 发布于2017年07月11日 | 阅读数:11199

一直存在一种需求,就是近期数据需要完整的,因为不知道可以获取什么,比如需要 url 这种字段,比较久的数据保存历史趋势或者聚合后的结果,那么集成 hadoop 能做些什么呢?使用 logstash 其实是不是也能做简单的 mr?
已邀请:

zhangrui90 - z

赞同来自:

其实通过 logstash 做 reindex(时间比较久远的索引) 去掉不必要的列,应该是没有太大性能提升?因为启用了 doc value

zhangrui90 - z

赞同来自:

想到一个减少数据量的方法,1分钟的数据合成一条?比如resp_time 求个平均为这一条的值?

zhangrui90 - z

赞同来自:

没人知道么。。

medcl - 今晚打老虎。

赞同来自:

hadoop适合离线批量加工,提取摘要,机器学习,数据清理,聚合关联等等
Logstash只能逐条加工。

要回复问题请先登录注册