ElasticSearch-Hadoop的目標是什麼呢??

看了官方文檔跟一些網上的資料, 感覺ElasticSearch-Hadoop(以下簡稱eh)是想讓Hadoop上的用戶(Spark, pig等)輕松使用ES, 但eh跟hdfs有什麼關係嗎??
懇請各位大牛指點一下
已邀请:

medcl - Elasticsearch老司机

赞同来自: Rubricate youngce 清风凌波 Spurs_TD_21

简单来说,Hadoop还是Hadoop,Elasticsearch还是Elasticsearch,而Elasticsearch-Hadoop在中间用来连接这两个系统,大量的原始数据可以存放在Hadoop里面,通过Elasticsearch—Hadoop可以调用Hadoop的Map-Reduce任务来创建elasticsearch的索引,数据进入elasticsearch之后,就可以使用elasticsearch的搜索特性来进行更加高级的分析,比如基于Kibana来作快速分析。

技术上来说elasticsearch-Hadoop实现了Hadoop的读写接口,翻译es的查询到Hadoop的map-reduce,job,这样可以通过es来直接查询Hadoop里面的数据。

HDFS之前可以作为elasticsearch的gateway,1.0之后也能当做snapshot的存储,用来做索引备份,方便恢复数据。

Rubricate - hi

赞同来自:

elasticsearch-Hadoop 主要是利用Hadoop的海量存储和处理能力,Hadoop可以用来预处理,最后再用es进行快速检索和分析

from medcl

youngce - 80後台灣人, I love es

赞同来自:

我想我了解了, 謝謝

要回复问题请先登录注册