ElasticSearch-Hadoop的目標是什麼呢??

Elasticsearch | 作者 youngce | 发布于2014年11月11日 | 阅读数：23836

看了官方文檔跟一些網上的資料, 感覺ElasticSearch-Hadoop(以下簡稱eh)是想讓Hadoop上的用戶(Spark, pig等)輕松使用ES, 但eh跟hdfs有什麼關係嗎??
懇請各位大牛指點一下

6 个回复

medcl - 今晚打老虎。

赞同来自: Rubricate 、youngce 、清风凌波、Spurs_TD_21 、sundong306 、shellmeng 、jnuc093 、exceptions 、laoyang360 、啊喔额、fishinhouse 更多 »

简单来说，Hadoop还是Hadoop，Elasticsearch还是Elasticsearch，而Elasticsearch-Hadoop在中间用来连接这两个系统，大量的原始数据可以存放在Hadoop里面，通过Elasticsearch—Hadoop可以调用Hadoop的Map-Reduce任务来创建elasticsearch的索引，数据进入elasticsearch之后，就可以使用elasticsearch的搜索特性来进行更加高级的分析，比如基于Kibana来作快速分析。

技术上来说elasticsearch-Hadoop实现了Hadoop的读写接口，翻译es的查询到Hadoop的map-reduce，job，这样可以通过es来直接查询Hadoop里面的数据。

HDFS之前可以作为elasticsearch的gateway，1.0之后也能当做snapshot的存储，用来做索引备份，方便恢复数据。