无论才能、知识多么卓著,如果缺乏热情,则无异纸上画饼充饥,无补于事。

ElasticSearch-Hadoop的目標是什麼呢??

Elasticsearch | 作者 youngce | 发布于2014年11月11日 | 阅读数:22831

看了官方文檔跟一些網上的資料, 感覺ElasticSearch-Hadoop(以下簡稱eh)是想讓Hadoop上的用戶(Spark, pig等)輕松使用ES, 但eh跟hdfs有什麼關係嗎??
懇請各位大牛指點一下
已邀请:
简单来说,Hadoop还是Hadoop,Elasticsearch还是Elasticsearch,而Elasticsearch-Hadoop在中间用来连接这两个系统,大量的原始数据可以存放在Hadoop里面,通过Elasticsearch—Hadoop可以调用Hadoop的Map-Reduce任务来创建elasticsearch的索引,数据进入elasticsearch之后,就可以使用elasticsearch的搜索特性来进行更加高级的分析,比如基于Kibana来作快速分析。

技术上来说elasticsearch-Hadoop实现了Hadoop的读写接口,翻译es的查询到Hadoop的map-reduce,job,这样可以通过es来直接查询Hadoop里面的数据。

HDFS之前可以作为elasticsearch的gateway,1.0之后也能当做snapshot的存储,用来做索引备份,方便恢复数据。

Rubricate - hi

赞同来自:

elasticsearch-Hadoop 主要是利用Hadoop的海量存储和处理能力,Hadoop可以用来预处理,最后再用es进行快速检索和分析

from medcl

youngce - 80後台灣人, I love es

赞同来自:

我想我了解了, 謝謝

wuxuwei - 走自己路,让别人去评价

赞同来自:

牛,赞

kennywu76 - Wood

赞同来自:

实际上ES-hadoop是双向的,不光可以通过map-reduce对hdfs里的数据做计算后导入到ES里索引起来, 也可以将ES做为一个store,利用其高效的数据检索能力,快速过滤和获取数据,然后利用map-reduce/hive/spark一类的大数据计算框架计算后,将汇总数据写回hdfs。 

chym

赞同来自:

通过ES-hadoop是否可以将ES的索引存到HDFS中,然后在ES查询过程中直接从HDFS中取数据?

要回复问题请先登录注册