使用 dmesg 来查看一些硬件或驱动程序的信息或问题。

Elasticsearch:Apache spark 大数据集成

Elasticsearch | 作者 liuxg | 发布于2022年07月26日 | | 阅读数:1649

Elasticsearch 已成为大数据架构中的常用组件,因为它提供了以下几个特性:

它使你可以快速搜索大量数据。
对于常见的聚合操作,它提供对大数据的实时分析。
使用 Elasticsearch 聚合比使用 Spark 聚合更容易。
如果你需要转向快速数据解决方案,在查询后从文档子集开始比对所有数据进行全面重新扫描要快。
用于处理数据的最常见的大数据软件现在是 Apache Spark (http://spark.apache.org/),它被认为是过时的 Hadoop MapReduce 的演变,用于将处理从磁盘移动到内存。
在本中,我们将看到如何将 Elasticsearch 集成到 Spark 中,用于写入和读取数据。 最后,我们将看到如何使用 Apache Pig 以一种简单的方式在Elasticsearch 中写入数据。

https://elasticstack.blog.csdn ... 68453

[尊重社区原创,转载请保留或注明出处]
本文地址:http://elasticsearch.cn/article/14679


0 个评论

要回复文章请先登录注册