用了Elasticsearch,一口气上5T

Beats:运用 Filebeat 来对微服务 API 进行分析

在之前的文章 “Logstash:使用 ELK 堆栈进行 API 分析”,我展示了如何使用 Logstash 的 http_poller input plugin 来对微服务的 API 数据进行分析。如果我们只是为了对微服务的数据采集使用 Logstash,感觉有些 Logstash 有些大材小用了,比较 Logstash 的部署还是蛮耗资源的。相比较而言,我们可以使用 Filebeat 的 HTTP JSON input 来对微服务的数据进行采集。我们知道 Beats 的架构是属于一种轻量级的部署。可以直接运用于客户端,或者需要采集的服务器中。


原文链接:https://blog.csdn.net/UbuntuTo ... 45104
继续阅读 »
在之前的文章 “Logstash:使用 ELK 堆栈进行 API 分析”,我展示了如何使用 Logstash 的 http_poller input plugin 来对微服务的 API 数据进行分析。如果我们只是为了对微服务的数据采集使用 Logstash,感觉有些 Logstash 有些大材小用了,比较 Logstash 的部署还是蛮耗资源的。相比较而言,我们可以使用 Filebeat 的 HTTP JSON input 来对微服务的数据进行采集。我们知道 Beats 的架构是属于一种轻量级的部署。可以直接运用于客户端,或者需要采集的服务器中。


原文链接:https://blog.csdn.net/UbuntuTo ... 45104 收起阅读 »

Elasticsearch:Ingest Pipeline 实践

相比较 Logstash 而言,由于其丰富的 processors 而受到越来越多人的喜欢。最重要的一个优点就是它基于 Elasticsearch 极具可拓展性和维护性而受到开发者的喜欢。我在之前创建了很多关于 Ingest Pipeline 的文章。你可以参阅文章 “Elastic:菜鸟上手指南” 中的 Ingest pipeline 章节。

在今天的文章中,我想同一个一个例子来展示两种创建 Ingest Pipeline 的方法尽管在我之前的文章中都有介绍:

通过 API 的方法来创建
通过 Kibana 的界面来进行创建
————————————————
原文链接:https://blog.csdn.net/UbuntuTo ... 33366
继续阅读 »
相比较 Logstash 而言,由于其丰富的 processors 而受到越来越多人的喜欢。最重要的一个优点就是它基于 Elasticsearch 极具可拓展性和维护性而受到开发者的喜欢。我在之前创建了很多关于 Ingest Pipeline 的文章。你可以参阅文章 “Elastic:菜鸟上手指南” 中的 Ingest pipeline 章节。

在今天的文章中,我想同一个一个例子来展示两种创建 Ingest Pipeline 的方法尽管在我之前的文章中都有介绍:

通过 API 的方法来创建
通过 Kibana 的界面来进行创建
————————————————
原文链接:https://blog.csdn.net/UbuntuTo ... 33366 收起阅读 »

社区日报 第1267期 (2021-06-21)

1.使用FAISS搭配elasticsearch增加向量搜索
https://zhuanlan.zhihu.com/p/260023678

2. 基于ElasticSearch 实现 join 查询
https://segmentfault.com/a/1190000004468130

3.ElasticSearch 和 LSM 树的写入模型
https://www.cnblogs.com/luxiaoxun/p/13025019.html

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.使用FAISS搭配elasticsearch增加向量搜索
https://zhuanlan.zhihu.com/p/260023678

2. 基于ElasticSearch 实现 join 查询
https://segmentfault.com/a/1190000004468130

3.ElasticSearch 和 LSM 树的写入模型
https://www.cnblogs.com/luxiaoxun/p/13025019.html

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1266期 (2021-6-20)

1.全文搜索 PostgreSQL 或 ElasticSearch。
https://fueled.com/the-cache/p ... arch/
2.在树莓派上部署 Elasticsearch。
https://schneefux.xyz/tech/ela ... rypi/
3.种树最好的时间是20年前。 建半导体代工厂最好的时间是5年前。
https://www.theregister.com/20 ... _may/
 
编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.全文搜索 PostgreSQL 或 ElasticSearch。
https://fueled.com/the-cache/p ... arch/
2.在树莓派上部署 Elasticsearch。
https://schneefux.xyz/tech/ela ... rypi/
3.种树最好的时间是20年前。 建半导体代工厂最好的时间是5年前。
https://www.theregister.com/20 ... _may/
 
编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1264期 (2021-06-18)

1、如何设置分片数更为合理?
https://blog.trifork.com/2014/ ... ards/
2、Elasticsearch 如何与关系型数据库同步数据?
https://dzone.com/articles/how ... ional
3、Elasticsearch 同义词插件
https://github.com/bells/elast ... nonym
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、如何设置分片数更为合理?
https://blog.trifork.com/2014/ ... ards/
2、Elasticsearch 如何与关系型数据库同步数据?
https://dzone.com/articles/how ... ional
3、Elasticsearch 同义词插件
https://github.com/bells/elast ... nonym
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1263期 (2021-06-17)

1.Elasticsearch数据库加速实践
https://bbs.huaweicloud.com/blogs/265550
2.Elasticsearch复杂搜索
https://www.cnblogs.com/leizzige/p/14790672.html
3.ES中URI Search和RequestBody Search分析
https://www.cnblogs.com/lonely ... .html

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Elasticsearch数据库加速实践
https://bbs.huaweicloud.com/blogs/265550
2.Elasticsearch复杂搜索
https://www.cnblogs.com/leizzige/p/14790672.html
3.ES中URI Search和RequestBody Search分析
https://www.cnblogs.com/lonely ... .html

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1262期 (2021-06-10)

1.搜索引擎的检索模型-查询与文档的相关度计算
https://blog.csdn.net/hguisu/a ... 81145
2.lucene教程
https://xie.infoq.cn/article/a ... 062d9
3.检索模型与搜索排序
http://lionheartwang.github.io ... i-xu/

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.搜索引擎的检索模型-查询与文档的相关度计算
https://blog.csdn.net/hguisu/a ... 81145
2.lucene教程
https://xie.infoq.cn/article/a ... 062d9
3.检索模型与搜索排序
http://lionheartwang.github.io ... i-xu/

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

Elasticsearch 使得 Data Science 变得更简单了 - Eland

Eland 是一个全新的 Python 包,它在 Elasticsearch 和数据科学生态系统之间架起了一座桥梁。Elasticsearch 是一个功能丰富的开源搜索引擎,它构建在 Apache Lucene 之上,Apache Lucene 是市场上最重要的全文搜索引擎之一。Elasticsearch 以其提供的广泛而通用的 REST API 体验而闻名,包括用于全文搜索、排序和聚合任务的高效 wrapper,使得在现有后端中实现此类功能变得更加容易,而无需进行复杂的重新设计。自 2010 年推出以来,Elasticsearch 在软件工程领域获得了广泛的关注,到 2016 年,根据 DBMS 知识库 DB-engines,它成为最受欢迎的企业搜索引擎软件堆栈,超越了行业标准的 Apache Solr( 也建立在 Lucene 之上)。

Elasticsearch 如此受欢迎的原因之一是它生成的生态系统。 世界各地的工程师开发了开源 Elasticsearch 集成和扩展,其中许多项目被 Elastic(Elasticsearch 项目背后的公司)吸收作为其堆栈的一部分其中一些项目是 Logstash(数据处理管道,通常用于解析基于文本的文件)和 Kibana(建立在 Elasticsearch 之上的可视化层),导致现在广泛采用的 ELK(Elasticsearch、Logstash、Kibana)堆栈。Elastic Stack 因其在新兴和整合技术领域(例如 DevOps、站点可靠性工程以及最近的数据分析)的优异表现而得到广泛的使用。

Data science
如果您是一名阅读本文的数据科学家,并且将 Elasticsearch 作为你雇主技术堆栈的一部分,那么在尝试使用 Elasticsearch 提供的所有功能进行数据分析甚至简单的机器学习任务时,你可能会遇到一些问题。

数据科学家通常不习惯使用 NoSQL 数据库引擎执行常见任务,甚至不习惯依赖复杂的 REST API 进行分析。例如,使用 Elasticsearch 的低级 Python 客户端处理大量数据也不是那么直观,对于来自与 SWE 不同领域的人来说,学习曲线有些陡峭。

尽管 Elastic 在增强用于分析和数据科学用例的 Elastic Stack 方面做出了重大努力,但它仍然缺乏与现有数据科学生态系统(pandas、numpy、scikit-learn、PyTorch 和其他流行库)的简单接口。

2017 年,Elastic 向数据科学领域迈出了第一步,作为对机器学习和预测技术在软件行业日益普及的回应,发布了第一个支持 ML 的 X-pack(扩展包)用于 Elastic Stack,将异常检测和其他无监督 ML 任务添加到其功能中。不久之后,回归和分类模型也被添加到 Elastic Stack 中可用的 ML 任务集中。

原文链接:https://blog.csdn.net/UbuntuTo ... 45670
继续阅读 »
Eland 是一个全新的 Python 包,它在 Elasticsearch 和数据科学生态系统之间架起了一座桥梁。Elasticsearch 是一个功能丰富的开源搜索引擎,它构建在 Apache Lucene 之上,Apache Lucene 是市场上最重要的全文搜索引擎之一。Elasticsearch 以其提供的广泛而通用的 REST API 体验而闻名,包括用于全文搜索、排序和聚合任务的高效 wrapper,使得在现有后端中实现此类功能变得更加容易,而无需进行复杂的重新设计。自 2010 年推出以来,Elasticsearch 在软件工程领域获得了广泛的关注,到 2016 年,根据 DBMS 知识库 DB-engines,它成为最受欢迎的企业搜索引擎软件堆栈,超越了行业标准的 Apache Solr( 也建立在 Lucene 之上)。

Elasticsearch 如此受欢迎的原因之一是它生成的生态系统。 世界各地的工程师开发了开源 Elasticsearch 集成和扩展,其中许多项目被 Elastic(Elasticsearch 项目背后的公司)吸收作为其堆栈的一部分其中一些项目是 Logstash(数据处理管道,通常用于解析基于文本的文件)和 Kibana(建立在 Elasticsearch 之上的可视化层),导致现在广泛采用的 ELK(Elasticsearch、Logstash、Kibana)堆栈。Elastic Stack 因其在新兴和整合技术领域(例如 DevOps、站点可靠性工程以及最近的数据分析)的优异表现而得到广泛的使用。

Data science
如果您是一名阅读本文的数据科学家,并且将 Elasticsearch 作为你雇主技术堆栈的一部分,那么在尝试使用 Elasticsearch 提供的所有功能进行数据分析甚至简单的机器学习任务时,你可能会遇到一些问题。

数据科学家通常不习惯使用 NoSQL 数据库引擎执行常见任务,甚至不习惯依赖复杂的 REST API 进行分析。例如,使用 Elasticsearch 的低级 Python 客户端处理大量数据也不是那么直观,对于来自与 SWE 不同领域的人来说,学习曲线有些陡峭。

尽管 Elastic 在增强用于分析和数据科学用例的 Elastic Stack 方面做出了重大努力,但它仍然缺乏与现有数据科学生态系统(pandas、numpy、scikit-learn、PyTorch 和其他流行库)的简单接口。

2017 年,Elastic 向数据科学领域迈出了第一步,作为对机器学习和预测技术在软件行业日益普及的回应,发布了第一个支持 ML 的 X-pack(扩展包)用于 Elastic Stack,将异常检测和其他无监督 ML 任务添加到其功能中。不久之后,回归和分类模型也被添加到 Elastic Stack 中可用的 ML 任务集中。

原文链接:https://blog.csdn.net/UbuntuTo ... 45670 收起阅读 »

Elasticsearch:Painless scripting 编程实践

在我之前的文章 “Elastic:菜鸟上手指南”,我有许多的文章关于 Painless 编程的。你可以参考其中的 “Painless 编程” 章节。针对许多刚接触 Elasticsearch 的开发者来说,对于 Painless 编程而言,可能也是雾里看花,不能完整地了解 Painless scripting 的所有应用场景。在我之前的很多文章中,我用到了脚本编程。在今天的文章中,我将就 Painless 的编程做一个总结。方便大家学习。针对 Painless 编程的调试,我们可以参考之前的文章 “Elasticsearch:Painless 编程调试”。这里就不在赘述了。


原文链接:https://blog.csdn.net/UbuntuTo ... 89222
继续阅读 »
在我之前的文章 “Elastic:菜鸟上手指南”,我有许多的文章关于 Painless 编程的。你可以参考其中的 “Painless 编程” 章节。针对许多刚接触 Elasticsearch 的开发者来说,对于 Painless 编程而言,可能也是雾里看花,不能完整地了解 Painless scripting 的所有应用场景。在我之前的很多文章中,我用到了脚本编程。在今天的文章中,我将就 Painless 的编程做一个总结。方便大家学习。针对 Painless 编程的调试,我们可以参考之前的文章 “Elasticsearch:Painless 编程调试”。这里就不在赘述了。


原文链接:https://blog.csdn.net/UbuntuTo ... 89222 收起阅读 »

社区日报 第1261期 (2021-06-07)

1.Elastic Stack 7.13.1发布,来看看有哪些更新吧
https://www.elastic.co/guide/e ... .html

2.十亿级别下的数据如何做到毫秒级返回
https://zhuanlan.zhihu.com/p/60458049

3.来看看《Elasticsearch 源码解析与优化实战》一书作者最新的文章:forcemerge,类型选择和 oom
https://www.easyice.cn/archives/386

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Elastic Stack 7.13.1发布,来看看有哪些更新吧
https://www.elastic.co/guide/e ... .html

2.十亿级别下的数据如何做到毫秒级返回
https://zhuanlan.zhihu.com/p/60458049

3.来看看《Elasticsearch 源码解析与优化实战》一书作者最新的文章:forcemerge,类型选择和 oom
https://www.easyice.cn/archives/386

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

如何使用 transform 来跟踪你最近的客户订单

创建一个以实体为中心的索引,其中只包含每个实体的最新文档,在许多情况下都很有用。 例如,你可能正在管理一个电子商务网站,并且想要跟踪每个客户的最新订单。 或者,你可能想要针对在特定时期内不活跃的客户开展营销活动。 编译和组织此类数据的最快和最有效的方法是什么?

Elasticsearch 中的转换使你能够基于事件索引和转换函数创建和维护以实体为中心的索引。 直到最近,唯一可能的功能是 pivot,它是一个连续的 group-by plus 聚合。 在 7.12 版本中,我们又添加了一个转换函数,称为 latest。 它将源索引转换为目标索引,以便目标索引仅包含每个实体的一个最新文档。 在这篇博文中,我们将设置一个转换来做到这一点。
 
https://elasticstack.blog.csdn ... 60181
继续阅读 »
创建一个以实体为中心的索引,其中只包含每个实体的最新文档,在许多情况下都很有用。 例如,你可能正在管理一个电子商务网站,并且想要跟踪每个客户的最新订单。 或者,你可能想要针对在特定时期内不活跃的客户开展营销活动。 编译和组织此类数据的最快和最有效的方法是什么?

Elasticsearch 中的转换使你能够基于事件索引和转换函数创建和维护以实体为中心的索引。 直到最近,唯一可能的功能是 pivot,它是一个连续的 group-by plus 聚合。 在 7.12 版本中,我们又添加了一个转换函数,称为 latest。 它将源索引转换为目标索引,以便目标索引仅包含每个实体的一个最新文档。 在这篇博文中,我们将设置一个转换来做到这一点。
 
https://elasticstack.blog.csdn ... 60181 收起阅读 »

社区日报 第1260期 (2021-06-04)

1、Elasticsearch 在支付领域的案例
https://www.elastic.co/cn/blog ... stack
2、Elasticsearch Combined Fields 使用解读
https://spinscale.de/posts/202 ... .html
3、Elasticsearch 已更新到7.13.0+
https://github.com/dadoonet/elasticsearch-beyonder
 
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、Elasticsearch 在支付领域的案例
https://www.elastic.co/cn/blog ... stack
2、Elasticsearch Combined Fields 使用解读
https://spinscale.de/posts/202 ... .html
3、Elasticsearch 已更新到7.13.0+
https://github.com/dadoonet/elasticsearch-beyonder
 
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1259期 (2021-06-03)

1.如何设计一个高性能 Elasticsearch mapping
https://www.cnblogs.com/lonely ... .html
2.ElasticSearch 海量数据查询性能优化
https://mp.weixin.qq.com/s/sCOYJZOYP6453vzVtZBMdQ
3.Filbeat介绍
https://zhuanlan.zhihu.com/p/141438219

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.如何设计一个高性能 Elasticsearch mapping
https://www.cnblogs.com/lonely ... .html
2.ElasticSearch 海量数据查询性能优化
https://mp.weixin.qq.com/s/sCOYJZOYP6453vzVtZBMdQ
3.Filbeat介绍
https://zhuanlan.zhihu.com/p/141438219

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

阿里云携手 Elastic 及社区大咖们共同打造 《Elastic Stack 实战手册》电子书


ali_book.jpeg

《Elastic Stack 实战手册》的创作发布,源自阿里云和 Elastic 联合主办的大规模协作活动——Elasticsearch 百人大作战。 本活动集结了 Elasticsearch 技术圈百位开发者共创,旨在凝聚圈内优秀创作人的实践经验和创作能力,输出一本能为开发 者提供实践参考的书籍指南,推动技术应用和发展。 本次所发布的版本为书籍第一期,由40位优秀的开发者共创而成,涵盖了一个 Elastic Stack 开发者所需的大部分必要基础知识和场景应用参考。本书将继续补充完善章节内容,并随着 Elastic Stack 的版本升级持续迭代更新。 

在此,也呼吁每一位开发者,将自己技术积累书写成文章,加入创作人群体,与我们一起学习交流,这将不只是部分人的书籍,而是所有 Elastic Stack 开发者的实战指南。

欢迎各位读者留言,我们以后竭尽全力完善这本书!你可以到地址来进行下载:https://developer.aliyun.com/t ... ybook
继续阅读 »

ali_book.jpeg

《Elastic Stack 实战手册》的创作发布,源自阿里云和 Elastic 联合主办的大规模协作活动——Elasticsearch 百人大作战。 本活动集结了 Elasticsearch 技术圈百位开发者共创,旨在凝聚圈内优秀创作人的实践经验和创作能力,输出一本能为开发 者提供实践参考的书籍指南,推动技术应用和发展。 本次所发布的版本为书籍第一期,由40位优秀的开发者共创而成,涵盖了一个 Elastic Stack 开发者所需的大部分必要基础知识和场景应用参考。本书将继续补充完善章节内容,并随着 Elastic Stack 的版本升级持续迭代更新。 

在此,也呼吁每一位开发者,将自己技术积累书写成文章,加入创作人群体,与我们一起学习交流,这将不只是部分人的书籍,而是所有 Elastic Stack 开发者的实战指南。

欢迎各位读者留言,我们以后竭尽全力完善这本书!你可以到地址来进行下载:https://developer.aliyun.com/t ... ybook 收起阅读 »