在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

社区日报 第1334期 (2021-03-02)

1. 详解Elasticsearch的Global Ordinals与High Cardinality
https://blog.csdn.net/zwgdft/a ... 15977
2. 在 Elasticsearch 中使用 PyTorch  进行现代自然语言处理的介绍
https://blog.csdn.net/UbuntuTo ... 09579
3. ES7的父子join查询(需要梯子)
https://medium.com/swlh/parent ... a73fe

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 详解Elasticsearch的Global Ordinals与High Cardinality
https://blog.csdn.net/zwgdft/a ... 15977
2. 在 Elasticsearch 中使用 PyTorch  进行现代自然语言处理的介绍
https://blog.csdn.net/UbuntuTo ... 09579
3. ES7的父子join查询(需要梯子)
https://medium.com/swlh/parent ... a73fe

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

熬了几个月的夜,我的ES小册终于发布啦,适合初学者或者有点基础的同学学习~

课程简介.png

本小册分为 4 个部分,将由浅入深为你介绍 Elasticsearch 7.x 中的核心技术。主要知识点包括基本概念、常用 API 的使用实践、核心特性的底层原理与思想、集群管理与调优、源码阅读等知识。整个小册的思维导图如下:

知识点.png

你会学到什么?

本小册将会从非常浅显的概念开始与你学习 Elasticsearch 7.x 中的常用 API,在熟悉使用 Elasticsearch 后,我们将会对 Elasticsearch 中部分重要的特性、概念的底层实现原理进行介绍。在了解这些原理后,我们将学习如何部署、运维线上小规模集群,并且与你一起搭建一个简单的 ELK 系统。最后我们会搭建源码阅读的环境并且与你一起阅读部分模块的源码。

所以,通过本小册 4 大部分的学习,你可以收获:

  • 熟练使用 Elasticsearch 来解决搜索需求;
  • 强化 Elasticsearch 集群运维、调优的能力;
  • 通晓 Elasticsearch 核心技术的底层实现;
  • 牢固掌握源码阅读与调试的技巧。

也就是说,学完本课程后,你不仅可以掌握 ElasticSearch 相关的技术,还可以帮助你根据业务的特点快速构建出相应的搜索业务、数据分析、日志系统。真正实现学以致用。

适宜人群

  • 对 Elasticsearch 或搜索引擎感兴趣的同学。
  • 有了解和使用过 Elasticsearch,现在想进一步了解 Elasticsearch 的同学。
  • 准备从事数据搜索、分析相关工作的同学。
  • 从事 Elasticsearch 集群运维的同学。
继续阅读 »

课程简介.png

本小册分为 4 个部分,将由浅入深为你介绍 Elasticsearch 7.x 中的核心技术。主要知识点包括基本概念、常用 API 的使用实践、核心特性的底层原理与思想、集群管理与调优、源码阅读等知识。整个小册的思维导图如下:

知识点.png

你会学到什么?

本小册将会从非常浅显的概念开始与你学习 Elasticsearch 7.x 中的常用 API,在熟悉使用 Elasticsearch 后,我们将会对 Elasticsearch 中部分重要的特性、概念的底层实现原理进行介绍。在了解这些原理后,我们将学习如何部署、运维线上小规模集群,并且与你一起搭建一个简单的 ELK 系统。最后我们会搭建源码阅读的环境并且与你一起阅读部分模块的源码。

所以,通过本小册 4 大部分的学习,你可以收获:

  • 熟练使用 Elasticsearch 来解决搜索需求;
  • 强化 Elasticsearch 集群运维、调优的能力;
  • 通晓 Elasticsearch 核心技术的底层实现;
  • 牢固掌握源码阅读与调试的技巧。

也就是说,学完本课程后,你不仅可以掌握 ElasticSearch 相关的技术,还可以帮助你根据业务的特点快速构建出相应的搜索业务、数据分析、日志系统。真正实现学以致用。

适宜人群

  • 对 Elasticsearch 或搜索引擎感兴趣的同学。
  • 有了解和使用过 Elasticsearch,现在想进一步了解 Elasticsearch 的同学。
  • 准备从事数据搜索、分析相关工作的同学。
  • 从事 Elasticsearch 集群运维的同学。
收起阅读 »

社区日报 第1333期 (2022-03-01)

1. 在Lyft我们这样用ES(需要梯子)
https://eng.lyft.com/elasticse ... 20932
2. 用python和ES做报表,so easy!(需要梯子)
https://towardsdatascience.com ... 8c1f3
3. 用ES做分布式日志的可观测性监控(需要梯子)
https://medium.com/aspnetrun/m ... 997d2
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1. 在Lyft我们这样用ES(需要梯子)
https://eng.lyft.com/elasticse ... 20932
2. 用python和ES做报表,so easy!(需要梯子)
https://towardsdatascience.com ... 8c1f3
3. 用ES做分布式日志的可观测性监控(需要梯子)
https://medium.com/aspnetrun/m ... 997d2
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

社区日报 第1332期 (2022-02-28)


1.使用 Elasticsearch Sql
https://github.com/NLPchina/elasticsearch-sql

2.如何批量索引 Gmail 收件箱数据到 Elasticsearch
https://github.com/oliver006/elasticsearch-gmail

3.用于 Elasticsearch 的文件系统爬虫
https://github.com/dadoonet/fscrawler

编辑:pangying
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »

1.使用 Elasticsearch Sql
https://github.com/NLPchina/elasticsearch-sql

2.如何批量索引 Gmail 收件箱数据到 Elasticsearch
https://github.com/oliver006/elasticsearch-gmail

3.用于 Elasticsearch 的文件系统爬虫
https://github.com/dadoonet/fscrawler

编辑:pangying
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
收起阅读 »

社区日报 第1331期 (2022-02-27)

1. ES 跨集群搜索(CCS)
https://elasticstack.blog.csdn ... 88232

2.es集群优化踩坑
https://www.cnblogs.com/galsna ... .html

3.可否完全使用ElasticSearch代替数据库存储?
https://www.zhihu.com/question/45510463

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1. ES 跨集群搜索(CCS)
https://elasticstack.blog.csdn ... 88232

2.es集群优化踩坑
https://www.cnblogs.com/galsna ... .html

3.可否完全使用ElasticSearch代替数据库存储?
https://www.zhihu.com/question/45510463

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

社区日报 第1329期 (2022-02-25)


1、推荐 | 轻量级开源搜索引擎 zinc
https://github.com/prabhatsharma/zinc

2、将节点添加到集群时如何确保Elasticsearch 性能最大化?
https://www.elastic.co/cn/blog ... 68052

3、Ansible 部署 Elasticsearch 指南
https://www.opensourceagenda.c ... earch


编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »

1、推荐 | 轻量级开源搜索引擎 zinc
https://github.com/prabhatsharma/zinc

2、将节点添加到集群时如何确保Elasticsearch 性能最大化?
https://www.elastic.co/cn/blog ... 68052

3、Ansible 部署 Elasticsearch 指南
https://www.opensourceagenda.c ... earch


编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1328期 (2022-02-24)

1.Elastic Stack最佳实践系列:记一次filebeat内存泄漏问题分析及调优
https://cloud.tencent.com/deve ... 10680
2.Elastic Stack最佳实践系列:filebeat CPU使用率过高分析
https://cloud.tencent.com/deve ... 45299
3.Elasticsearch ILM索引生命周期管理中 Shrink Action的源码优化与探讨
https://mp.weixin.qq.com/s/ZU2JU4bFXc1-ZA7L-sVaDg

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Elastic Stack最佳实践系列:记一次filebeat内存泄漏问题分析及调优
https://cloud.tencent.com/deve ... 10680
2.Elastic Stack最佳实践系列:filebeat CPU使用率过高分析
https://cloud.tencent.com/deve ... 45299
3.Elasticsearch ILM索引生命周期管理中 Shrink Action的源码优化与探讨
https://mp.weixin.qq.com/s/ZU2JU4bFXc1-ZA7L-sVaDg

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1327期 (2022-02-23)

1. 不当使用scroll导致elasticsearch内存暴涨的问题
https://bbs.huaweicloud.com/blogs/194928

2.如何在elasticsearch中轻松编写painless脚本
https://elasticstack.blog.csdn ... 26782

3.如何将ES与mysql同步(需要梯子)
https://towardsdatascience.com ... 7b339

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 不当使用scroll导致elasticsearch内存暴涨的问题
https://bbs.huaweicloud.com/blogs/194928

2.如何在elasticsearch中轻松编写painless脚本
https://elasticstack.blog.csdn ... 26782

3.如何将ES与mysql同步(需要梯子)
https://towardsdatascience.com ... 7b339

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

使用 Elastic Stack 来分析奥运数据(一)

 原文地址 使用 Elastic Stack 来分析奥运数据(一)

最近冬奥会在中国北京顺利举行。这是一件举国高兴的事。在历届都有许多的奥运数据,我们是否可以使用 Elastic Stack 来分析这些数据,并为我国的体育事业提供一些洞察呢?


olympic.png


最近,孩子学校布置了一个寒假的科技信息作用。内容如下:


1、使用网络及其他方式,完成数据搜集,收集2014、2018、2022三届冬奥会的相关数据,例如举办国家、城市、日期、吉祥物、获得前20(以金牌计)的国家,金、银、铜牌数量等相关信息,同学可以根据爱好,选择五种自己喜爱的运动,并查找此三届冬奥会中,中国、美国、俄罗斯、日本、德国在此五个项目上的奖牌情况。同学可以根据自己的思考,搜集更多的相关数据或信息。

同学思考:(1)如何才能保证自己所搜集数据的准确性。

                 (2)如何才能通过整理、分析以上数据,从我国运动员的获奖数据等信息中,对我国青少年冰雪体育教育提出自己的小建议。

2、在获得以上数据后,同学可以根据需要,把它们填写在EXCEL等数据处理软件中。可以自主决定是放在一个文件中,还是放在多个文件中,是整理在一个工作表中,还是放置在不同的工作表中。

3、对数据进行整理后,可以用图表等方式形象表达出来,并根据数据表、图表,撰写自己对于我国青少年冰雪体育教育提出自己的见解,如发现的问题,造成问题的原因,你的解决方案等。



首先,我得申明,我不是什么 Excel 表格高手,我也不知道该如何来使用 Excel 表来完成上面的工作。我倒是觉得使用 Elastic Stack 能完美地解决这个问题。

在今天的展示中,我将使用 Elastic Stack 8.0 来解决这个问题,尽管其他版本的 Elastic Stack 没有多大区别。在 Elastic Stack 8.0 中,一个最大的变化就是 Index patterns 界面变为 Data views。

原文链接:https://blog.csdn.net/UbuntuTo ... 43103
继续阅读 »
 原文地址 使用 Elastic Stack 来分析奥运数据(一)

最近冬奥会在中国北京顺利举行。这是一件举国高兴的事。在历届都有许多的奥运数据,我们是否可以使用 Elastic Stack 来分析这些数据,并为我国的体育事业提供一些洞察呢?


olympic.png


最近,孩子学校布置了一个寒假的科技信息作用。内容如下:


1、使用网络及其他方式,完成数据搜集,收集2014、2018、2022三届冬奥会的相关数据,例如举办国家、城市、日期、吉祥物、获得前20(以金牌计)的国家,金、银、铜牌数量等相关信息,同学可以根据爱好,选择五种自己喜爱的运动,并查找此三届冬奥会中,中国、美国、俄罗斯、日本、德国在此五个项目上的奖牌情况。同学可以根据自己的思考,搜集更多的相关数据或信息。

同学思考:(1)如何才能保证自己所搜集数据的准确性。

                 (2)如何才能通过整理、分析以上数据,从我国运动员的获奖数据等信息中,对我国青少年冰雪体育教育提出自己的小建议。

2、在获得以上数据后,同学可以根据需要,把它们填写在EXCEL等数据处理软件中。可以自主决定是放在一个文件中,还是放在多个文件中,是整理在一个工作表中,还是放置在不同的工作表中。

3、对数据进行整理后,可以用图表等方式形象表达出来,并根据数据表、图表,撰写自己对于我国青少年冰雪体育教育提出自己的见解,如发现的问题,造成问题的原因,你的解决方案等。



首先,我得申明,我不是什么 Excel 表格高手,我也不知道该如何来使用 Excel 表来完成上面的工作。我倒是觉得使用 Elastic Stack 能完美地解决这个问题。

在今天的展示中,我将使用 Elastic Stack 8.0 来解决这个问题,尽管其他版本的 Elastic Stack 没有多大区别。在 Elastic Stack 8.0 中,一个最大的变化就是 Index patterns 界面变为 Data views。

原文链接:https://blog.csdn.net/UbuntuTo ... 43103 收起阅读 »

社区日报 第1326期 (2022-02-22)

1. 如何用ES做自动补全功能?(需要梯子)
https://taranjeet.medium.com/e ... 1a7cf

2. 少年,拿react和ES搓一个电影搜索app吧(需要梯子)
https://medium.appbase.io/how- ... 2291c

3. 要不,拿react和ES搓一个电商系统?(需要梯子)
https://codeburst.io/how-to-bu ... 3b2c3

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 如何用ES做自动补全功能?(需要梯子)
https://taranjeet.medium.com/e ... 1a7cf

2. 少年,拿react和ES搓一个电影搜索app吧(需要梯子)
https://medium.appbase.io/how- ... 2291c

3. 要不,拿react和ES搓一个电商系统?(需要梯子)
https://codeburst.io/how-to-bu ... 3b2c3

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

兼容不同版本的查询响应结果的 Count 结构

Elasticsearch 在 7.0 之后的版本中,为了优化性能,搜索结果的命中数默认不进行精确的计数统计,同时对搜索结果的响应体进行了调整, 这样势必会造成已有代码的不兼容,如何快速修复呢?
Elasticsearch 在 7.0 之后的版本中,为了优化性能,搜索结果的命中数默认不进行精确的计数统计,同时对搜索结果的响应体进行了调整, 这样势必会造成已有代码的不兼容,如何快速修复呢?

社区日报 第1325期 (2022-02-21)

1. 如何解决 es 的 unassigned shards 问题
https://toutiao.io/posts/na8zgp/preview

2. es 分片恢复原理解析
https://cloud.tencent.com/deve ... 70385

3.关于 es 的几个优化技巧
https://mp.weixin.qq.com/s%3F_ ... %23rd

编辑:pangying
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 如何解决 es 的 unassigned shards 问题
https://toutiao.io/posts/na8zgp/preview

2. es 分片恢复原理解析
https://cloud.tencent.com/deve ... 70385

3.关于 es 的几个优化技巧
https://mp.weixin.qq.com/s%3F_ ... %23rd

编辑:pangying
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
收起阅读 »

Elasticsearch:创建多个节点的集群 - Elastic Stack 8.0

在我之前的文章:


我详细描述了如何安装单节点的 Elastic Stack。在今天的教程中,我详述如何安装3个节点的 Elasticsearch 集群。我将使用 Docker 来进行部署。

首先,我们使用如下的命令来创建第一个 Elasticsearch 节点:

docker network create elastic
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.0.0
docker run -e ES_JAVA_OPTS="-Xms1g -Xmx1g" --name es-node01 --net elastic -p 9200:9200 -p 9300:9300 -it docker.elastic.co/elasticsearch/elasticsearch:8.0.0


原文链接:https://elasticstack.blog.csdn ... 27404
继续阅读 »
在我之前的文章:


我详细描述了如何安装单节点的 Elastic Stack。在今天的教程中,我详述如何安装3个节点的 Elasticsearch 集群。我将使用 Docker 来进行部署。

首先,我们使用如下的命令来创建第一个 Elasticsearch 节点:

docker network create elastic
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.0.0
docker run -e ES_JAVA_OPTS="-Xms1g -Xmx1g" --name es-node01 --net elastic -p 9200:9200 -p 9300:9300 -it docker.elastic.co/elasticsearch/elasticsearch:8.0.0


原文链接:https://elasticstack.blog.csdn ... 27404 收起阅读 »

社区日报 第1324期 (2022-02-20)

1. ES异步搜索,方便执行长耗时搜索任务
https://blog.csdn.net/UbuntuTo ... 68114

2.一次ES性能优化,我发现了搞大数据的真相
https://www.sohu.com/a/519335862_411876

3.db engine 搜索引起排行榜,es强势第一
https://db-engines.com/en/ranking/search+engine

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. ES异步搜索,方便执行长耗时搜索任务
https://blog.csdn.net/UbuntuTo ... 68114

2.一次ES性能优化,我发现了搞大数据的真相
https://www.sohu.com/a/519335862_411876

3.db engine 搜索引起排行榜,es强势第一
https://db-engines.com/en/ranking/search+engine

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »