悟空,拿我的打狗棒来

社区日报 第1333期 (2022-03-01)

1. 在Lyft我们这样用ES(需要梯子)
https://eng.lyft.com/elasticse ... 20932
2. 用python和ES做报表,so easy!(需要梯子)
https://towardsdatascience.com ... 8c1f3
3. 用ES做分布式日志的可观测性监控(需要梯子)
https://medium.com/aspnetrun/m ... 997d2
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1. 在Lyft我们这样用ES(需要梯子)
https://eng.lyft.com/elasticse ... 20932
2. 用python和ES做报表,so easy!(需要梯子)
https://towardsdatascience.com ... 8c1f3
3. 用ES做分布式日志的可观测性监控(需要梯子)
https://medium.com/aspnetrun/m ... 997d2
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

社区日报 第1332期 (2022-02-28)


1.使用 Elasticsearch Sql
https://github.com/NLPchina/elasticsearch-sql

2.如何批量索引 Gmail 收件箱数据到 Elasticsearch
https://github.com/oliver006/elasticsearch-gmail

3.用于 Elasticsearch 的文件系统爬虫
https://github.com/dadoonet/fscrawler

编辑:pangying
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »

1.使用 Elasticsearch Sql
https://github.com/NLPchina/elasticsearch-sql

2.如何批量索引 Gmail 收件箱数据到 Elasticsearch
https://github.com/oliver006/elasticsearch-gmail

3.用于 Elasticsearch 的文件系统爬虫
https://github.com/dadoonet/fscrawler

编辑:pangying
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
收起阅读 »

社区日报 第1331期 (2022-02-27)

1. ES 跨集群搜索(CCS)
https://elasticstack.blog.csdn ... 88232

2.es集群优化踩坑
https://www.cnblogs.com/galsna ... .html

3.可否完全使用ElasticSearch代替数据库存储?
https://www.zhihu.com/question/45510463

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1. ES 跨集群搜索(CCS)
https://elasticstack.blog.csdn ... 88232

2.es集群优化踩坑
https://www.cnblogs.com/galsna ... .html

3.可否完全使用ElasticSearch代替数据库存储?
https://www.zhihu.com/question/45510463

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

社区日报 第1329期 (2022-02-25)


1、推荐 | 轻量级开源搜索引擎 zinc
https://github.com/prabhatsharma/zinc

2、将节点添加到集群时如何确保Elasticsearch 性能最大化?
https://www.elastic.co/cn/blog ... 68052

3、Ansible 部署 Elasticsearch 指南
https://www.opensourceagenda.c ... earch


编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »

1、推荐 | 轻量级开源搜索引擎 zinc
https://github.com/prabhatsharma/zinc

2、将节点添加到集群时如何确保Elasticsearch 性能最大化?
https://www.elastic.co/cn/blog ... 68052

3、Ansible 部署 Elasticsearch 指南
https://www.opensourceagenda.c ... earch


编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1328期 (2022-02-24)

1.Elastic Stack最佳实践系列:记一次filebeat内存泄漏问题分析及调优
https://cloud.tencent.com/deve ... 10680
2.Elastic Stack最佳实践系列:filebeat CPU使用率过高分析
https://cloud.tencent.com/deve ... 45299
3.Elasticsearch ILM索引生命周期管理中 Shrink Action的源码优化与探讨
https://mp.weixin.qq.com/s/ZU2JU4bFXc1-ZA7L-sVaDg

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Elastic Stack最佳实践系列:记一次filebeat内存泄漏问题分析及调优
https://cloud.tencent.com/deve ... 10680
2.Elastic Stack最佳实践系列:filebeat CPU使用率过高分析
https://cloud.tencent.com/deve ... 45299
3.Elasticsearch ILM索引生命周期管理中 Shrink Action的源码优化与探讨
https://mp.weixin.qq.com/s/ZU2JU4bFXc1-ZA7L-sVaDg

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1327期 (2022-02-23)

1. 不当使用scroll导致elasticsearch内存暴涨的问题
https://bbs.huaweicloud.com/blogs/194928

2.如何在elasticsearch中轻松编写painless脚本
https://elasticstack.blog.csdn ... 26782

3.如何将ES与mysql同步(需要梯子)
https://towardsdatascience.com ... 7b339

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 不当使用scroll导致elasticsearch内存暴涨的问题
https://bbs.huaweicloud.com/blogs/194928

2.如何在elasticsearch中轻松编写painless脚本
https://elasticstack.blog.csdn ... 26782

3.如何将ES与mysql同步(需要梯子)
https://towardsdatascience.com ... 7b339

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

使用 Elastic Stack 来分析奥运数据(一)

 原文地址 使用 Elastic Stack 来分析奥运数据(一)

最近冬奥会在中国北京顺利举行。这是一件举国高兴的事。在历届都有许多的奥运数据,我们是否可以使用 Elastic Stack 来分析这些数据,并为我国的体育事业提供一些洞察呢?


olympic.png


最近,孩子学校布置了一个寒假的科技信息作用。内容如下:


1、使用网络及其他方式,完成数据搜集,收集2014、2018、2022三届冬奥会的相关数据,例如举办国家、城市、日期、吉祥物、获得前20(以金牌计)的国家,金、银、铜牌数量等相关信息,同学可以根据爱好,选择五种自己喜爱的运动,并查找此三届冬奥会中,中国、美国、俄罗斯、日本、德国在此五个项目上的奖牌情况。同学可以根据自己的思考,搜集更多的相关数据或信息。

同学思考:(1)如何才能保证自己所搜集数据的准确性。

                 (2)如何才能通过整理、分析以上数据,从我国运动员的获奖数据等信息中,对我国青少年冰雪体育教育提出自己的小建议。

2、在获得以上数据后,同学可以根据需要,把它们填写在EXCEL等数据处理软件中。可以自主决定是放在一个文件中,还是放在多个文件中,是整理在一个工作表中,还是放置在不同的工作表中。

3、对数据进行整理后,可以用图表等方式形象表达出来,并根据数据表、图表,撰写自己对于我国青少年冰雪体育教育提出自己的见解,如发现的问题,造成问题的原因,你的解决方案等。



首先,我得申明,我不是什么 Excel 表格高手,我也不知道该如何来使用 Excel 表来完成上面的工作。我倒是觉得使用 Elastic Stack 能完美地解决这个问题。

在今天的展示中,我将使用 Elastic Stack 8.0 来解决这个问题,尽管其他版本的 Elastic Stack 没有多大区别。在 Elastic Stack 8.0 中,一个最大的变化就是 Index patterns 界面变为 Data views。

原文链接:https://blog.csdn.net/UbuntuTo ... 43103
继续阅读 »
 原文地址 使用 Elastic Stack 来分析奥运数据(一)

最近冬奥会在中国北京顺利举行。这是一件举国高兴的事。在历届都有许多的奥运数据,我们是否可以使用 Elastic Stack 来分析这些数据,并为我国的体育事业提供一些洞察呢?


olympic.png


最近,孩子学校布置了一个寒假的科技信息作用。内容如下:


1、使用网络及其他方式,完成数据搜集,收集2014、2018、2022三届冬奥会的相关数据,例如举办国家、城市、日期、吉祥物、获得前20(以金牌计)的国家,金、银、铜牌数量等相关信息,同学可以根据爱好,选择五种自己喜爱的运动,并查找此三届冬奥会中,中国、美国、俄罗斯、日本、德国在此五个项目上的奖牌情况。同学可以根据自己的思考,搜集更多的相关数据或信息。

同学思考:(1)如何才能保证自己所搜集数据的准确性。

                 (2)如何才能通过整理、分析以上数据,从我国运动员的获奖数据等信息中,对我国青少年冰雪体育教育提出自己的小建议。

2、在获得以上数据后,同学可以根据需要,把它们填写在EXCEL等数据处理软件中。可以自主决定是放在一个文件中,还是放在多个文件中,是整理在一个工作表中,还是放置在不同的工作表中。

3、对数据进行整理后,可以用图表等方式形象表达出来,并根据数据表、图表,撰写自己对于我国青少年冰雪体育教育提出自己的见解,如发现的问题,造成问题的原因,你的解决方案等。



首先,我得申明,我不是什么 Excel 表格高手,我也不知道该如何来使用 Excel 表来完成上面的工作。我倒是觉得使用 Elastic Stack 能完美地解决这个问题。

在今天的展示中,我将使用 Elastic Stack 8.0 来解决这个问题,尽管其他版本的 Elastic Stack 没有多大区别。在 Elastic Stack 8.0 中,一个最大的变化就是 Index patterns 界面变为 Data views。

原文链接:https://blog.csdn.net/UbuntuTo ... 43103 收起阅读 »

社区日报 第1326期 (2022-02-22)

1. 如何用ES做自动补全功能?(需要梯子)
https://taranjeet.medium.com/e ... 1a7cf

2. 少年,拿react和ES搓一个电影搜索app吧(需要梯子)
https://medium.appbase.io/how- ... 2291c

3. 要不,拿react和ES搓一个电商系统?(需要梯子)
https://codeburst.io/how-to-bu ... 3b2c3

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 如何用ES做自动补全功能?(需要梯子)
https://taranjeet.medium.com/e ... 1a7cf

2. 少年,拿react和ES搓一个电影搜索app吧(需要梯子)
https://medium.appbase.io/how- ... 2291c

3. 要不,拿react和ES搓一个电商系统?(需要梯子)
https://codeburst.io/how-to-bu ... 3b2c3

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

兼容不同版本的查询响应结果的 Count 结构

Elasticsearch 在 7.0 之后的版本中,为了优化性能,搜索结果的命中数默认不进行精确的计数统计,同时对搜索结果的响应体进行了调整, 这样势必会造成已有代码的不兼容,如何快速修复呢?
Elasticsearch 在 7.0 之后的版本中,为了优化性能,搜索结果的命中数默认不进行精确的计数统计,同时对搜索结果的响应体进行了调整, 这样势必会造成已有代码的不兼容,如何快速修复呢?

社区日报 第1325期 (2022-02-21)

1. 如何解决 es 的 unassigned shards 问题
https://toutiao.io/posts/na8zgp/preview

2. es 分片恢复原理解析
https://cloud.tencent.com/deve ... 70385

3.关于 es 的几个优化技巧
https://mp.weixin.qq.com/s%3F_ ... %23rd

编辑:pangying
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 如何解决 es 的 unassigned shards 问题
https://toutiao.io/posts/na8zgp/preview

2. es 分片恢复原理解析
https://cloud.tencent.com/deve ... 70385

3.关于 es 的几个优化技巧
https://mp.weixin.qq.com/s%3F_ ... %23rd

编辑:pangying
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
收起阅读 »

Elasticsearch:创建多个节点的集群 - Elastic Stack 8.0

在我之前的文章:


我详细描述了如何安装单节点的 Elastic Stack。在今天的教程中,我详述如何安装3个节点的 Elasticsearch 集群。我将使用 Docker 来进行部署。

首先,我们使用如下的命令来创建第一个 Elasticsearch 节点:

docker network create elastic
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.0.0
docker run -e ES_JAVA_OPTS="-Xms1g -Xmx1g" --name es-node01 --net elastic -p 9200:9200 -p 9300:9300 -it docker.elastic.co/elasticsearch/elasticsearch:8.0.0


原文链接:https://elasticstack.blog.csdn ... 27404
继续阅读 »
在我之前的文章:


我详细描述了如何安装单节点的 Elastic Stack。在今天的教程中,我详述如何安装3个节点的 Elasticsearch 集群。我将使用 Docker 来进行部署。

首先,我们使用如下的命令来创建第一个 Elasticsearch 节点:

docker network create elastic
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.0.0
docker run -e ES_JAVA_OPTS="-Xms1g -Xmx1g" --name es-node01 --net elastic -p 9200:9200 -p 9300:9300 -it docker.elastic.co/elasticsearch/elasticsearch:8.0.0


原文链接:https://elasticstack.blog.csdn ... 27404 收起阅读 »

社区日报 第1324期 (2022-02-20)

1. ES异步搜索,方便执行长耗时搜索任务
https://blog.csdn.net/UbuntuTo ... 68114

2.一次ES性能优化,我发现了搞大数据的真相
https://www.sohu.com/a/519335862_411876

3.db engine 搜索引起排行榜,es强势第一
https://db-engines.com/en/ranking/search+engine

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. ES异步搜索,方便执行长耗时搜索任务
https://blog.csdn.net/UbuntuTo ... 68114

2.一次ES性能优化,我发现了搞大数据的真相
https://www.sohu.com/a/519335862_411876

3.db engine 搜索引起排行榜,es强势第一
https://db-engines.com/en/ranking/search+engine

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1323期 (2021-02-19)

1. 用ES、Faiss、Haystack做语义搜索(需要梯子)
https://medium.com/analytics-v ... ea07b
2. ES 里的BKD树(需要梯子)
https://medium.com/swlh/bkd-tr ... 2a1a4
3. NextDoor的工程师是怎么做搜索的(需要梯子)
https://engblog.nextdoor.com/m ... 7db4e
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1. 用ES、Faiss、Haystack做语义搜索(需要梯子)
https://medium.com/analytics-v ... ea07b
2. ES 里的BKD树(需要梯子)
https://medium.com/swlh/bkd-tr ... 2a1a4
3. NextDoor的工程师是怎么做搜索的(需要梯子)
https://engblog.nextdoor.com/m ... 7db4e
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

使用极限网关来代理 Kibana

我的 Kibana 版本太旧了,我的 Kibana 没有密码保护,我的 Kibana 没有权限控制。烦不胜烦。
 来来来,几个简单步骤告别不舒服的这几个问题,如下:

下载最新的 530 版本:http://release.elasticsearch.cn/gateway/snapshot/
 
找到配置:
entry:
- name: my_es_entry
enabled: true
router: my_router
max_concurrency: 10000
network:
binding: 0.0.0.0:8000
skip_occupied_port: true
tls:
enabled: true

flow:
- name: default_flow
filter:
- basic_auth:
valid_users:
medcl: passwd
- http:
schema: "http" #https or http
host: "192.168.3.98:5601"
router:
- name: my_router
default_flow: default_flow
修改里面的 ip 为你实际的 Kibana IP 地址,如需多个,使用 hosts 参数,详见文档手册:
 
https://极限网关.com/docs/references/filters/http/
 
启动网关,因为自动开启了 https,访问网关的服务地址:https://localhost:8000,如下:

Jietu20220215-202309.jpg

 
输入配置的用户名密码,即可。
 

Jietu20220215-202414.jpg
继续阅读 »
我的 Kibana 版本太旧了,我的 Kibana 没有密码保护,我的 Kibana 没有权限控制。烦不胜烦。
 来来来,几个简单步骤告别不舒服的这几个问题,如下:

下载最新的 530 版本:http://release.elasticsearch.cn/gateway/snapshot/
 
找到配置:
entry:
- name: my_es_entry
enabled: true
router: my_router
max_concurrency: 10000
network:
binding: 0.0.0.0:8000
skip_occupied_port: true
tls:
enabled: true

flow:
- name: default_flow
filter:
- basic_auth:
valid_users:
medcl: passwd
- http:
schema: "http" #https or http
host: "192.168.3.98:5601"
router:
- name: my_router
default_flow: default_flow
修改里面的 ip 为你实际的 Kibana IP 地址,如需多个,使用 hosts 参数,详见文档手册:
 
https://极限网关.com/docs/references/filters/http/
 
启动网关,因为自动开启了 https,访问网关的服务地址:https://localhost:8000,如下:

Jietu20220215-202309.jpg

 
输入配置的用户名密码,即可。
 

Jietu20220215-202414.jpg
收起阅读 »