Well，不要刷屏了

从零基础到能够完成微服务可观测性的专家 - Service Map 实践

对于一些大型的 IT 系统来说，微服务的个数可能达到 1000 多个或者更多。如果我们的系统变得很慢，我们想查出是哪个环节出了问题。如果没有一个很好的可观测性的工具。我们有时是一头的雾水。很幸运的是 Elastic Stack 提供了一套完整的 APM （应用性能监控）可观测性软件栈，为我们对微服务的调试提供了完美的解决方案。详细阅读请参阅文章 https://elasticstack.blog.csdn ... 50836
继续阅读 »
对于一些大型的 IT 系统来说，微服务的个数可能达到 1000 多个或者更多。如果我们的系统变得很慢，我们想查出是哪个环节出了问题。如果没有一个很好的可观测性的工具。我们有时是一头的雾水。很幸运的是 Elastic Stack 提供了一套完整的 APM （应用性能监控）可观测性软件栈，为我们对微服务的调试提供了完美的解决方案。详细阅读请参阅文章 https://elasticstack.blog.csdn ... 50836 收起阅读 »
liuxg 发表于 : 2020-12-08 16:33 评论 (0)

为 Logstash 日志启动索引生命周期管理

在 Elastic Stack 中，Logstash 作为一种 ETL 的摄入工具，它为大量摄入数据提供可能。Elastic Stack 提供索引生命周期管理可以帮我们管理被摄入的数据到不同的冷热节点中，并根据一定的条件删除不需要保存的索引。我们可以在 Logstash 摄入数据的时候运用索引生命周期管理。详细阅读，请参阅 “为 Logstash 日志启动索引生命周期管理” https://elasticstack.blog.csdn ... 16948
继续阅读 »
在 Elastic Stack 中，Logstash 作为一种 ETL 的摄入工具，它为大量摄入数据提供可能。Elastic Stack 提供索引生命周期管理可以帮我们管理被摄入的数据到不同的冷热节点中，并根据一定的条件删除不需要保存的索引。我们可以在 Logstash 摄入数据的时候运用索引生命周期管理。详细阅读，请参阅 “为 Logstash 日志启动索引生命周期管理” https://elasticstack.blog.csdn ... 16948 收起阅读 »
liuxg 发表于 : 2020-12-08 09:21 评论 (0)

社区日报 第1131期 (2020-12-07)

1.基于 Elasticsearch  开发垂直搜索系统 
https://byronhe.com/post/elasticsearch-dev-arch/

2.集群稳定性的相关讨论
https://elasticsearch.cn/question/84

3.es对比TiDB
http://www.machengyu.net/elast ... .html

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.基于 Elasticsearch  开发垂直搜索系统 
https://byronhe.com/post/elasticsearch-dev-arch/

2.集群稳定性的相关讨论
https://elasticsearch.cn/question/84

3.es对比TiDB
http://www.machengyu.net/elast ... .html

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
cyberdak 发表于 : 2020-12-07 13:00 评论 (0)

社区日报 第1130期 (2020-12-06)

1.基于tweepy，elasticsearch和nltk的简单股票分析器。
https://github.com/kentsyx/stock-insight-engine
2.全文搜索性能：Postgres与Elasticsearch。
https://rocky.dev/full-text-search
3.比特币（仍然）没有意义。
https://thinkoutloudnews.subst ... sense

编辑：至尊宝
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.基于tweepy，elasticsearch和nltk的简单股票分析器。
https://github.com/kentsyx/stock-insight-engine
2.全文搜索性能：Postgres与Elasticsearch。
https://rocky.dev/full-text-search
3.比特币（仍然）没有意义。
https://thinkoutloudnews.subst ... sense

编辑：至尊宝
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
收起阅读 »
 社区日报
至尊宝 发表于 : 2020-12-06 12:32 评论 (0)

社区日报 第1129期 (2020-12-05）

1.es防止字段数量爆炸的一些策略

https://medium.com/handy-tech/elasticsearch-field-explosion-ca0a21f97a4a

2.es查找缺失多个字段的文档

https://stackoverflow.com/questions/65125012/elasticsearch-find-documents-missing-two-fields

3.es查询相关性优化（需翻墙）

https://www.youtube.com/watch?v=1iwQFuLVoMk

继续阅读 »

1.es防止字段数量爆炸的一些策略

https://medium.com/handy-tech/elasticsearch-field-explosion-ca0a21f97a4a

2.es查找缺失多个字段的文档

https://stackoverflow.com/questions/65125012/elasticsearch-find-documents-missing-two-fields

3.es查询相关性优化（需翻墙）

https://www.youtube.com/watch?v=1iwQFuLVoMk

收起阅读 »
 社区日报
bsll 发表于 : 2020-12-05 23:01 评论 (0)

社区日报 第1128期 (2020-12-04)

1、比Nginx牛逼——Elasticsearch Gateway 发布一个测试版本
https://elasticsearch.cn/article/14165
 
2、使用Flink实现索引数据到Elasticsearch 
https://mp.weixin.qq.com/s/fIvDfa7uekO4WHaxFICnmg
 
3、剖析Elasticsearch的IndexSorting:一种查询性能优化利器 
https://mp.weixin.qq.com/s/dpGzHwXQ4PERADViLrjuqw
 
编辑：铭毅天下
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1、比Nginx牛逼——Elasticsearch Gateway 发布一个测试版本
https://elasticsearch.cn/article/14165
 
2、使用Flink实现索引数据到Elasticsearch 
https://mp.weixin.qq.com/s/fIvDfa7uekO4WHaxFICnmg
 
3、剖析Elasticsearch的IndexSorting:一种查询性能优化利器 
https://mp.weixin.qq.com/s/dpGzHwXQ4PERADViLrjuqw
 
编辑：铭毅天下
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
laoyang360 发表于 : 2020-12-04 22:23 评论 (0)

Elasticsearch 极限网关测试版本发布

感谢以下社区同学提供的试用报告与经验分享：

 
 
每日构建：http://release.elasticsearch.cn/
镜像地址：https://hub.docker.com/r/infinilabs/gateway
文档手册：https://极限网关.com
 
目前提供的功能：
  • 索引级别的请求限速
  • 重复请求可以缓存
  • Kibana 无缝提速
  • Elasticsearch 节点自动发现
  • 基于权重的节点选择，权重可配置
  • 可控制到每个后端节点的最大连接数
  • 查询日志统计分析，用于追踪请求排错审计


性能优异，经过测试，比 Nginx 都更胜一筹。
[root@XXX-ES-01 linux64]# ./esm -s https://elastic:pass@xx.xx.cn:9343 -d https://elastic:pass@xx.xx.cn:8000 -x medcl2 -y medcl23 -r -w 200 --sliced_scroll_size=40 -b 10 -t=30m

[11-12 22:09:38] [INF] [main.go:461,main] start data migration..

Scroll 20377840 / 20387840   99.95% 1m20s

Bulk 20371785 / 20387840   99.92% 1m53s

[11-12 22:11:32] [INF] [main.go:492,main] data migration finished.

使用 ESM 进行集群的一个 2千多万的索引数据进行导入导出，分别走 Nginx 和 Elasticsearch 网关，网关和 Nginx 都部署在同一台16 核 32GB 的机器上，16 核全部跑满，Nginx 可以达到 20w/s，网关可以达到 25w/s。

101124056-2f4ffa00-3631-11eb-988d-ac4d6177a749.jpg

 
Kibana 走网关可以降低重复请求，缓存常见查询，起到查询加速的效果，如下：

Jietu20201205-161628.jpg

 
演示视频：https://v.qq.com/x/page/e3209mhh9kj.html
索引级别的限速限流，给后端 ES 稳稳的幸福。
 
551607156558_.pic_.jpg

可以开启请求日志，用来分析 ES 查询情况，如下：
 
Jietu20201205-194317.jpg


Jietu20201205-194359.jpg

 
追求性能极限，此网关名为极限网关（INFINI Gateway）。
欢迎帮忙测试，提供反馈意见。
继续阅读 »
感谢以下社区同学提供的试用报告与经验分享：

 
 
每日构建：http://release.elasticsearch.cn/
镜像地址：https://hub.docker.com/r/infinilabs/gateway
文档手册：https://极限网关.com
 
目前提供的功能：
  • 索引级别的请求限速
  • 重复请求可以缓存
  • Kibana 无缝提速
  • Elasticsearch 节点自动发现
  • 基于权重的节点选择，权重可配置
  • 可控制到每个后端节点的最大连接数
  • 查询日志统计分析，用于追踪请求排错审计


性能优异，经过测试，比 Nginx 都更胜一筹。
[root@XXX-ES-01 linux64]# ./esm -s https://elastic:pass@xx.xx.cn:9343 -d https://elastic:pass@xx.xx.cn:8000 -x medcl2 -y medcl23 -r -w 200 --sliced_scroll_size=40 -b 10 -t=30m

[11-12 22:09:38] [INF] [main.go:461,main] start data migration..

Scroll 20377840 / 20387840   99.95% 1m20s

Bulk 20371785 / 20387840   99.92% 1m53s

[11-12 22:11:32] [INF] [main.go:492,main] data migration finished.

使用 ESM 进行集群的一个 2千多万的索引数据进行导入导出，分别走 Nginx 和 Elasticsearch 网关，网关和 Nginx 都部署在同一台16 核 32GB 的机器上，16 核全部跑满，Nginx 可以达到 20w/s，网关可以达到 25w/s。

101124056-2f4ffa00-3631-11eb-988d-ac4d6177a749.jpg

 
Kibana 走网关可以降低重复请求，缓存常见查询，起到查询加速的效果，如下：

Jietu20201205-161628.jpg

 
演示视频：https://v.qq.com/x/page/e3209mhh9kj.html
索引级别的限速限流，给后端 ES 稳稳的幸福。
 
551607156558_.pic_.jpg

可以开启请求日志，用来分析 ES 查询情况，如下：
 
Jietu20201205-194317.jpg


Jietu20201205-194359.jpg

 
追求性能极限，此网关名为极限网关（INFINI Gateway）。
欢迎帮忙测试，提供反馈意见。 收起阅读 »
 极限网关  网关  Elasticsearch 网关
medcl 发表于 : 2020-12-04 14:46 评论 (11)

社区日报 第1127期 (2020-12-03)

1.Elasticsearch 集群故障排查及修复指南  
https://mp.weixin.qq.com/s/7pWdS_zPDNiXKzrUOCTVfg
2.Elastic财报上调财年前景
https://news.futunn.com/stock/15709137
3.美图全链路监控实战
https://zhuanlan.zhihu.com/p/313069055

编辑：金桥
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.Elasticsearch 集群故障排查及修复指南  
https://mp.weixin.qq.com/s/7pWdS_zPDNiXKzrUOCTVfg
2.Elastic财报上调财年前景
https://news.futunn.com/stock/15709137
3.美图全链路监控实战
https://zhuanlan.zhihu.com/p/313069055

编辑：金桥
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
BKing 发表于 : 2020-12-04 00:44 评论 (0)

社区日报 第1126期 (2020-12-2)

1.Elasticsearch 如何实现查询/聚合不区分大小写？
https://mp.weixin.qq.com/s/_at38HfkKotB8pdp4wgItg
2.使用Grafana监视Kubernetes的最佳实践
https://www.metricfire.com/blo ... fana/
3.Elasticsearch 父子关系
https://mp.weixin.qq.com/s/SyLA7mjrmZoRuUzoq9jrbw

编辑：寂寞的烟
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.Elasticsearch 如何实现查询/聚合不区分大小写？
https://mp.weixin.qq.com/s/_at38HfkKotB8pdp4wgItg
2.使用Grafana监视Kubernetes的最佳实践
https://www.metricfire.com/blo ... fana/
3.Elasticsearch 父子关系
https://mp.weixin.qq.com/s/SyLA7mjrmZoRuUzoq9jrbw

编辑：寂寞的烟
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
BKing 发表于 : 2020-12-03 19:03 评论 (0)

社区日报 第1123期 (2020-11-29)

1.(自备梯子)了解Lucene了解ElasticSearch。
https://medium.com/dev-genius/ ... 7ae80
2.(自备梯子)使用Tyk，Elasticsearch和Kibana观察您的API流量。
https://medium.com/%40asoorm/o ... 46c39
3.大多数开发人员工具尚未为M1 Macs准备，但下一代Apple Mx Macs明年将在其推出时成为完全功能强大的主要开发机器。
https://steipete.com/posts/app ... tive/

编辑：至尊宝
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.(自备梯子)了解Lucene了解ElasticSearch。
https://medium.com/dev-genius/ ... 7ae80
2.(自备梯子)使用Tyk，Elasticsearch和Kibana观察您的API流量。
https://medium.com/%40asoorm/o ... 46c39
3.大多数开发人员工具尚未为M1 Macs准备，但下一代Apple Mx Macs明年将在其推出时成为完全功能强大的主要开发机器。
https://steipete.com/posts/app ... tive/

编辑：至尊宝
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
收起阅读 »
 社区日报
至尊宝 发表于 : 2020-12-01 22:17 评论 (0)

社区日报 第1125期 (2020-12-1)

1.如何监视Kubernetes服务网格Istio
https://sysdig.com/blog/monitor-istio/
2.从 Splunk 迁移至ES ，Elastic助力新东方低成本、高效率应对数据增长
https://www.elastic.co/cn/blog ... iency
3.在Docker上使用Kibana和Elasticsearch监视Nginx
https://www.bmc.com/blogs/moni ... cker/

编辑：寂寞的烟
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.如何监视Kubernetes服务网格Istio
https://sysdig.com/blog/monitor-istio/
2.从 Splunk 迁移至ES ，Elastic助力新东方低成本、高效率应对数据增长
https://www.elastic.co/cn/blog ... iency
3.在Docker上使用Kibana和Elasticsearch监视Nginx
https://www.bmc.com/blogs/moni ... cker/

编辑：寂寞的烟
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
BKing 发表于 : 2020-12-01 21:46 评论 (0)

社区日报 第1124期 (2020-11-30)

1.磁盘空间不足导致 Elasticsearch 锁定索引无法写入数据问题排查
https://anonymity94.github.io/ ... %2598

2.在K8S上部署elasticsearch
https://staight.github.io/2019 ... arch/

3.ElasticSearch 中使用衰减函数来完美你的搜索结果
http://www.shiguopeng.cn/archives/444

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.磁盘空间不足导致 Elasticsearch 锁定索引无法写入数据问题排查
https://anonymity94.github.io/ ... %2598

2.在K8S上部署elasticsearch
https://staight.github.io/2019 ... arch/

3.ElasticSearch 中使用衰减函数来完美你的搜索结果
http://www.shiguopeng.cn/archives/444

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
cyberdak 发表于 : 2020-12-01 10:06 评论 (0)

社区日报 第1121期 (2020-11-27)

1.Promscale：具有SQL和PromQL的强大功能的Prometheus分析平台和长期存储
https://blog.timescale.com/blo ... esql/
2.从搜索卫士角色中排除弹性搜索权限
https://search-guard.com/elast ... ions/
3.Grafana和Elasticsearch结合使用（教程）
https://www.metricfire.com/blo ... rial/

编辑：寂寞的烟
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
继续阅读 »
1.Promscale：具有SQL和PromQL的强大功能的Prometheus分析平台和长期存储
https://blog.timescale.com/blo ... esql/
2.从搜索卫士角色中排除弹性搜索权限
https://search-guard.com/elast ... ions/
3.Grafana和Elasticsearch结合使用（教程）
https://www.metricfire.com/blo ... rial/

编辑：寂寞的烟
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »
 社区日报
BKing 发表于 : 2020-11-28 22:21 评论 (0)

【腾讯】【深圳/北京】招聘Elasticsearch高级研发工程师

工作职责
负责腾讯Elasticsearch内核的架构优化、新特性开发；
负责预研分布式存储系统、NoSQL等相关技术，推动Elasticsearch技术发展；
负责腾讯Elasticsearch产品的运营建设、日常维护。

工作要求
本科及以上学历，计算机、软件等相关专业；
编程能力扎实，熟悉Java/C 中的一种，具有良好的数据结构、算法、操作系统等计算机基本知识；
熟悉ElasticSearch、Lucene、Solr开源系统，有实际开发经验者优先；
熟悉Hadoop、HBase、Presto等开源分布式系统，有大规模分布式系统开发经验者优先；
对新技术敏感，追求卓越，能快速学习并具备较强的技术领悟能力。
 
工作地点
深圳、北京
 
联系方式
欢迎发送简历至：johngqjiang@tencent.com 或微信联系：18519283579
相关链接：https://careers.tencent.com/jo ... 65248
继续阅读 »
工作职责
负责腾讯Elasticsearch内核的架构优化、新特性开发；
负责预研分布式存储系统、NoSQL等相关技术，推动Elasticsearch技术发展；
负责腾讯Elasticsearch产品的运营建设、日常维护。

工作要求
本科及以上学历，计算机、软件等相关专业；
编程能力扎实，熟悉Java/C 中的一种，具有良好的数据结构、算法、操作系统等计算机基本知识；
熟悉ElasticSearch、Lucene、Solr开源系统，有实际开发经验者优先；
熟悉Hadoop、HBase、Presto等开源分布式系统，有大规模分布式系统开发经验者优先；
对新技术敏感，追求卓越，能快速学习并具备较强的技术领悟能力。
 
工作地点
深圳、北京
 
联系方式
欢迎发送简历至：johngqjiang@tencent.com 或微信联系：18519283579
相关链接：https://careers.tencent.com/jo ... 65248 收起阅读 »
ginger 发表于 : 2020-11-28 22:21 评论 (1)

社区日报 第1122期 (2020-11-28）

1.bert和es结合进行语义搜索

https://github.com/md-experiments/elastic_transformers

2.利用数据驱动来提高数据相关性

https://www.elastic.co/cn/blog/improving-search-relevance-with-data-driven-query-optimization

3.es认证备考指导（自备梯子）

https://www.youtube.com/watch?v=jktWd93DHAQ

继续阅读 »

1.bert和es结合进行语义搜索

https://github.com/md-experiments/elastic_transformers

2.利用数据驱动来提高数据相关性

https://www.elastic.co/cn/blog/improving-search-relevance-with-data-driven-query-optimization

3.es认证备考指导（自备梯子）

https://www.youtube.com/watch?v=jktWd93DHAQ

收起阅读 »
 社区日报
bsll 发表于 : 2020-11-28 18:33 评论 (0)
Copyright © 2025 · CC BY-NC-SA 3.0

本站服务器及带宽由 提供赞助