居然是你

社区日报 第1404期 (2022-05-24)

1. 用fluent配合ES构建日志体系(需要梯子)
https://medium.com/hepsiburada ... e28aa

2. 用Serilog和ES搭建 net core 的日志体系(需要梯子)
https://medium.com/%40matias.p ... f4c1e

3. ES为啥在Adyen stack是不可或缺的组件(需要梯子)
https://medium.com/adyen/why-e ... 89cc1

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. 用fluent配合ES构建日志体系(需要梯子)
https://medium.com/hepsiburada ... e28aa

2. 用Serilog和ES搭建 net core 的日志体系(需要梯子)
https://medium.com/%40matias.p ... f4c1e

3. ES为啥在Adyen stack是不可或缺的组件(需要梯子)
https://medium.com/adyen/why-e ... 89cc1

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

【Elastic社区线上Meetup直播】使用Elastic Stack地理位置分析功能分析疫情态势

Elastic社区线上Meetup

B站直播:http://live.bilibili.com/24361271

YouTube直播:https://www.youtube.com/c/OfficialElasticCommunity

主题:使用Elastic Stack地理位置分析功能分析疫情态势

日期:2022年5月26日,14:30 - 15:30(UTC+8)

讲师:杰瑞朱,Elastic资深解决方案架构师,Elastic认证工程师

摘要:Elasticsearch具有很强的地理位置查询和聚合计算能力,Kibana也内含了功能强大的地图工具,两者结合可以很方便地应用于地理位置相关的分析场景。杰瑞在上海封城期间,一直使用这些强大的工具来分析周边的疫情态势,本次活动以上海每日疫情数据为例,详解这些工具的使用方法,可以让听众快速上手并应用于更多的地理位置分析场景。

中文meetup每月最后一个周四准时上线,欢迎报名分享您的技术心得,讲师报名请发送邮件至:meetups@elastic.co。谢谢!   原文链接:

继续阅读 »

Elastic社区线上Meetup

B站直播:http://live.bilibili.com/24361271

YouTube直播:https://www.youtube.com/c/OfficialElasticCommunity

主题:使用Elastic Stack地理位置分析功能分析疫情态势

日期:2022年5月26日,14:30 - 15:30(UTC+8)

讲师:杰瑞朱,Elastic资深解决方案架构师,Elastic认证工程师

摘要:Elasticsearch具有很强的地理位置查询和聚合计算能力,Kibana也内含了功能强大的地图工具,两者结合可以很方便地应用于地理位置相关的分析场景。杰瑞在上海封城期间,一直使用这些强大的工具来分析周边的疫情态势,本次活动以上海每日疫情数据为例,详解这些工具的使用方法,可以让听众快速上手并应用于更多的地理位置分析场景。

中文meetup每月最后一个周四准时上线,欢迎报名分享您的技术心得,讲师报名请发送邮件至:meetups@elastic.co。谢谢!   原文链接:

收起阅读 »

社区日报 第1403期 (2022-05-23)

1. Elasticsearch架构解析与最佳实践
   https://zhuanlan.zhihu.com/p/157964955

2. Elasticsearch 性能优化
   https://mp.weixin.qq.com/s/VHULA5vfDBxjGzukZyYJbg

3. Elasticsearch 索引设计指南
   https://blog.csdn.net/laoyang3 ... 64442

编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. Elasticsearch架构解析与最佳实践
   https://zhuanlan.zhihu.com/p/157964955

2. Elasticsearch 性能优化
   https://mp.weixin.qq.com/s/VHULA5vfDBxjGzukZyYJbg

3. Elasticsearch 索引设计指南
   https://blog.csdn.net/laoyang3 ... 64442

编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1402期 (2022-05-22)

1. Elasticsearch 基础入门详文(需梯子)
https://tinyurl.com/msmz862d

2. Elasticsearch 通用工具类
https://blog.csdn.net/qiandeqi ... 68545

3. Elasticsearch Templates 讲解
https://blog.csdn.net/u0113442 ... 01975

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. Elasticsearch 基础入门详文(需梯子)
https://tinyurl.com/msmz862d

2. Elasticsearch 通用工具类
https://blog.csdn.net/qiandeqi ... 68545

3. Elasticsearch Templates 讲解
https://blog.csdn.net/u0113442 ... 01975

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1401期 (2022-05-21)


1、 腾讯对 Elasticsearch 亿万级规模下的内核优化与实践 
https://pdai.tech/md/db/nosql- ... .html 
2、Spring boot 2.5.x整合ElasticSearch 7.1x 
https://www.shouxicto.com/article/3963.html 
3、使用 Elasticsearch、Fluentd 和 Kibana 进行 Kubernetes 日志记录 
https://coralogix.com/blog/kub ... bana/ 

编辑:李静 
归档:https://ela.st/cn-daily-all 
订阅:https://ela.st/cn-daily-sub 
沙龙:https://ela.st/cn-meetup 
B站:https://ela.st/bilibili 
继续阅读 »

1、 腾讯对 Elasticsearch 亿万级规模下的内核优化与实践 
https://pdai.tech/md/db/nosql- ... .html 
2、Spring boot 2.5.x整合ElasticSearch 7.1x 
https://www.shouxicto.com/article/3963.html 
3、使用 Elasticsearch、Fluentd 和 Kibana 进行 Kubernetes 日志记录 
https://coralogix.com/blog/kub ... bana/ 

编辑:李静 
归档:https://ela.st/cn-daily-all 
订阅:https://ela.st/cn-daily-sub 
沙龙:https://ela.st/cn-meetup 
B站:https://ela.st/bilibili  收起阅读 »

社区日报 第1400期 (2022-05-20)

1、基于Elasticsearch的机器学习和ETL工具包
https://github.com/elastic/eland
2、Zinc——用 Go 编写的下一代搜索引擎
https://medevel.com/zinc/
3、使用 Elasticsearch 进行跨区域灾难恢复
https://thehackernews.com/2022 ... .html

归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1、基于Elasticsearch的机器学习和ETL工具包
https://github.com/elastic/eland
2、Zinc——用 Go 编写的下一代搜索引擎
https://medevel.com/zinc/
3、使用 Elasticsearch 进行跨区域灾难恢复
https://thehackernews.com/2022 ... .html

归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1399期 (2022-05-19)

1.理解 Elasticsearch 的 Combined Fields 和 Multi Match 查询(需要梯子)
https://spinscale.de/posts/202 ... .html
2.DocValues 存储格式及压缩实现
https://mp.weixin.qq.com/s/kP5Pza2xRtBlcJs5WYvgjA
3.ES 内存管理分析
http://armsword.com/2021/03/26 ... ment/


编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1.理解 Elasticsearch 的 Combined Fields 和 Multi Match 查询(需要梯子)
https://spinscale.de/posts/202 ... .html
2.DocValues 存储格式及压缩实现
https://mp.weixin.qq.com/s/kP5Pza2xRtBlcJs5WYvgjA
3.ES 内存管理分析
http://armsword.com/2021/03/26 ... ment/


编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1398期 (2022-05-18)

1. Elasticsearch ILM 索引生命周期管理常见坑及避坑指南
https://blog.csdn.net/laoyang3 ... 31708
2. Elasticsearch — 写入和搜索优化建议(需要梯子)
https://db-universe.medium.com ... e5259
3. elasticsearch APM 优化(需要梯子)
https://medium.com/squad-engin ... 8bed5

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. Elasticsearch ILM 索引生命周期管理常见坑及避坑指南
https://blog.csdn.net/laoyang3 ... 31708
2. Elasticsearch — 写入和搜索优化建议(需要梯子)
https://db-universe.medium.com ... e5259
3. elasticsearch APM 优化(需要梯子)
https://medium.com/squad-engin ... 8bed5

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1397期 (2022-05-17)

Elastic日报 第1397期 (2022-05-17)

1. 来,你来告诉我ES还有什么观测不了的?(需要梯子)
https://medium.com/%40suraj.pa ... ba874

2. Canva 工程师从Solr到ES的迁移的心路历程(需要梯子)
https://canvatechblog.com/migr ... 68c68

3. ES dsl 从入门到精通(需要梯子)
https://towardsdatascience.com ... 6cf7f

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
Elastic日报 第1397期 (2022-05-17)

1. 来,你来告诉我ES还有什么观测不了的?(需要梯子)
https://medium.com/%40suraj.pa ... ba874

2. Canva 工程师从Solr到ES的迁移的心路历程(需要梯子)
https://canvatechblog.com/migr ... 68c68

3. ES dsl 从入门到精通(需要梯子)
https://towardsdatascience.com ... 6cf7f

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1396期 (2022-05-16)

1. 如何抉择Elasticsearch 与 Solr(需要梯子)
   https://sematext.com/blog/solr ... nces/

2. Elasticsearch 翻页全解读
   https://www.modb.pro/db/61574

3. Elasticsearch 中文常见分词器
   https://developer.aliyun.com/a ... 2AXXe

编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. 如何抉择Elasticsearch 与 Solr(需要梯子)
   https://sematext.com/blog/solr ... nces/

2. Elasticsearch 翻页全解读
   https://www.modb.pro/db/61574

3. Elasticsearch 中文常见分词器
   https://developer.aliyun.com/a ... 2AXXe

编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1395期 (2022-05-15)

1.解决elasticsearch集群分片lock锁无法分配问题
https://developer.aliyun.com/article/887340

2.Elasticsearch系列---实现分布式锁
https://www.cnblogs.com/huangy ... .html

3. ElasticSearch的jvm堆内存设置:真的是越大越好吗?
https://blog.csdn.net/avenger1 ... 80793

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1.解决elasticsearch集群分片lock锁无法分配问题
https://developer.aliyun.com/article/887340

2.Elasticsearch系列---实现分布式锁
https://www.cnblogs.com/huangy ... .html

3. ElasticSearch的jvm堆内存设置:真的是越大越好吗?
https://blog.csdn.net/avenger1 ... 80793

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1394期 (2022-05-14)


1、 Elasticsearch 在 AnyTag 中的应用实践
https://anymindgroup.com/tech- ... ytag/(需要梯子)
2、使用 Elasticsearch 搜索引擎来为用户提供商品搜索功能
https://support.huaweicloud.co ... .html
3、如何在 .NET Core 中使用 Elasticsearch
https://www.cncf.io/blog/2021/ ... tion/

编辑:李静
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
 
继续阅读 »

1、 Elasticsearch 在 AnyTag 中的应用实践
https://anymindgroup.com/tech- ... ytag/(需要梯子)
2、使用 Elasticsearch 搜索引擎来为用户提供商品搜索功能
https://support.huaweicloud.co ... .html
3、如何在 .NET Core 中使用 Elasticsearch
https://www.cncf.io/blog/2021/ ... tion/

编辑:李静
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
  收起阅读 »

社区日报 第1393期 (2022-05-13)

1、Elasticsearch VS TDengine 在车辆位置跟踪项目的实战对比
https://tdengine.com/2022/05/09/5713.html
2、在 Kubernetes 集群上运行企业级 Elasticsearch 技术栈(梯子)
https://medium.com/%40siddhart ... 677bb
3、生产环境部署Elasticsearch集群注意事项
https://www.cncf.io/blog/2021/ ... tion/

编辑:铭毅天下   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1、Elasticsearch VS TDengine 在车辆位置跟踪项目的实战对比
https://tdengine.com/2022/05/09/5713.html
2、在 Kubernetes 集群上运行企业级 Elasticsearch 技术栈(梯子)
https://medium.com/%40siddhart ... 677bb
3、生产环境部署Elasticsearch集群注意事项
https://www.cncf.io/blog/2021/ ... tion/

编辑:铭毅天下   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

极限网关无缝集成ldap,哇哈哈

本文目的为例验证极限网关和ldap之间的集成功能:

  • 直接访问网关,走ldap验证
  • kibana连接网关,走ldap验证

最近公司对Elasticsearch集群安全抓的紧了,免费的用户名密码固然是好,但还是免不了得给不同的部门、应用创建账户,不想搞。直接LDAP不完了吗?领导说“官方ldap要买license 这么些节点得50w左右。” 我擦,难道没有别的方案了吗?一圈打听下来,还真有。

实验步骤:

  1. 既然是验证ldap,肯定要先准备个ldap 访问 https://github.com/glauth/glauth,下载对应的软件:https://github.com/glauth/glauth/releases 下载ldap的配置文件:https://github.com/glauth/glauth/raw/master/v2/sample-simple.cfg 运行ldap:./glauth64 -c sample-simple.cfg
    1.png

手工验证下ldap是否正常: ldapsearch -LLL -H ldap://localhost:3893 -D cn=serviceuser,ou=svcaccts,dc=glauth,dc=com -w mysecret -x -bdc=glauth,dc=com cn=hackers 能正常返回hackers的信息,则ldap运行正常:

2.png

  1. 配置极限网关 下载极限网关:http://release.infinilabs.com/gateway/snapshot/ 本次测试下载的最新版本:gateway-1.6.0_SNAPSHOT-643 下载完后,去sample里找下ldap的配置。

3.png

修改成自己的环境:

修改 set_basic_auth
flow:
  - name: hello_world
    filter:
      - ldap_auth:
          host: "localhost"
          port: 3893
          bind_dn: "cn=serviceuser,ou=svcaccts,dc=glauth,dc=com"
          bind_password: "mysecret"
          base_dn: "dc=glauth,dc=com"
          user_filter: "(cn=%s)"
          group_attribute: "ou"
          bypass_api_key: true
      - set_basic_auth:
          username: elastic
          password: password

修改elasticsearch资源
elasticsearch:
  - name: 717
    enabled: true
    endpoints:
      - http://192.168.56.3:7171
    basic_auth:
      username: elastic
      password: password
  - name: logging
    enabled: false
    endpoints:
      - http://192.168.3.188:9206
    basic_auth:
      username: elastic
      password: Bp2HyArQDd+5PdgEJ4QH

pipeline:
  # pipelines for logging
#  - name: consume-request_logging_index-to-backup
#    auto_start: true
#    keep_running: true
#    processor:
#      - json_indexing:
#          index_name: "test-gateway_requests"
#          elasticsearch: "logging"
#          input_queue: "request_logging"

启动网关:./gateway-linux-amd64 -config sample-configs/elasticsearch-with-ldap.yml

5.png

  1. 测试ldap是否正常
  2. 直接访问网关,使用ldap中的用户 curl localhost:8000 -u hackers:dogood

6.png

正常返回es的信息 搜索下

61.png

  1. kibana连接网关,输入ldap用户名和密码后登录到Elastic
    kibana 配置网关的地址和ldap中的用户
    elasticsearch.hosts: ["http://127.0.0.1:8000"]
    elasticsearch.username: "hackers"
    elasticsearch.password: "dogood"

    启动kibana后,用ladap用户登录

7.png

71.png

72.png

逻辑:ldap验证通过后,使用 set_basic_auth 中设置的用户名和密码登录到Elasticsearch

至此,本次测试就结束了,ldap功能集成功能正常。而且本方案对Elasticsearch集群无侵入,部署简单。顺手翻了下网站,其实网关还有很多其他高大上的功能:跨站数据查询,高可用,在线查询修改等。阔以,一举多得。 期待后续为各个ldap用户增加到Elastic用户的映射就更加完美了。 目前准备预发环境搞起来。发文冒个泡,希望有在使用的小伙伴一起多交流。

继续阅读 »

本文目的为例验证极限网关和ldap之间的集成功能:

  • 直接访问网关,走ldap验证
  • kibana连接网关,走ldap验证

最近公司对Elasticsearch集群安全抓的紧了,免费的用户名密码固然是好,但还是免不了得给不同的部门、应用创建账户,不想搞。直接LDAP不完了吗?领导说“官方ldap要买license 这么些节点得50w左右。” 我擦,难道没有别的方案了吗?一圈打听下来,还真有。

实验步骤:

  1. 既然是验证ldap,肯定要先准备个ldap 访问 https://github.com/glauth/glauth,下载对应的软件:https://github.com/glauth/glauth/releases 下载ldap的配置文件:https://github.com/glauth/glauth/raw/master/v2/sample-simple.cfg 运行ldap:./glauth64 -c sample-simple.cfg
    1.png

手工验证下ldap是否正常: ldapsearch -LLL -H ldap://localhost:3893 -D cn=serviceuser,ou=svcaccts,dc=glauth,dc=com -w mysecret -x -bdc=glauth,dc=com cn=hackers 能正常返回hackers的信息,则ldap运行正常:

2.png

  1. 配置极限网关 下载极限网关:http://release.infinilabs.com/gateway/snapshot/ 本次测试下载的最新版本:gateway-1.6.0_SNAPSHOT-643 下载完后,去sample里找下ldap的配置。

3.png

修改成自己的环境:

修改 set_basic_auth
flow:
  - name: hello_world
    filter:
      - ldap_auth:
          host: "localhost"
          port: 3893
          bind_dn: "cn=serviceuser,ou=svcaccts,dc=glauth,dc=com"
          bind_password: "mysecret"
          base_dn: "dc=glauth,dc=com"
          user_filter: "(cn=%s)"
          group_attribute: "ou"
          bypass_api_key: true
      - set_basic_auth:
          username: elastic
          password: password

修改elasticsearch资源
elasticsearch:
  - name: 717
    enabled: true
    endpoints:
      - http://192.168.56.3:7171
    basic_auth:
      username: elastic
      password: password
  - name: logging
    enabled: false
    endpoints:
      - http://192.168.3.188:9206
    basic_auth:
      username: elastic
      password: Bp2HyArQDd+5PdgEJ4QH

pipeline:
  # pipelines for logging
#  - name: consume-request_logging_index-to-backup
#    auto_start: true
#    keep_running: true
#    processor:
#      - json_indexing:
#          index_name: "test-gateway_requests"
#          elasticsearch: "logging"
#          input_queue: "request_logging"

启动网关:./gateway-linux-amd64 -config sample-configs/elasticsearch-with-ldap.yml

5.png

  1. 测试ldap是否正常
  2. 直接访问网关,使用ldap中的用户 curl localhost:8000 -u hackers:dogood

6.png

正常返回es的信息 搜索下

61.png

  1. kibana连接网关,输入ldap用户名和密码后登录到Elastic
    kibana 配置网关的地址和ldap中的用户
    elasticsearch.hosts: ["http://127.0.0.1:8000"]
    elasticsearch.username: "hackers"
    elasticsearch.password: "dogood"

    启动kibana后,用ladap用户登录

7.png

71.png

72.png

逻辑:ldap验证通过后,使用 set_basic_auth 中设置的用户名和密码登录到Elasticsearch

至此,本次测试就结束了,ldap功能集成功能正常。而且本方案对Elasticsearch集群无侵入,部署简单。顺手翻了下网站,其实网关还有很多其他高大上的功能:跨站数据查询,高可用,在线查询修改等。阔以,一举多得。 期待后续为各个ldap用户增加到Elastic用户的映射就更加完美了。 目前准备预发环境搞起来。发文冒个泡,希望有在使用的小伙伴一起多交流。

收起阅读 »

社区日报 第1392期 (2022-05-12)

1.使用 Testcontainers 来测试 Elasticsearch 插件(需要梯子)
https://spinscale.de/posts/202 ... .html
2.开发你的第一个 Elasticsearch 插件
https://codeburst.io/how-to-ma ... 382d5
3.编写 Elastic APM Java Agent 插件(需要梯子)
https://spinscale.de/posts/202 ... .html

编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1.使用 Testcontainers 来测试 Elasticsearch 插件(需要梯子)
https://spinscale.de/posts/202 ... .html
2.开发你的第一个 Elasticsearch 插件
https://codeburst.io/how-to-ma ... 382d5
3.编写 Elastic APM Java Agent 插件(需要梯子)
https://spinscale.de/posts/202 ... .html

编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »