设置参数 `node.name` 可以自定义 Elasticsearch 节点的名字。 此条 Tips 由 medcl 贡献。

极限网关无缝集成ldap,哇哈哈

本文目的为例验证极限网关和ldap之间的集成功能:

  • 直接访问网关,走ldap验证
  • kibana连接网关,走ldap验证

最近公司对Elasticsearch集群安全抓的紧了,免费的用户名密码固然是好,但还是免不了得给不同的部门、应用创建账户,不想搞。直接LDAP不完了吗?领导说“官方ldap要买license 这么些节点得50w左右。” 我擦,难道没有别的方案了吗?一圈打听下来,还真有。

实验步骤:

  1. 既然是验证ldap,肯定要先准备个ldap 访问 https://github.com/glauth/glauth,下载对应的软件:https://github.com/glauth/glauth/releases 下载ldap的配置文件:https://github.com/glauth/glauth/raw/master/v2/sample-simple.cfg 运行ldap:./glauth64 -c sample-simple.cfg
    1.png

手工验证下ldap是否正常: ldapsearch -LLL -H ldap://localhost:3893 -D cn=serviceuser,ou=svcaccts,dc=glauth,dc=com -w mysecret -x -bdc=glauth,dc=com cn=hackers 能正常返回hackers的信息,则ldap运行正常:

2.png

  1. 配置极限网关 下载极限网关:http://release.infinilabs.com/gateway/snapshot/ 本次测试下载的最新版本:gateway-1.6.0_SNAPSHOT-643 下载完后,去sample里找下ldap的配置。

3.png

修改成自己的环境:

修改 set_basic_auth
flow:
  - name: hello_world
    filter:
      - ldap_auth:
          host: "localhost"
          port: 3893
          bind_dn: "cn=serviceuser,ou=svcaccts,dc=glauth,dc=com"
          bind_password: "mysecret"
          base_dn: "dc=glauth,dc=com"
          user_filter: "(cn=%s)"
          group_attribute: "ou"
          bypass_api_key: true
      - set_basic_auth:
          username: elastic
          password: password

修改elasticsearch资源
elasticsearch:
  - name: 717
    enabled: true
    endpoints:
      - http://192.168.56.3:7171
    basic_auth:
      username: elastic
      password: password
  - name: logging
    enabled: false
    endpoints:
      - http://192.168.3.188:9206
    basic_auth:
      username: elastic
      password: Bp2HyArQDd+5PdgEJ4QH

pipeline:
  # pipelines for logging
#  - name: consume-request_logging_index-to-backup
#    auto_start: true
#    keep_running: true
#    processor:
#      - json_indexing:
#          index_name: "test-gateway_requests"
#          elasticsearch: "logging"
#          input_queue: "request_logging"

启动网关:./gateway-linux-amd64 -config sample-configs/elasticsearch-with-ldap.yml

5.png

  1. 测试ldap是否正常
  2. 直接访问网关,使用ldap中的用户 curl localhost:8000 -u hackers:dogood

6.png

正常返回es的信息 搜索下

61.png

  1. kibana连接网关,输入ldap用户名和密码后登录到Elastic
    kibana 配置网关的地址和ldap中的用户
    elasticsearch.hosts: ["http://127.0.0.1:8000"]
    elasticsearch.username: "hackers"
    elasticsearch.password: "dogood"

    启动kibana后,用ladap用户登录

7.png

71.png

72.png

逻辑:ldap验证通过后,使用 set_basic_auth 中设置的用户名和密码登录到Elasticsearch

至此,本次测试就结束了,ldap功能集成功能正常。而且本方案对Elasticsearch集群无侵入,部署简单。顺手翻了下网站,其实网关还有很多其他高大上的功能:跨站数据查询,高可用,在线查询修改等。阔以,一举多得。 期待后续为各个ldap用户增加到Elastic用户的映射就更加完美了。 目前准备预发环境搞起来。发文冒个泡,希望有在使用的小伙伴一起多交流。

继续阅读 »

本文目的为例验证极限网关和ldap之间的集成功能:

  • 直接访问网关,走ldap验证
  • kibana连接网关,走ldap验证

最近公司对Elasticsearch集群安全抓的紧了,免费的用户名密码固然是好,但还是免不了得给不同的部门、应用创建账户,不想搞。直接LDAP不完了吗?领导说“官方ldap要买license 这么些节点得50w左右。” 我擦,难道没有别的方案了吗?一圈打听下来,还真有。

实验步骤:

  1. 既然是验证ldap,肯定要先准备个ldap 访问 https://github.com/glauth/glauth,下载对应的软件:https://github.com/glauth/glauth/releases 下载ldap的配置文件:https://github.com/glauth/glauth/raw/master/v2/sample-simple.cfg 运行ldap:./glauth64 -c sample-simple.cfg
    1.png

手工验证下ldap是否正常: ldapsearch -LLL -H ldap://localhost:3893 -D cn=serviceuser,ou=svcaccts,dc=glauth,dc=com -w mysecret -x -bdc=glauth,dc=com cn=hackers 能正常返回hackers的信息,则ldap运行正常:

2.png

  1. 配置极限网关 下载极限网关:http://release.infinilabs.com/gateway/snapshot/ 本次测试下载的最新版本:gateway-1.6.0_SNAPSHOT-643 下载完后,去sample里找下ldap的配置。

3.png

修改成自己的环境:

修改 set_basic_auth
flow:
  - name: hello_world
    filter:
      - ldap_auth:
          host: "localhost"
          port: 3893
          bind_dn: "cn=serviceuser,ou=svcaccts,dc=glauth,dc=com"
          bind_password: "mysecret"
          base_dn: "dc=glauth,dc=com"
          user_filter: "(cn=%s)"
          group_attribute: "ou"
          bypass_api_key: true
      - set_basic_auth:
          username: elastic
          password: password

修改elasticsearch资源
elasticsearch:
  - name: 717
    enabled: true
    endpoints:
      - http://192.168.56.3:7171
    basic_auth:
      username: elastic
      password: password
  - name: logging
    enabled: false
    endpoints:
      - http://192.168.3.188:9206
    basic_auth:
      username: elastic
      password: Bp2HyArQDd+5PdgEJ4QH

pipeline:
  # pipelines for logging
#  - name: consume-request_logging_index-to-backup
#    auto_start: true
#    keep_running: true
#    processor:
#      - json_indexing:
#          index_name: "test-gateway_requests"
#          elasticsearch: "logging"
#          input_queue: "request_logging"

启动网关:./gateway-linux-amd64 -config sample-configs/elasticsearch-with-ldap.yml

5.png

  1. 测试ldap是否正常
  2. 直接访问网关,使用ldap中的用户 curl localhost:8000 -u hackers:dogood

6.png

正常返回es的信息 搜索下

61.png

  1. kibana连接网关,输入ldap用户名和密码后登录到Elastic
    kibana 配置网关的地址和ldap中的用户
    elasticsearch.hosts: ["http://127.0.0.1:8000"]
    elasticsearch.username: "hackers"
    elasticsearch.password: "dogood"

    启动kibana后,用ladap用户登录

7.png

71.png

72.png

逻辑:ldap验证通过后,使用 set_basic_auth 中设置的用户名和密码登录到Elasticsearch

至此,本次测试就结束了,ldap功能集成功能正常。而且本方案对Elasticsearch集群无侵入,部署简单。顺手翻了下网站,其实网关还有很多其他高大上的功能:跨站数据查询,高可用,在线查询修改等。阔以,一举多得。 期待后续为各个ldap用户增加到Elastic用户的映射就更加完美了。 目前准备预发环境搞起来。发文冒个泡,希望有在使用的小伙伴一起多交流。

收起阅读 »

社区日报 第1392期 (2022-05-12)

1.使用 Testcontainers 来测试 Elasticsearch 插件(需要梯子)
https://spinscale.de/posts/202 ... .html
2.开发你的第一个 Elasticsearch 插件
https://codeburst.io/how-to-ma ... 382d5
3.编写 Elastic APM Java Agent 插件(需要梯子)
https://spinscale.de/posts/202 ... .html

编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1.使用 Testcontainers 来测试 Elasticsearch 插件(需要梯子)
https://spinscale.de/posts/202 ... .html
2.开发你的第一个 Elasticsearch 插件
https://codeburst.io/how-to-ma ... 382d5
3.编写 Elastic APM Java Agent 插件(需要梯子)
https://spinscale.de/posts/202 ... .html

编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1391期 (2022-05-11)

1. Elasticsearch:运用 doc-value-only 字段来实现更快的索引速度并节省空间 - Elastic Stack 8.1
https://elasticstack.blog.csdn ... 72978
2. Understanding Index Life Cycle (ILM) Management
https://mkonda007.medium.com/e ... 98b6a
3. 如何将定制日志与Elastic Agent集成(需要梯子)
https://medium.com/zenika/how- ... 5aec7

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. Elasticsearch:运用 doc-value-only 字段来实现更快的索引速度并节省空间 - Elastic Stack 8.1
https://elasticstack.blog.csdn ... 72978
2. Understanding Index Life Cycle (ILM) Management
https://mkonda007.medium.com/e ... 98b6a
3. 如何将定制日志与Elastic Agent集成(需要梯子)
https://medium.com/zenika/how- ... 5aec7

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1390期 (2022-05-10)

1. Devops的起点,日志的奇幻漂流(需要梯子)
https://joachim8675309.medium. ... 20206
2. 在Windows和Linux里用Elastic Stack做SIEM怎么样(需要梯子)
https://mohomedarfath.medium.c ... f470b
3. 在kibana上定制一个region地图?你来你也行(需要梯子)
https://medium.com/rahasak/cus ... b1dd5
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
 
继续阅读 »
1. Devops的起点,日志的奇幻漂流(需要梯子)
https://joachim8675309.medium. ... 20206
2. 在Windows和Linux里用Elastic Stack做SIEM怎么样(需要梯子)
https://mohomedarfath.medium.c ... f470b
3. 在kibana上定制一个region地图?你来你也行(需要梯子)
https://medium.com/rahasak/cus ... b1dd5
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
  收起阅读 »

社区日报 第1389期 (2022-05-09)

Elastic日报 第1389期 (2022-05-09)
1. Elasticsearch 不停机重建索引(需要梯子)
   https://betterprogramming.pub/ ... 12070

2. Elasticsearch IK分词器自动更新词库
   https://zhuanlan.zhihu.com/p/381936025

3. Elasticsearch 词频统计
   https://blog.csdn.net/laoyang3 ... 92026

编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
Elastic日报 第1389期 (2022-05-09)
1. Elasticsearch 不停机重建索引(需要梯子)
   https://betterprogramming.pub/ ... 12070

2. Elasticsearch IK分词器自动更新词库
   https://zhuanlan.zhihu.com/p/381936025

3. Elasticsearch 词频统计
   https://blog.csdn.net/laoyang3 ... 92026

编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1388期 (2022-05-08)

1. 如何防止 Elasticsearch 中的数据丢失?
https://mincong.io/cn/prevent- ... arch/

2. 完美避坑!记一次Elasticsearch集群迁移架构实战
https://zhuanlan.zhihu.com/p/427992639
 
3. Elasticsearch常见的5个错误及解决策略
https://blog.51cto.com/u_14886891/5246763

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
 
继续阅读 »
1. 如何防止 Elasticsearch 中的数据丢失?
https://mincong.io/cn/prevent- ... arch/

2. 完美避坑!记一次Elasticsearch集群迁移架构实战
https://zhuanlan.zhihu.com/p/427992639
 
3. Elasticsearch常见的5个错误及解决策略
https://blog.51cto.com/u_14886891/5246763

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
  收起阅读 »

社区日报 第1387期 (2021-05-07)

1. Elastic携手阿里云助力中国汽车及出行产业数字化转型
   https://cloud.ofweek.com/news/ ... .html

2. Elasticsearch整库迁移到云搜索服务
   https://support.huaweicloud.co ... .html

3. Netflix工作室使用Elasticsearch和ApacheFlink索引并搜索GraphQL中的数据
   https://www.infoq.com/news/202 ... arch/

编辑:陶希阳
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. Elastic携手阿里云助力中国汽车及出行产业数字化转型
   https://cloud.ofweek.com/news/ ... .html

2. Elasticsearch整库迁移到云搜索服务
   https://support.huaweicloud.co ... .html

3. Netflix工作室使用Elasticsearch和ApacheFlink索引并搜索GraphQL中的数据
   https://www.infoq.com/news/202 ... arch/

编辑:陶希阳
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1386期 (2022-05-06)

1.Elasticsearch 8.2.0 发布
https://www.elastic.co/cn/blog ... 8-2-0
2.基于MiniKube 部署ELK日志采集平台
https://dev.to/sagary2j/elk-st ... -16cl 
3.开源数据库十年发展走势,Elastic依然强悍!
https://ossinsight.io/database ... years

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Elasticsearch 8.2.0 发布
https://www.elastic.co/cn/blog ... 8-2-0
2.基于MiniKube 部署ELK日志采集平台
https://dev.to/sagary2j/elk-st ... -16cl 
3.开源数据库十年发展走势,Elastic依然强悍!
https://ossinsight.io/database ... years

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

Enterprise:使用 Elastic Stack 8.2 中的 Elasticsearch API 来定位 App Search 中的文档

使用 Elastic 8.2 版,你可以轻松地将企业搜索中省时的相关性调优和分析工具与现有的 Elasticsearch 索引结合使用,而无需迁移或更新数据结构。确保从数据采集管道到数据生命周期管理策略的方方面面尽皆齐备,并使用企业搜索中的预配置工具将新的搜索体验快速推向市场。这意味着可实现更快的部署、更直接的相关性管理以及更好地了解您的应用程序、网站和企业中的最终用户搜索行为。详细阅读,请参阅 https://elasticstack.blog.csdn ... 86737
继续阅读 »
使用 Elastic 8.2 版,你可以轻松地将企业搜索中省时的相关性调优和分析工具与现有的 Elasticsearch 索引结合使用,而无需迁移或更新数据结构。确保从数据采集管道到数据生命周期管理策略的方方面面尽皆齐备,并使用企业搜索中的预配置工具将新的搜索体验快速推向市场。这意味着可实现更快的部署、更直接的相关性管理以及更好地了解您的应用程序、网站和企业中的最终用户搜索行为。详细阅读,请参阅 https://elasticstack.blog.csdn ... 86737 收起阅读 »

Elasticsearch 技术短视频分享持续更新中.......

Elasticsearch 系列技术短视频分享持续更新中......
 
https://space.bilibili.com/471049389
 
不大不小的视频试水,欢迎大家留言和拍砖!
 
 
Elasticsearch 系列技术短视频分享持续更新中......
 
https://space.bilibili.com/471049389
 
不大不小的视频试水,欢迎大家留言和拍砖!
 
 

使用 Elastic 8.2 版打造流畅的搜索驱动型客户体验

今天,我们很高兴地宣布,全球领先的搜索驱动型解决方案平台的最新版 Elastic 8.2 正式上线。

有了 Elastic 8.2 版,我们的客户和社区将能够更快地打造流畅的搜索体验。从“低代码”到“完全控制”,Elastic 8.2 版为用户提供了更大的灵活性,让他们可以用自己喜欢的方法来构建搜索驱动型解决方案。

此外,Elastic 8.2 版通过基于尾部的采样进一步扩展了对高度分布式、大容量云原生服务的可见性,再加上带有背景信息的告警、精简的主机检查、新的调查指南以及威胁情报解决方案的全面上线,安全分析师的体验也有了大幅提升。

通过采用全新的随机采样器聚合、对 Elasticsearch 矢量搜索功能进行多项改进,以及在 Kibana 中正式推出 Discover 的新数据探索工具,无论用户选择如何使用自己的数据,升级到 Elastic 8.2 版的用户都可以更快地获得搜索结果和见解。无论是将人员和团队与重要内容关联起来、优化任务关键型应用程序和基础架构,还是保护数字生态系统免受网络威胁,全新上线的 Elastic 8.2 版都可以帮助每个人成功迈上新的台阶。
更多阅读请参阅 https://elasticstack.blog.csdn ... 81433
继续阅读 »
今天,我们很高兴地宣布,全球领先的搜索驱动型解决方案平台的最新版 Elastic 8.2 正式上线。

有了 Elastic 8.2 版,我们的客户和社区将能够更快地打造流畅的搜索体验。从“低代码”到“完全控制”,Elastic 8.2 版为用户提供了更大的灵活性,让他们可以用自己喜欢的方法来构建搜索驱动型解决方案。

此外,Elastic 8.2 版通过基于尾部的采样进一步扩展了对高度分布式、大容量云原生服务的可见性,再加上带有背景信息的告警、精简的主机检查、新的调查指南以及威胁情报解决方案的全面上线,安全分析师的体验也有了大幅提升。

通过采用全新的随机采样器聚合、对 Elasticsearch 矢量搜索功能进行多项改进,以及在 Kibana 中正式推出 Discover 的新数据探索工具,无论用户选择如何使用自己的数据,升级到 Elastic 8.2 版的用户都可以更快地获得搜索结果和见解。无论是将人员和团队与重要内容关联起来、优化任务关键型应用程序和基础架构,还是保护数字生态系统免受网络威胁,全新上线的 Elastic 8.2 版都可以帮助每个人成功迈上新的台阶。
更多阅读请参阅 https://elasticstack.blog.csdn ... 81433 收起阅读 »

社区日报 第1385期 (2022-04-28)

1.Filebeat源码浅析
http://niyanchun.com/filebeat-source-learning.html
2.干货 | Elasticsearch 数据建模指南
https://mp.weixin.qq.com/s/vSh6w3eL_oQvU1mxnxsArA
3.Observability:如何使用 Elastic APM 来监控多语言微服务应用程序
https://elasticstack.blog.csdn ... 24401

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Filebeat源码浅析
http://niyanchun.com/filebeat-source-learning.html
2.干货 | Elasticsearch 数据建模指南
https://mp.weixin.qq.com/s/vSh6w3eL_oQvU1mxnxsArA
3.Observability:如何使用 Elastic APM 来监控多语言微服务应用程序
https://elasticstack.blog.csdn ... 24401

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
收起阅读 »

社区日报 第1384期 (2022-04-27)

1. ES的nested字段和对象字段(需要梯子)
https://opster.com/guides/elas ... ield/
2. Elasticsearch跨集群数据备份和迁移
https://blog.51cto.com/liqingbiao/2539669
3. 我的es优化之路(需要梯子)
https://medium.com/starbugs/%2 ... 5673c

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. ES的nested字段和对象字段(需要梯子)
https://opster.com/guides/elas ... ield/
2. Elasticsearch跨集群数据备份和迁移
https://blog.51cto.com/liqingbiao/2539669
3. 我的es优化之路(需要梯子)
https://medium.com/starbugs/%2 ... 5673c

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

2022国际开源节延期通知

开源节.png

以下是活动详情

开源节.png

开源节.png

以下是活动详情

开源节.png

社区日报 第1383期 (2022-04-26)


1. 把Kafka和ES连在一起,我来我也行(需要梯子)
https://mukherjee-soumya.mediu ... d966b

2. 我们把ES升到7了,简直鹅妹子嘤(需要梯子)
https://medium.com/tokopedia-e ... 9f50d

3. 阿里云的logstash是怎么把关系型数据库同步进ES的(需要梯子)
https://alibaba-cloud.medium.c ... 55b78

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »

1. 把Kafka和ES连在一起,我来我也行(需要梯子)
https://mukherjee-soumya.mediu ... d966b

2. 我们把ES升到7了,简直鹅妹子嘤(需要梯子)
https://medium.com/tokopedia-e ... 9f50d

3. 阿里云的logstash是怎么把关系型数据库同步进ES的(需要梯子)
https://alibaba-cloud.medium.c ... 55b78

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »