高峰只对攀登它而不是仰望它的人来说才有真正意义。

长期招聘ES技术人员

要求:有es 认证
工作地点:深圳
vx:15773601117
email:yangf@newmindtech.cn
要求:有es 认证
工作地点:深圳
vx:15773601117
email:yangf@newmindtech.cn

API 网关 Apache APISIX 集成 Elasticsearch 实现实时日志监控

本文将为你介绍 Apache APISIX 的 elasticsearch-logger 插件的相关信息,以及如何通过此插件获取 APISIX 的实时日志。

背景信息

Apache APISIX 是一个动态、实时、高性能的 API 网关,提供了负载均衡、动态上游、灰度发布、服务熔断、身份认证、可观测性等丰富的流量管理功能。作为 API 网关,Apache APISIX 不仅拥有丰富的插件,而且支持插件的热加载。

Elasticsearch 是一个基于 Lucene 库的搜索引擎。它提供了分布式、RESTful 风格的搜索和数据分析引擎,具有可扩展性、可分布式部署和可进行相关度搜索等特点,能够解决不断涌现出的各种用例。同时还可以集中存储用户数据,帮助用户发现意料之中以及意料之外的情况。

插件介绍

APISIXHTTP 请求的方式向 Elasticsearch 发送 APISIXRuntime 日志。插件 elasticsearch-logger 采用 bulk 的格式进行日志上报,这允许 APISIX 可以将多条日志合并后再进行上报,这使得 APISIX 在对 Elasticsearch 进行日志上报方面更加灵活并且具有较好的性能。你可以参考文档 APISIX 批处理器 对日志合进行更加细致的配置。

配置步骤

首先,你需要安装完成 APISIX,本文所有步骤基于 Centos 7.5 系统进行。详细的安装步骤参考 APISIX 安装指南

步骤1:启动 Elasticsearch

本示例只演示了通过 docker-compose 启动 Elasticsearch 单节点的方式,其它启动方式可参考 Elasticsearch 官方文档

# 使用 docker-compose 启动 1 个 Elasticsearch 节点, 1 个 kibana
version: '3.8'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.17.1
    container_name: elasticsearch
    environment:
      ES_JAVA_OPTS: -Xms512m -Xmx512m
      discovery.type: single-node
      xpack.security.enabled: 'false'
    networks:
      - es-net
    ports:
      - "9200:9200"
      - "9300:9300"

  kibana:
    image: docker.elastic.co/kibana/kibana:7.17.1
    container_name: kibana
    environment:
      ELASTICSEARCH_HOSTS: http://elasticsearch:9200
      I18N_LOCALE: zh-CN
    networks:
      - es-net
    depends_on:
      - elasticsearch
    ports:
      - "5601:5601"

networks:
  es-net:
    driver: bridge

步骤2:创建路由并配置插件

APISIX 默认配置文件中已启用 elasticsearch-logger 插件,所以你只需要通过下方命令创建路由并配置 elasticsearch-logger 插件就可以在 APISIX 中正常使用了。

curl http://127.0.0.1:9180/apisix/admin/routes/1 \
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
    "plugins":{
        "elasticsearch-logger":{
            "endpoint_addr":"http://127.0.0.1:9200",
            "field":{
                "index":"services",
                "type":"collector"
            },
            "ssl_verify":false,
            "retry_delay":1,
            "buffer_duration":60,
            "max_retry_count":0,
            "batch_max_size":1000,
            "inactive_timeout":5,
            "name":"elasticsearch-logger"
        }
    },
    "upstream":{
        "type":"roundrobin",
        "nodes":{
            "127.0.0.1:1980":1
        }
    },
    "uri":"/elasticsearch.do"
}'

上述代码中配置了 Elasticsearch 地址、目标 field,用户名与密码。

通过上述设置,就可以实现将 /elasticsearch.do 路径的 API 请求日志发送至 Elasticsearch 的功能。

步骤3:发送请求

接下来我们通过 API 发送一些请求。

curl -i http://127.0.0.1:9080/elasticsearch.do\?q\=hello
HTTP/1.1 200 OK
...
hello, world

此时你可以登录 Kibana 控制台检索查看相关日志:

index

自定义日志结构

当然,在使用过程中我们也可以通过 elasticsearch-logger 插件提供的元数据配置,来设置发送至 Elasticsearch 的日志数据结构。通过设置 log_format 数据,可以控制发送的数据类型。

比如以下数据中的 $host$time_iso8601 等,都是来自于 NGINX 提供的内置变量;也支持如 $route_id$service_idApache APISIX 提供的变量配置。

curl http://127.0.0.1:9180/apisix/admin/plugin_metadata/elasticsearch-logger \
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
    "log_format": {
        "host": "$host",
        "@timestamp": "$time_iso8601",
        "client_ip": "$remote_addr"
    }
}'

通过发送请求进行简单测试,可以看到上述日志结构设置已生效。目前 Apache APISIX 提供多种日志格式模板,在配置上具有极大的灵活性,更多日志格式细节可参考 Apache APISIX 官方文档

此时你可以登录 Kibana 控制台检索查看相关自定义日志:

如需关闭自定义日志结构,可参考下方操作。

curl http://127.0.0.1:9180/apisix/admin/plugin_metadata/elasticsearch-logger \
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X DELETE

此时,插件 elasticsearch-logger 将使用默认格式上报日志。

关闭插件

如使用完毕,只需移除路由配置中 elasticsearch-logger 插件相关的配置并保存,即可关闭路由上的插件。得益于 Apache APISIX 的动态化优势,开启和关闭插件的过程都不需要重启 Apache APISIX

curl http://127.0.0.1:9080/apisix/admin/routes/1 \
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
    "methods": ["GET"],
    "uri": "/hello",
    "plugins": {},
    "upstream": {
        "type": "roundrobin",
        "nodes": {
            "127.0.0.1:1980": 1
        }
    }
}'

总结

本文为大家介绍了关于 elasticsearch-logger 插件的功能与使用步骤,更多关于 elasticsearch-logger 插件说明和完整配置列表,可以参考官方文档。

也欢迎随时在 GitHub Discussions 中发起讨论,或通过邮件列表进行交流。

继续阅读 »

本文将为你介绍 Apache APISIX 的 elasticsearch-logger 插件的相关信息,以及如何通过此插件获取 APISIX 的实时日志。

背景信息

Apache APISIX 是一个动态、实时、高性能的 API 网关,提供了负载均衡、动态上游、灰度发布、服务熔断、身份认证、可观测性等丰富的流量管理功能。作为 API 网关,Apache APISIX 不仅拥有丰富的插件,而且支持插件的热加载。

Elasticsearch 是一个基于 Lucene 库的搜索引擎。它提供了分布式、RESTful 风格的搜索和数据分析引擎,具有可扩展性、可分布式部署和可进行相关度搜索等特点,能够解决不断涌现出的各种用例。同时还可以集中存储用户数据,帮助用户发现意料之中以及意料之外的情况。

插件介绍

APISIXHTTP 请求的方式向 Elasticsearch 发送 APISIXRuntime 日志。插件 elasticsearch-logger 采用 bulk 的格式进行日志上报,这允许 APISIX 可以将多条日志合并后再进行上报,这使得 APISIX 在对 Elasticsearch 进行日志上报方面更加灵活并且具有较好的性能。你可以参考文档 APISIX 批处理器 对日志合进行更加细致的配置。

配置步骤

首先,你需要安装完成 APISIX,本文所有步骤基于 Centos 7.5 系统进行。详细的安装步骤参考 APISIX 安装指南

步骤1:启动 Elasticsearch

本示例只演示了通过 docker-compose 启动 Elasticsearch 单节点的方式,其它启动方式可参考 Elasticsearch 官方文档

# 使用 docker-compose 启动 1 个 Elasticsearch 节点, 1 个 kibana
version: '3.8'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.17.1
    container_name: elasticsearch
    environment:
      ES_JAVA_OPTS: -Xms512m -Xmx512m
      discovery.type: single-node
      xpack.security.enabled: 'false'
    networks:
      - es-net
    ports:
      - "9200:9200"
      - "9300:9300"

  kibana:
    image: docker.elastic.co/kibana/kibana:7.17.1
    container_name: kibana
    environment:
      ELASTICSEARCH_HOSTS: http://elasticsearch:9200
      I18N_LOCALE: zh-CN
    networks:
      - es-net
    depends_on:
      - elasticsearch
    ports:
      - "5601:5601"

networks:
  es-net:
    driver: bridge

步骤2:创建路由并配置插件

APISIX 默认配置文件中已启用 elasticsearch-logger 插件,所以你只需要通过下方命令创建路由并配置 elasticsearch-logger 插件就可以在 APISIX 中正常使用了。

curl http://127.0.0.1:9180/apisix/admin/routes/1 \
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
    "plugins":{
        "elasticsearch-logger":{
            "endpoint_addr":"http://127.0.0.1:9200",
            "field":{
                "index":"services",
                "type":"collector"
            },
            "ssl_verify":false,
            "retry_delay":1,
            "buffer_duration":60,
            "max_retry_count":0,
            "batch_max_size":1000,
            "inactive_timeout":5,
            "name":"elasticsearch-logger"
        }
    },
    "upstream":{
        "type":"roundrobin",
        "nodes":{
            "127.0.0.1:1980":1
        }
    },
    "uri":"/elasticsearch.do"
}'

上述代码中配置了 Elasticsearch 地址、目标 field,用户名与密码。

通过上述设置,就可以实现将 /elasticsearch.do 路径的 API 请求日志发送至 Elasticsearch 的功能。

步骤3:发送请求

接下来我们通过 API 发送一些请求。

curl -i http://127.0.0.1:9080/elasticsearch.do\?q\=hello
HTTP/1.1 200 OK
...
hello, world

此时你可以登录 Kibana 控制台检索查看相关日志:

index

自定义日志结构

当然,在使用过程中我们也可以通过 elasticsearch-logger 插件提供的元数据配置,来设置发送至 Elasticsearch 的日志数据结构。通过设置 log_format 数据,可以控制发送的数据类型。

比如以下数据中的 $host$time_iso8601 等,都是来自于 NGINX 提供的内置变量;也支持如 $route_id$service_idApache APISIX 提供的变量配置。

curl http://127.0.0.1:9180/apisix/admin/plugin_metadata/elasticsearch-logger \
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
    "log_format": {
        "host": "$host",
        "@timestamp": "$time_iso8601",
        "client_ip": "$remote_addr"
    }
}'

通过发送请求进行简单测试,可以看到上述日志结构设置已生效。目前 Apache APISIX 提供多种日志格式模板,在配置上具有极大的灵活性,更多日志格式细节可参考 Apache APISIX 官方文档

此时你可以登录 Kibana 控制台检索查看相关自定义日志:

如需关闭自定义日志结构,可参考下方操作。

curl http://127.0.0.1:9180/apisix/admin/plugin_metadata/elasticsearch-logger \
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X DELETE

此时,插件 elasticsearch-logger 将使用默认格式上报日志。

关闭插件

如使用完毕,只需移除路由配置中 elasticsearch-logger 插件相关的配置并保存,即可关闭路由上的插件。得益于 Apache APISIX 的动态化优势,开启和关闭插件的过程都不需要重启 Apache APISIX

curl http://127.0.0.1:9080/apisix/admin/routes/1 \
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
    "methods": ["GET"],
    "uri": "/hello",
    "plugins": {},
    "upstream": {
        "type": "roundrobin",
        "nodes": {
            "127.0.0.1:1980": 1
        }
    }
}'

总结

本文为大家介绍了关于 elasticsearch-logger 插件的功能与使用步骤,更多关于 elasticsearch-logger 插件说明和完整配置列表,可以参考官方文档。

也欢迎随时在 GitHub Discussions 中发起讨论,或通过邮件列表进行交流。

收起阅读 »

Elastic日报 第1504期 (2022-09-22)

1.Elasticsearch SearchScroll 原理和优化(一)
https://mp.weixin.qq.com/s/4UkqvTh41CdQ5U7_BkqoLg
2.Elasticsearch SearchScroll 原理和优化(二)
https://mp.weixin.qq.com/s/QqCT9Ti-TrE6qZvC0gim0A
3.SpringBoot 操作 ES 进行各种高级查询
https://mp.weixin.qq.com/s/g7WZCaNMsST3_Sv2PsPWRQ

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
继续阅读 »
1.Elasticsearch SearchScroll 原理和优化(一)
https://mp.weixin.qq.com/s/4UkqvTh41CdQ5U7_BkqoLg
2.Elasticsearch SearchScroll 原理和优化(二)
https://mp.weixin.qq.com/s/QqCT9Ti-TrE6qZvC0gim0A
3.SpringBoot 操作 ES 进行各种高级查询
https://mp.weixin.qq.com/s/g7WZCaNMsST3_Sv2PsPWRQ

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili 收起阅读 »

Elastic日报 第1503期 (2022-09-21)

1. Elasticsearch SQL:怎么用sql去查 ES(需要梯子)
https://medium.com/%40stavsofe ... c4cd0
2. 关于nested文档查询的优化讨论
https://discuss.elastic.co/t/p ... 81792
3.怎么去毁掉 ES 的性能-1(需要梯子)
https://blog.allegro.tech/2021 ... .html

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. Elasticsearch SQL:怎么用sql去查 ES(需要梯子)
https://medium.com/%40stavsofe ... c4cd0
2. 关于nested文档查询的优化讨论
https://discuss.elastic.co/t/p ... 81792
3.怎么去毁掉 ES 的性能-1(需要梯子)
https://blog.allegro.tech/2021 ... .html

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

Elastic日报 第1503期 (2022-09-20)


1. 来个Beats的workshop吗少年(I)(需要梯子)
https://towardsdatascience.com ... 69793
2. 来个Beats的workshop吗少年(II)(需要梯子)
https://towardsdatascience.com ... b4b00
3. 想在10亿级别的数据集上做搜索?这不来一手ES吗(需要梯子)
https://medium.com/elucidata/h ... 33fda

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
 
继续阅读 »

1. 来个Beats的workshop吗少年(I)(需要梯子)
https://towardsdatascience.com ... 69793
2. 来个Beats的workshop吗少年(II)(需要梯子)
https://towardsdatascience.com ... b4b00
3. 想在10亿级别的数据集上做搜索?这不来一手ES吗(需要梯子)
https://medium.com/elucidata/h ... 33fda

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
  收起阅读 »

Observability:使用 Elastic Agent 来进行 Uptime 监控

在 Elastic Stack 7.x 中,Elastic 引入 Heartbeat 来对网站或微服务来进行监控。通过 Heartbeat 的应用,我们可以知道网站及微服务的运行情况,我们甚至可以针对服务器的证书的有效期进行监控。随着 Elastic Agent 的推出,Elastic 更建议我们使用 Elastic Agent 的方法来对网站及微服务来进行监控。为了大家能对 Heartbeat 及 Elastic Agent 有更多的认识和了解,请参阅我之前的文章:

Beats:使用 Heartbeat 进行 Uptime 监控

Observability:使用 Elastic Agent 来摄入日志及指标 - Elastic Stack 8.0

Observability:如何使用 Elastic Agents 把微服务的数据摄入到 Elasticsearch 中

1.png

 
更多阅读,请参阅 https://elasticstack.blog.csdn ... 29912
继续阅读 »
在 Elastic Stack 7.x 中,Elastic 引入 Heartbeat 来对网站或微服务来进行监控。通过 Heartbeat 的应用,我们可以知道网站及微服务的运行情况,我们甚至可以针对服务器的证书的有效期进行监控。随着 Elastic Agent 的推出,Elastic 更建议我们使用 Elastic Agent 的方法来对网站及微服务来进行监控。为了大家能对 Heartbeat 及 Elastic Agent 有更多的认识和了解,请参阅我之前的文章:

Beats:使用 Heartbeat 进行 Uptime 监控

Observability:使用 Elastic Agent 来摄入日志及指标 - Elastic Stack 8.0

Observability:如何使用 Elastic Agents 把微服务的数据摄入到 Elasticsearch 中

1.png

 
更多阅读,请参阅 https://elasticstack.blog.csdn ... 29912 收起阅读 »

Elastic日报 第1502期 (2022-09-19)

1. 浅谈有赞搜索 Query 理解 (QP) 架构设计
   https://www.6aiq.com/article/1662360437664

2. 美团搜索粗排优化的探索与实践
   https://www.6aiq.com/article/1660225427073

3. Elasticsearch 段合并优化
   https://blog.csdn.net/yangbind ... 11922

编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. 浅谈有赞搜索 Query 理解 (QP) 架构设计
   https://www.6aiq.com/article/1662360437664

2. 美团搜索粗排优化的探索与实践
   https://www.6aiq.com/article/1660225427073

3. Elasticsearch 段合并优化
   https://blog.csdn.net/yangbind ... 11922

编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

Elastic日报 第1501期 (2022-09-16)

1、基于向量检索的Elasticsearch 插件——elastiknn 8.0版本发布
https://github.com/alexklibisz/elastiknn

2、使用 React 构建Elasticsearch 搜索引擎实现
https://dev.to/lisahjung/part- ... -2a1b

3、docker 部署 Elasticsearhc 集群的极简方式
https://levelup.gitconnected.c ... a80dd
 
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
继续阅读 »
1、基于向量检索的Elasticsearch 插件——elastiknn 8.0版本发布
https://github.com/alexklibisz/elastiknn

2、使用 React 构建Elasticsearch 搜索引擎实现
https://dev.to/lisahjung/part- ... -2a1b

3、docker 部署 Elasticsearhc 集群的极简方式
https://levelup.gitconnected.c ... a80dd
 
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili 收起阅读 »

Elastic日报 第1500期 (2022-09-15)

1.基于Elasticsearch的指标可观测实践
https://mp.weixin.qq.com/s/fbcMOQm4eseBpTx8M3hHfw
2.Elasticsearch 7.x 大集群选主优化(需要梯子)
https://www.youtube.com/watch?v=gVxf6pLECSQ
3.Elastic Cloud 在 AWS,GCP,Azure 上的基准测试(需要梯子)
https://medium.com/squareshift ... b0cc7

编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
继续阅读 »
1.基于Elasticsearch的指标可观测实践
https://mp.weixin.qq.com/s/fbcMOQm4eseBpTx8M3hHfw
2.Elasticsearch 7.x 大集群选主优化(需要梯子)
https://www.youtube.com/watch?v=gVxf6pLECSQ
3.Elastic Cloud 在 AWS,GCP,Azure 上的基准测试(需要梯子)
https://medium.com/squareshift ... b0cc7

编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili 收起阅读 »

Elastic日报 第1499期 (2022-09-14)

1. Elasticsearch 升级的故事(需要梯子)
https://medium.com/%40idankoch ... 34b0d

2. 使用 Kibana 和 Rsyslog 监控 Linux 日志(需要梯子)
https://medium.com/schkn/monit ... 87807

3.Elasticsearch:如何在不更新证书的情况下为集群之间建立互信
https://elasticstack.blog.csdn ... 26063




编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. Elasticsearch 升级的故事(需要梯子)
https://medium.com/%40idankoch ... 34b0d

2. 使用 Kibana 和 Rsyslog 监控 Linux 日志(需要梯子)
https://medium.com/schkn/monit ... 87807

3.Elasticsearch:如何在不更新证书的情况下为集群之间建立互信
https://elasticstack.blog.csdn ... 26063




编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

Elastic日报 第1498期 (2022-09-13)

1. 用kafka、ES和slack打造你的实时通知系统(需要梯子)
https://medium.com/%40mickey.l ... b3bde
2. 通过K8S管理ES资源?好顶啊(需要梯子)
https://betterprogramming.pub/ ... 08f4e
 
3. 想学ELK?拿docker搭一套先(需要梯子)
https://florientdogbe.medium.c ... c112b

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
 
继续阅读 »
1. 用kafka、ES和slack打造你的实时通知系统(需要梯子)
https://medium.com/%40mickey.l ... b3bde
2. 通过K8S管理ES资源?好顶啊(需要梯子)
https://betterprogramming.pub/ ... 08f4e
 
3. 想学ELK?拿docker搭一套先(需要梯子)
https://florientdogbe.medium.c ... c112b

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
  收起阅读 »

Elasticsearch:如何在不更新证书的情况下为集群之间建立互信

我们知道,建立集群之间的互信非常重要。这个是为我们进行 CCR 及 CCS 操作的基础。只有建立好了集群之间的互信,我们才可以创建集群之间的 remote connection。特别是针对含有 SSL 连接的集群,他们含有各自的证书,那么我们该如何建立集群之间的互信呢?在我之前的文章 “Elasticsearch:如何为 CCR 及 CCS 建立带有安全的集群之间的互信” 中,我详述了如何通过更新证书来建立集群之间的互信。更新证书在很多的情况下,可能并不是最好的途径。在今天的文章中,我将详述如何在不更新证书的情况下,为集群之间建立互信。

在今天的展示中,我将使用如下的架构:

trust.png



如上所示,我们创建两个不同的集群。它们分别运行于两个不同的机器上。它们使用不同的 IP 地址。我将使用最新的 Elastic Stack 8.4.1 来进行展示。


如何在不更新证书的情况下为集群之间建立互信

针对非 keystore 及 truststore 的安装
如果你的 Elasticsearch 的部署不是按照 keystore 及 truststore 来进行安装的,而是参照我之前的文章 “Security:如何安装 Elastic SIEM 和 EDR” 来进行安装的话,那么你可以直接把另外一个集群的证书添加到相应的 config/elasticsearch.yml 的配置中去即可:

config/elasticsearch.yml

xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.key: /etc/elasticsearch/certs/elasticsearch.key
xpack.security.transport.ssl.certificate: /etc/elasticsearch/certs/elasticsearch.crt
xpack.security.transport.ssl.certificate_authorities: [ "/etc/elasticsearch/certs/ca/ca.crt", "certificate_from_another_cluster.crt ]
在这种情况下的配置就非常简单明了。我们就不赘述了。
 
更多阅读,请参阅 https://elasticstack.blog.csdn ... 26063
 
继续阅读 »
我们知道,建立集群之间的互信非常重要。这个是为我们进行 CCR 及 CCS 操作的基础。只有建立好了集群之间的互信,我们才可以创建集群之间的 remote connection。特别是针对含有 SSL 连接的集群,他们含有各自的证书,那么我们该如何建立集群之间的互信呢?在我之前的文章 “Elasticsearch:如何为 CCR 及 CCS 建立带有安全的集群之间的互信” 中,我详述了如何通过更新证书来建立集群之间的互信。更新证书在很多的情况下,可能并不是最好的途径。在今天的文章中,我将详述如何在不更新证书的情况下,为集群之间建立互信。

在今天的展示中,我将使用如下的架构:

trust.png



如上所示,我们创建两个不同的集群。它们分别运行于两个不同的机器上。它们使用不同的 IP 地址。我将使用最新的 Elastic Stack 8.4.1 来进行展示。


如何在不更新证书的情况下为集群之间建立互信

针对非 keystore 及 truststore 的安装
如果你的 Elasticsearch 的部署不是按照 keystore 及 truststore 来进行安装的,而是参照我之前的文章 “Security:如何安装 Elastic SIEM 和 EDR” 来进行安装的话,那么你可以直接把另外一个集群的证书添加到相应的 config/elasticsearch.yml 的配置中去即可:

config/elasticsearch.yml

xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.key: /etc/elasticsearch/certs/elasticsearch.key
xpack.security.transport.ssl.certificate: /etc/elasticsearch/certs/elasticsearch.crt
xpack.security.transport.ssl.certificate_authorities: [ "/etc/elasticsearch/certs/ca/ca.crt", "certificate_from_another_cluster.crt ]
在这种情况下的配置就非常简单明了。我们就不赘述了。
 
更多阅读,请参阅 https://elasticstack.blog.csdn ... 26063
  收起阅读 »

Elastic日报 第1497期 (2022-09-08)

1. Elastic 安全实战工作坊(中等)
https://elastic.martinliu.cn/c ... /%236
2.使用 ECK 在 Kubernetes 集群中管理 Elastic Stack
https://mp.weixin.qq.com/s/pByZr88Lf5JosOnbGf3WDg
3.使用 AWS ElasticSearch Service 监控 EKS 集群日志(需要梯子)
https://faun.pub/configure-aws ... 9e515

编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
继续阅读 »
1. Elastic 安全实战工作坊(中等)
https://elastic.martinliu.cn/c ... /%236
2.使用 ECK 在 Kubernetes 集群中管理 Elastic Stack
https://mp.weixin.qq.com/s/pByZr88Lf5JosOnbGf3WDg
3.使用 AWS ElasticSearch Service 监控 EKS 集群日志(需要梯子)
https://faun.pub/configure-aws ... 9e515

编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili 收起阅读 »

2022国际开源节延期通知 | 待疫去花开,我们相约鹏城,不见不散!


致尊敬的各参展商、合作单位、媒体及观众朋友:
鉴于近期深圳市新冠疫情防控形势严峻,为贯彻政府对疫情防控工作的相关要求,保障广大参展商、参观者的身体健康和展出、参观效果,经充分听取各方意见,深圳国际电子展和2022国际开源节组委会审慎决定原定于2022年9月15-17日在深圳会展中心举办的“2022国际开源节”将延期举办,复展具体时间,我们将根据疫情防控情况尽快通知。
衷心感谢社会各界一直以来对“2022国际开源节”的关注、支持与理解,我们深知展会延期给您带来不便,在此我们深表歉意。我们相信,所有与会人员都希望在一个安全、健康、有序、温馨的环境下共同参与盛会。作为“2022国际开源节”的主办方,我们将密切关注疫情的发展形势,动态调整大会预案,及时与各位参展商、观众、业界伙伴们沟通,竭诚做好后续服务,持续进行线上宣传推广,全力以赴保证大会的高品质举办,为行业发展增势储能。
众志成城,共克时艰!期待您继续关注2022国际开源节!
 
2022国际开源节组委会
2022年9月5日
 
继续阅读 »

致尊敬的各参展商、合作单位、媒体及观众朋友:
鉴于近期深圳市新冠疫情防控形势严峻,为贯彻政府对疫情防控工作的相关要求,保障广大参展商、参观者的身体健康和展出、参观效果,经充分听取各方意见,深圳国际电子展和2022国际开源节组委会审慎决定原定于2022年9月15-17日在深圳会展中心举办的“2022国际开源节”将延期举办,复展具体时间,我们将根据疫情防控情况尽快通知。
衷心感谢社会各界一直以来对“2022国际开源节”的关注、支持与理解,我们深知展会延期给您带来不便,在此我们深表歉意。我们相信,所有与会人员都希望在一个安全、健康、有序、温馨的环境下共同参与盛会。作为“2022国际开源节”的主办方,我们将密切关注疫情的发展形势,动态调整大会预案,及时与各位参展商、观众、业界伙伴们沟通,竭诚做好后续服务,持续进行线上宣传推广,全力以赴保证大会的高品质举办,为行业发展增势储能。
众志成城,共克时艰!期待您继续关注2022国际开源节!
 
2022国际开源节组委会
2022年9月5日
  收起阅读 »

Elastic日报 第1496期 (2022-09-07)

1. Elasticsearch的Query Cache 知识梳理
https://www.jianshu.com/p/b479282917b2
2. Elasticsearch:从零开始创建一个 REST handler 插件
https://blog.csdn.net/UbuntuTo ... 17927
3.Elasticsearch:无需基本身份验证即可创建用于访问的不记名令牌
https://blog.csdn.net/UbuntuTo ... 03563

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. Elasticsearch的Query Cache 知识梳理
https://www.jianshu.com/p/b479282917b2
2. Elasticsearch:从零开始创建一个 REST handler 插件
https://blog.csdn.net/UbuntuTo ... 17927
3.Elasticsearch:无需基本身份验证即可创建用于访问的不记名令牌
https://blog.csdn.net/UbuntuTo ... 03563

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »