即使是不成熟的尝试,也胜于胎死腹中的策略。

社区日报 第1699期 (2023-09-11)

1. BKD 索引实现原理
   https://mp.weixin.qq.com/s/mFD-W2_D4PDscsoO3SDbIQ
2. 腾讯云 ES Serverless 初体验
   https://mp.weixin.qq.com/s/1P6jW3sAisPCtSPwnJH5Cw
3. 源码剖析:Elasticsearch 段合并调度及优化手段
   https://mp.weixin.qq.com/s/N-rtgaoyQAPJ0e44ljDS7Q
编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. BKD 索引实现原理
   https://mp.weixin.qq.com/s/mFD-W2_D4PDscsoO3SDbIQ
2. 腾讯云 ES Serverless 初体验
   https://mp.weixin.qq.com/s/1P6jW3sAisPCtSPwnJH5Cw
3. 源码剖析:Elasticsearch 段合并调度及优化手段
   https://mp.weixin.qq.com/s/N-rtgaoyQAPJ0e44ljDS7Q
编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1698期 (2023-09-07)

1.使用 Kafka Connect 同步 MySQL 的数据到 Elasticsearch(需要梯子)
https://medium.com/%40ivangfr/ ... 0aa27
2.Elasticsearch:使用 ESRE 和生成式 AI 了解 TLS 日志错误
https://elasticstack.blog.csdn ... 97222
3.近期碰到的Elasticsearch相关问题总结
https://mp.weixin.qq.com/s/MBUs4CJQ5TnvarCDORCZTQ

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
继续阅读 »
1.使用 Kafka Connect 同步 MySQL 的数据到 Elasticsearch(需要梯子)
https://medium.com/%40ivangfr/ ... 0aa27
2.Elasticsearch:使用 ESRE 和生成式 AI 了解 TLS 日志错误
https://elasticstack.blog.csdn ... 97222
3.近期碰到的Elasticsearch相关问题总结
https://mp.weixin.qq.com/s/MBUs4CJQ5TnvarCDORCZTQ

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili 收起阅读 »

社区日报 第1697期 (2023-09-05)



1. 大佬,我该怎么规划我的集群配置?(需要梯子)
https://medium.com/%40sureshku ... 591d4
2. 在Windows系统上装ES全家你会吗?我也不会(需要梯子)
https://blog.devops.dev/instal ... 247b6
3. ES加持,让我们的数据分析系统变得贼厉害(需要梯子)
https://medium.com/oyindonesia ... 19e60

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
 
继续阅读 »


1. 大佬,我该怎么规划我的集群配置?(需要梯子)
https://medium.com/%40sureshku ... 591d4
2. 在Windows系统上装ES全家你会吗?我也不会(需要梯子)
https://blog.devops.dev/instal ... 247b6
3. ES加持,让我们的数据分析系统变得贼厉害(需要梯子)
https://medium.com/oyindonesia ... 19e60

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
  收起阅读 »

INFINI Labs 产品更新 | Console 告警中心 UI 全新改版,新增 Dashboard 全屏模式等功能

release

本次 INFINI Labs 产品更新主要发布 Console v1.7.0,重点优化了 Console 告警中心和数据看板 Dashboard 可视化功能。详细介绍如下:

优化告警中心 UI

上个版本优化了告警渠道和通知,本版本主要对告警中心做了重点优化,重新设计了新的 UI 界面。进入告警中心,可以快速了解整个系统各集群告警状态,主要包括:

1、告警事件分类统计,支持点击过滤查询对应时间段的具体告警事件,便于管理员重点关注和处理高级别的告警事件;

2、告警事件数热力图,不同的色块表示当天告警数的密集程度,可以帮助我们快速发现告警数据的趋势规律以及不同时期的数据变化情况,进一步可帮助我们分析出集群的总体健康状态变化趋势。

3、告警事件列表,通过列表可以了解单个告警事件的信息,如事件级别、事件标题、告警持续时长、事件状态、触发时间等内容,如果你不想处理某个具体告警事件,可以进行忽略操作,避免再次收到告警通知。

告警中心 UI 界面如下所示:

通过告警中心进入告警事件详情,可以查看更多告警信息,包括:告警规则、告警内容(支持 Markdown)、告警规则执行记录、告警通知发送情况、事件触发统计图等,界面如下所示:

数据看板新增全屏功能

为了方便将数据看板 Dashboard 投影展示到电视墙或者 LED 大屏幕,我们新增了全屏功能,包含全屏展示当前 Dashboard,如果配置了多个 Dashboard,也支持全屏时自动滚动 Dashboard,无手动切换。效果如下所示:

全屏模式显示效果如下:

其他更新

除了以上主要功能优化,Console 本次更新其他功能清单如下:

Features

  • 告警规则新增分类和标签属性
  • 告警 UI 操作增加批量操作
  • 数据看板新增全屏功能
  • 数据看板新增日历热力图
  • 数据看板组件多分组支持分层显示

Bug fix

  • 修复数据迁移任务在大量子任务场景下,统计进度不对的问题
  • 修复某些场景下集群重复注册的问题

Improvements

  • 告警中心页面 UI 优化
  • 告警详情页面 UI 优化
  • 数据看板组件配置 UI 优化
  • 数据看板组件数据源配置优化
  • 网关管理-队列管理支持批量删除队列和消费者

关于 INFINI Console

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验: http://demo.infini.cloud (用户名/密码:readonly/readonly)。

也欢迎下载本地安装体验!(附:Easysearch 与 Console 快速安装演示视频

期待反馈

欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的对应项目中提交 Feature Request 或提交 Bug。

您还可以通过邮件联系我们:hello@infini.ltd

或者拨打我们的热线电话:(+86) 400-139-9200

欢迎加入 Discord 聊天室:https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.com

继续阅读 »

release

本次 INFINI Labs 产品更新主要发布 Console v1.7.0,重点优化了 Console 告警中心和数据看板 Dashboard 可视化功能。详细介绍如下:

优化告警中心 UI

上个版本优化了告警渠道和通知,本版本主要对告警中心做了重点优化,重新设计了新的 UI 界面。进入告警中心,可以快速了解整个系统各集群告警状态,主要包括:

1、告警事件分类统计,支持点击过滤查询对应时间段的具体告警事件,便于管理员重点关注和处理高级别的告警事件;

2、告警事件数热力图,不同的色块表示当天告警数的密集程度,可以帮助我们快速发现告警数据的趋势规律以及不同时期的数据变化情况,进一步可帮助我们分析出集群的总体健康状态变化趋势。

3、告警事件列表,通过列表可以了解单个告警事件的信息,如事件级别、事件标题、告警持续时长、事件状态、触发时间等内容,如果你不想处理某个具体告警事件,可以进行忽略操作,避免再次收到告警通知。

告警中心 UI 界面如下所示:

通过告警中心进入告警事件详情,可以查看更多告警信息,包括:告警规则、告警内容(支持 Markdown)、告警规则执行记录、告警通知发送情况、事件触发统计图等,界面如下所示:

数据看板新增全屏功能

为了方便将数据看板 Dashboard 投影展示到电视墙或者 LED 大屏幕,我们新增了全屏功能,包含全屏展示当前 Dashboard,如果配置了多个 Dashboard,也支持全屏时自动滚动 Dashboard,无手动切换。效果如下所示:

全屏模式显示效果如下:

其他更新

除了以上主要功能优化,Console 本次更新其他功能清单如下:

Features

  • 告警规则新增分类和标签属性
  • 告警 UI 操作增加批量操作
  • 数据看板新增全屏功能
  • 数据看板新增日历热力图
  • 数据看板组件多分组支持分层显示

Bug fix

  • 修复数据迁移任务在大量子任务场景下,统计进度不对的问题
  • 修复某些场景下集群重复注册的问题

Improvements

  • 告警中心页面 UI 优化
  • 告警详情页面 UI 优化
  • 数据看板组件配置 UI 优化
  • 数据看板组件数据源配置优化
  • 网关管理-队列管理支持批量删除队列和消费者

关于 INFINI Console

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验: http://demo.infini.cloud (用户名/密码:readonly/readonly)。

也欢迎下载本地安装体验!(附:Easysearch 与 Console 快速安装演示视频

期待反馈

欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的对应项目中提交 Feature Request 或提交 Bug。

您还可以通过邮件联系我们:hello@infini.ltd

或者拨打我们的热线电话:(+86) 400-139-9200

欢迎加入 Discord 聊天室:https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.com

收起阅读 »

社区日报 第1696期 (2023-09-04)

1. Elasticsearch:利用矢量搜索进行音乐信息检索
   https://elasticstack.blog.csdn ... 76443
2. Elasticsearch match_phrase搜不出来,怎么办
   https://blog.csdn.net/laoyang3 ... 49823
3. 十九种Elasticsearch字符串搜索方式终极介绍
   https://zhuanlan.zhihu.com/p/1 ... ssion
编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. Elasticsearch:利用矢量搜索进行音乐信息检索
   https://elasticstack.blog.csdn ... 76443
2. Elasticsearch match_phrase搜不出来,怎么办
   https://blog.csdn.net/laoyang3 ... 49823
3. 十九种Elasticsearch字符串搜索方式终极介绍
   https://zhuanlan.zhihu.com/p/1 ... ssion
编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1695期 (2023-08-31)

1.在 AWS 上实现 OpenSearch 集群的弹性扩展(需要梯子)
https://medium.com/people-ai-e ... 9d6df
2.使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索
https://dylancastillo.co/seman ... hain/
3.使用 Opster Management Console 在 Kubernetes 集群中管理 OpenSearch
https://opster.com/docs/omc/ov ... sole/

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
继续阅读 »
1.在 AWS 上实现 OpenSearch 集群的弹性扩展(需要梯子)
https://medium.com/people-ai-e ... 9d6df
2.使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索
https://dylancastillo.co/seman ... hain/
3.使用 Opster Management Console 在 Kubernetes 集群中管理 OpenSearch
https://opster.com/docs/omc/ov ... sole/

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili 收起阅读 »

社区日报 第1694期 (2023-08-29)


1. 在EKBS上怎么部署ES,你学废了吗?(需要梯子)
https://medium.com/appscode/de ... 1652f
2. EXFO大量数据写入优化实战,90%速度的提升,我们最对了什么(需要梯子)
https://medium.com/%40yannvds/ ... ee574
3. ES8在.Net平台上的api使用教程(需要梯子)
https://medium.com/%40abdulwar ... 7df21
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
 
继续阅读 »

1. 在EKBS上怎么部署ES,你学废了吗?(需要梯子)
https://medium.com/appscode/de ... 1652f
2. EXFO大量数据写入优化实战,90%速度的提升,我们最对了什么(需要梯子)
https://medium.com/%40yannvds/ ... ee574
3. ES8在.Net平台上的api使用教程(需要梯子)
https://medium.com/%40abdulwar ... 7df21
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
  收起阅读 »

社区日报 第1693期 (2023-08-28)

1. Elasticsearch 结合大数据产品最佳实践
   https://blog.csdn.net/weixin_4 ... 14092
2. ElasticSearch 在大数据场景的应用与实践
   http://www.360doc.com/content/ ... shtml
3. Elasticsearch 5.x 字段折叠的使用
   https://blog.csdn.net/qq_41455 ... 06886
编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. Elasticsearch 结合大数据产品最佳实践
   https://blog.csdn.net/weixin_4 ... 14092
2. ElasticSearch 在大数据场景的应用与实践
   http://www.360doc.com/content/ ... shtml
3. Elasticsearch 5.x 字段折叠的使用
   https://blog.csdn.net/qq_41455 ... 06886
编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1692期 (2023-08-25)



1、增强搜索功能:部署、优化和扩展 Elasticsearch 的 DevOps 之旅
https://itgix.com/case-studies ... Dpost

2、[视频]如何使用 Docker Secrets 保护 Elasticsearch 8.9 集群 - 第 1 部分(梯子)
https://www.youtube.com/watch?v=NnmeXCjPpaM

3、文本搜索与矢量搜索:一起使用效果更好?(梯子)
https://towardsdatascience.com ... 6132a


编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
继续阅读 »


1、增强搜索功能:部署、优化和扩展 Elasticsearch 的 DevOps 之旅
https://itgix.com/case-studies ... Dpost

2、[视频]如何使用 Docker Secrets 保护 Elasticsearch 8.9 集群 - 第 1 部分(梯子)
https://www.youtube.com/watch?v=NnmeXCjPpaM

3、文本搜索与矢量搜索:一起使用效果更好?(梯子)
https://towardsdatascience.com ... 6132a


编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili 收起阅读 »

社区日报 第1691期 (2023-08-24)

1.通过 40 个案例来学习 Elasticsearch(需要梯子)
https://medium.com/%40learnrep ... f80db
2.Shopify 是如何在 Kubernetes 上管理 Elasticsearch 的(需要梯子)
https://www.youtube.com/watch% ... D792s
3.介绍 Elasticsearch Rust client(需要梯子)
https://www.youtube.com/watch?v=U_P27x-gYKc

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
继续阅读 »
1.通过 40 个案例来学习 Elasticsearch(需要梯子)
https://medium.com/%40learnrep ... f80db
2.Shopify 是如何在 Kubernetes 上管理 Elasticsearch 的(需要梯子)
https://www.youtube.com/watch% ... D792s
3.介绍 Elasticsearch Rust client(需要梯子)
https://www.youtube.com/watch?v=U_P27x-gYKc

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili 收起阅读 »

社区日报 第1690期 (2023-08-23)

1.如何在 Elasticsearch 中将矢量搜索与过滤结合起来 - Python 8.x
https://blog.csdn.net/UbuntuTo ... 32809
2. ES 查询概念大全(需要梯子)
https://medium.com/%40abhirup. ... 0b097
3.ES 查询语句概念梳理(需要梯子)
https://medium.com/elasticsear ... bf455

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1.如何在 Elasticsearch 中将矢量搜索与过滤结合起来 - Python 8.x
https://blog.csdn.net/UbuntuTo ... 32809
2. ES 查询概念大全(需要梯子)
https://medium.com/%40abhirup. ... 0b097
3.ES 查询语句概念梳理(需要梯子)
https://medium.com/elasticsear ... bf455

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

Easysearch 跨集群复制实战

在之前的文章中,有通过极限网关实现容灾的案例。今天给大家介绍 Easysearch 的跨集群复制功能。该功能可在集群之间复制数据,应用场景包括但不限于以下举例:

  • 灾备同步:将数据同步到灾备中心,灾备中心可对外提供查询服务。
  • 读写分离:单一集群读写压力都较大时,为了避免读写互相干扰造成性能降级,可将读压力分流到另外的集群。
  • 就近查询:在多地中心之间复制数据,应用只需连接本地 ES 集群读取数据,避免网络延时和干扰。

跨集群复制使用 active-passive 模型,由目标集群主动拉取数据变化到本地,因此对源集群影响很小。

先决条件

  • 源集群和目标集群都必须安装 cross-cluster-replication 和 index-management 插件。安装插件参考这里
  • 如果目标集群的 easysearch.yml 文件中覆盖了 node.roles,确保它也包括 remote_cluster_client 角色,默认已启用。

演示环境

  • 源集群( leader 集群 ): 192.168.3.45:9200
  • 目标集群( follower 集群 ): 192.168.3.39:9200
  • 两个集群都已启用 security 功能。

设置集群间证书互信

将两个集群的证书合并到一个文件,将文件放到 config 目录下。

cat ca-A.crt ca-B.crt > trust-chain.pem

更新 easysearch.yml 文件,变化如下。

#security.ssl.transport.ca_file: ca.crt
security.ssl.transport.ca_file: trust-chain.pem

设置跨群集连接

在目标集群建立源集群的连接信息。在 INFINI console 的开发工具中,选中目标集群,执行以下命令。

PUT /_cluster/settings?pretty
{
  "persistent": {
    "cluster": {
      "remote": {
        "primary": {
          "seeds": ["192.168.3.45:9300"]
        }
      }
    }
  }
}

开始复制

首先在源集群创建测试索引 test , 并向索引写入数据。如果有测试索引,此步可省略。

POST /_bulk?pretty
{ "index" : { "_index" : "test", "_id" : "1" } }
{ "field1" : "value1" }
{ "create" : { "_index" : "test", "_id" : "2" } }
{ "field2" : "value2" }

然后在目标集群,创建一个名为 follower-test 的索引来复制源集群中 test 索引的内容。follower-test 可更换成自己想要的名字。

PUT /_replication/follower-test/_start?pretty
{
   "leader_alias": "primary",
   "leader_index": "test",
   "use_roles":{
      "leader_cluster_role": "cross_cluster_replication_leader_full_access",
      "follower_cluster_role": "cross_cluster_replication_follower_full_access"
   }
}
  • leader_alias 指定之前创建的连接名称 primary 。
  • leader_index 指定想要复制的索引名称 test 。
  • use_roles 指定用什么角色访问对应的集群,为了安全使用最小权限,命令中的角色是系统自带的。

命令执行完后,会在目标集群建立名为 follower-test 的索引,其内容来自源集群的 test 索引。 我们可以看到,其内容就是之前插入的两个文档。

确认复制状态

可以看到 follow-test 处于同步的状态会实时同步远端的数据。

GET /_replication/follower-test/_status?pretty

在源集群再插入数据,看是否会同步。

POST /_bulk?pretty
{ "index" : { "_index" : "test", "_id" : "3" } }
{ "field3" : "value3" }
{ "create" : { "_index" : "test", "_id" : "4" } }
{ "field4" : "value4" }

目标集群查询索引,文档 3 和 4 已同步。

暂停和恢复复制

如果需要停机维护或其他原因想暂停复制功能,可使用暂停和恢复索引复制。

暂停

暂停目标集群上的索引复制。源集群索引再有新的变化,不会进行同步。

POST /_replication/follower-test/_pause?pretty
{}

暂停后查看索引复制状态为 PAUSED 。

GET /_replication/follower-test/_status?pretty

恢复

恢复目标集群上的索引复制。

POST /_replication/follower-test/_resume?pretty
{}

停止复制

为了保证数据的一致性,目标集群上的 follower 索引都是只读的。如果要切换到可读写的状态,需要先停止复制。我们先直接写入数据,会报禁止该操作。 停止复制
执行停止复制命令,索引变为可读写状态,一个独立状态,不再会从源端复制内容。想要删除索引之前,也要先停止复制。

POST /_replication/follower-test/_stop?pretty
{}

再次写入数据测试,成功。

自动跟随

前面给大家演示了单个索引的复制操作,对于每天自动创建一个索引的场景(日期后缀),这样的操作不免太麻烦了。跨集群复制的自动跟随功能,可以在目标集群建立一个复制模式,如果源集群新建索引名称匹配该模式,目标集群会自动创建一个索引来复制它。

创建复制模式
先在目标集群建立一个复制模式,模式名叫 nginx-index ,会自动复制源集群上 nginx 开头的索引。

POST /_replication/_autofollow?pretty
{
   "leader_alias" : "primary",
   "name": "nginx-index",
   "pattern": "nginx*",
   "use_roles":{
      "leader_cluster_role": "cross_cluster_replication_leader_full_access",
      "follower_cluster_role": "cross_cluster_replication_follower_full_access"
   }
}

源集群创建 nginx 开头的索引。

POST /nginx-1/_doc/
{
"test":"test"
}

POST /nginx-2/_doc/
{
"test":"test2"
}

目标集群查看复制结果。

停止自动跟随

如果不想复制新创建 nginx 开头的索引,可以使用停止跟随。停止自动跟随仅仅停止任何新的自动跟随活动,不会停止现存自动跟随启动的复制。

DELETE /_replication/_autofollow?pretty
{
   "leader_alias" : "primary",
   "name": "nginx-index"
}

上述命令不会影响目标集群上 nginx-1 和 nginx-2 索引的复制。而且 nginx-1 和 nginx-2 索引是只读的,如果要切换到读写状态,先停止复制。

POST /_replication/nginx-1/_stop?pretty
{}

小结

这次实战主要演示了跨集群复制的操作过程:

  1. 建立证书互信
  2. 目标集群创建跨集群连接
  3. 开始复制:单索引或自动跟随复制
  4. 管理复制:暂停、查看状态、恢复、停止、删除自动跟随

好的,这次跨集群复制实战就到这里了,更多的内容大家可参考官方文档。如遇到问题,可以通过微信群、Discord 联系我们。

关于 Easysearch

about easysearch

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本,并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比,Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

官网文档:https://www.infinilabs.com/docs/latest/easysearch

下载地址:https://www.infinilabs.com/download

继续阅读 »

在之前的文章中,有通过极限网关实现容灾的案例。今天给大家介绍 Easysearch 的跨集群复制功能。该功能可在集群之间复制数据,应用场景包括但不限于以下举例:

  • 灾备同步:将数据同步到灾备中心,灾备中心可对外提供查询服务。
  • 读写分离:单一集群读写压力都较大时,为了避免读写互相干扰造成性能降级,可将读压力分流到另外的集群。
  • 就近查询:在多地中心之间复制数据,应用只需连接本地 ES 集群读取数据,避免网络延时和干扰。

跨集群复制使用 active-passive 模型,由目标集群主动拉取数据变化到本地,因此对源集群影响很小。

先决条件

  • 源集群和目标集群都必须安装 cross-cluster-replication 和 index-management 插件。安装插件参考这里
  • 如果目标集群的 easysearch.yml 文件中覆盖了 node.roles,确保它也包括 remote_cluster_client 角色,默认已启用。

演示环境

  • 源集群( leader 集群 ): 192.168.3.45:9200
  • 目标集群( follower 集群 ): 192.168.3.39:9200
  • 两个集群都已启用 security 功能。

设置集群间证书互信

将两个集群的证书合并到一个文件,将文件放到 config 目录下。

cat ca-A.crt ca-B.crt > trust-chain.pem

更新 easysearch.yml 文件,变化如下。

#security.ssl.transport.ca_file: ca.crt
security.ssl.transport.ca_file: trust-chain.pem

设置跨群集连接

在目标集群建立源集群的连接信息。在 INFINI console 的开发工具中,选中目标集群,执行以下命令。

PUT /_cluster/settings?pretty
{
  "persistent": {
    "cluster": {
      "remote": {
        "primary": {
          "seeds": ["192.168.3.45:9300"]
        }
      }
    }
  }
}

开始复制

首先在源集群创建测试索引 test , 并向索引写入数据。如果有测试索引,此步可省略。

POST /_bulk?pretty
{ "index" : { "_index" : "test", "_id" : "1" } }
{ "field1" : "value1" }
{ "create" : { "_index" : "test", "_id" : "2" } }
{ "field2" : "value2" }

然后在目标集群,创建一个名为 follower-test 的索引来复制源集群中 test 索引的内容。follower-test 可更换成自己想要的名字。

PUT /_replication/follower-test/_start?pretty
{
   "leader_alias": "primary",
   "leader_index": "test",
   "use_roles":{
      "leader_cluster_role": "cross_cluster_replication_leader_full_access",
      "follower_cluster_role": "cross_cluster_replication_follower_full_access"
   }
}
  • leader_alias 指定之前创建的连接名称 primary 。
  • leader_index 指定想要复制的索引名称 test 。
  • use_roles 指定用什么角色访问对应的集群,为了安全使用最小权限,命令中的角色是系统自带的。

命令执行完后,会在目标集群建立名为 follower-test 的索引,其内容来自源集群的 test 索引。 我们可以看到,其内容就是之前插入的两个文档。

确认复制状态

可以看到 follow-test 处于同步的状态会实时同步远端的数据。

GET /_replication/follower-test/_status?pretty

在源集群再插入数据,看是否会同步。

POST /_bulk?pretty
{ "index" : { "_index" : "test", "_id" : "3" } }
{ "field3" : "value3" }
{ "create" : { "_index" : "test", "_id" : "4" } }
{ "field4" : "value4" }

目标集群查询索引,文档 3 和 4 已同步。

暂停和恢复复制

如果需要停机维护或其他原因想暂停复制功能,可使用暂停和恢复索引复制。

暂停

暂停目标集群上的索引复制。源集群索引再有新的变化,不会进行同步。

POST /_replication/follower-test/_pause?pretty
{}

暂停后查看索引复制状态为 PAUSED 。

GET /_replication/follower-test/_status?pretty

恢复

恢复目标集群上的索引复制。

POST /_replication/follower-test/_resume?pretty
{}

停止复制

为了保证数据的一致性,目标集群上的 follower 索引都是只读的。如果要切换到可读写的状态,需要先停止复制。我们先直接写入数据,会报禁止该操作。 停止复制
执行停止复制命令,索引变为可读写状态,一个独立状态,不再会从源端复制内容。想要删除索引之前,也要先停止复制。

POST /_replication/follower-test/_stop?pretty
{}

再次写入数据测试,成功。

自动跟随

前面给大家演示了单个索引的复制操作,对于每天自动创建一个索引的场景(日期后缀),这样的操作不免太麻烦了。跨集群复制的自动跟随功能,可以在目标集群建立一个复制模式,如果源集群新建索引名称匹配该模式,目标集群会自动创建一个索引来复制它。

创建复制模式
先在目标集群建立一个复制模式,模式名叫 nginx-index ,会自动复制源集群上 nginx 开头的索引。

POST /_replication/_autofollow?pretty
{
   "leader_alias" : "primary",
   "name": "nginx-index",
   "pattern": "nginx*",
   "use_roles":{
      "leader_cluster_role": "cross_cluster_replication_leader_full_access",
      "follower_cluster_role": "cross_cluster_replication_follower_full_access"
   }
}

源集群创建 nginx 开头的索引。

POST /nginx-1/_doc/
{
"test":"test"
}

POST /nginx-2/_doc/
{
"test":"test2"
}

目标集群查看复制结果。

停止自动跟随

如果不想复制新创建 nginx 开头的索引,可以使用停止跟随。停止自动跟随仅仅停止任何新的自动跟随活动,不会停止现存自动跟随启动的复制。

DELETE /_replication/_autofollow?pretty
{
   "leader_alias" : "primary",
   "name": "nginx-index"
}

上述命令不会影响目标集群上 nginx-1 和 nginx-2 索引的复制。而且 nginx-1 和 nginx-2 索引是只读的,如果要切换到读写状态,先停止复制。

POST /_replication/nginx-1/_stop?pretty
{}

小结

这次实战主要演示了跨集群复制的操作过程:

  1. 建立证书互信
  2. 目标集群创建跨集群连接
  3. 开始复制:单索引或自动跟随复制
  4. 管理复制:暂停、查看状态、恢复、停止、删除自动跟随

好的,这次跨集群复制实战就到这里了,更多的内容大家可参考官方文档。如遇到问题,可以通过微信群、Discord 联系我们。

关于 Easysearch

about easysearch

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本,并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比,Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

官网文档:https://www.infinilabs.com/docs/latest/easysearch

下载地址:https://www.infinilabs.com/download

收起阅读 »

社区日报 第1689期 (2023-08-22)


1. 拿向量引擎配合ES做过滤了吗(需要梯子)
https://medium.com/%40fatihsat ... 8d179
2. 在K8S里部署ES全家(需要梯子)
https://medium.com/%40KushanJa ... d6531
3. 通过dump json的方式做ES合mongodb的备份方案(需要梯子)
https://medium.com/%40aivinsol ... a5d65

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
 
继续阅读 »

1. 拿向量引擎配合ES做过滤了吗(需要梯子)
https://medium.com/%40fatihsat ... 8d179
2. 在K8S里部署ES全家(需要梯子)
https://medium.com/%40KushanJa ... d6531
3. 通过dump json的方式做ES合mongodb的备份方案(需要梯子)
https://medium.com/%40aivinsol ... a5d65

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
  收起阅读 »

社区日报 第1688期 (2023-08-21)

1. ElasticSearch高级篇(数据聚和、自动补全、数据同步、分片集群)
   https://blog.csdn.net/fengxian ... 15858
2. ElasticSearch分片不均匀,集群负载不均衡
   https://blog.csdn.net/qq_20545 ... 49335
3. 如何用 Elasticsearch 实现“图搜图”
   https://mp.weixin.qq.com/s/PgY035gC_BfU-AG4cO6NtQ
编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili
继续阅读 »
1. ElasticSearch高级篇(数据聚和、自动补全、数据同步、分片集群)
   https://blog.csdn.net/fengxian ... 15858
2. ElasticSearch分片不均匀,集群负载不均衡
   https://blog.csdn.net/qq_20545 ... 49335
3. 如何用 Elasticsearch 实现“图搜图”
   https://mp.weixin.qq.com/s/PgY035gC_BfU-AG4cO6NtQ
编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili 收起阅读 »

社区日报 第1687期 (2023-08-18)


1、Elasticsearch  ESQL解读
https://www.elastic.co/cn/blog ... -esql

2、Elasticsearch vs OpenSearch 对比视频解读
https://www.elastic.co/cn/blog ... e-gap

3、Elasticsearch 预先加载数据的多种方案
https://www.elastic.co/cn/blog ... taset

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili
继续阅读 »

1、Elasticsearch  ESQL解读
https://www.elastic.co/cn/blog ... -esql

2、Elasticsearch vs OpenSearch 对比视频解读
https://www.elastic.co/cn/blog ... e-gap

3、Elasticsearch 预先加载数据的多种方案
https://www.elastic.co/cn/blog ... taset

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili 收起阅读 »