12 月 6 日，由中国信息通信研究院和中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）共同组织的 2023 大数据“星河（Galaxy）”案例评选结果正式公示。极限数据（北京）有限公司（INFINI labs）与中移互联网有限公司、中移（苏州）软件技术有限公司移动云搜索数据库案例荣选为数据库标杆案例。

历经多环节严苛评审，从累计 706 份申报项目中脱颖而出，荣获数据库标杆案例。党中央、国务院高度重视大数据产业发展，推动实施国家大数据战略。为更好推进大数据技术产品及相关产业的繁荣，充分发挥数据作为生产要素的独特价值，大数据“星河（Galaxy）”案例征集活动迄今已成功举办 7 届，在业内具有较强的权威性和影响力。案例征集自 9 月启动以来，受到了业界广泛关注和踊跃报名，共收到申报项目 706 份，涵盖行业数据应用、数据安全、数据要素流通、数据资产管理、数据库、以及数据向善六大方向。

由极限数据（北京）有限公司（INFINI labs）联合中移互联网有限公司、中移（苏州）软件技术有限公司联合申报移动云搜索数据库案例,基于移动云数据库，首创多集群协同模式，同时通过优化 ES 批量写入及分拆重组技术，实现数量级下数据高性能存取，为云盘日志搜索分析和监控告警及通过语义分析的智能关联搜索奠定海量存储及高性能查询基；产出 PB 级数据高性能存取标准解决方案，助力云能力中心搜索引擎产品体系化能力沉淀；进一步升级泛在云存储底座能力，助力行业数字化转型，具有较高的经济价值和社会价值。

未来，极限科技将继续深耕大数据搜索领域，以创新为驱动，不断推动大数据搜索技术的进步和发展。同时，也将加强与各行业合作伙伴的深度合作，共同推动大数据搜索技术的进步和发展，为用户提供更优质、更全面的大数据解决方案。

INFINI Labs 产品又更新啦~，包括 Easysearch v1.7.0、Console v1.13.0。本次各产品更新了 Easysearch 快照搜索功能；Console 支持 OpenSearch 集群存储系统数据、优化了初始化安装向导流程等。

以下是本次更新的详细说明。

INFINI Easysearch v1.7.0

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Features

发布快照搜索功能 Beta 版本，此功能旨在提高对已备份数据的使用效率。让用户利用对象存储（如 AWS S3、MinIO、Microsoft Azure Storage、Google Cloud Storage 等）技术来大幅降低存储成本。

Bug fix

• 修复单个节点场景下，从快照恢复多个 shard 的索引时，恢复不完整的问题
• 修复无法删除索引已关联的 ILM 策略问题

Improvements

• 初始化脚本优化，新增重复执行判断

INFINI Console v1.12.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Features

支持 OpenSearch 集群存储系统数据

Bug fix

• 优化初始化安装流程
• 新增探针初始化配置
• 安装向导，新增凭据检查功能
• 安装向导，新增管理员密码重置功能
• 探针管理，支持自动关联 Auto Enroll

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.com/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com

与 INFINI Labs 的技术专家面对面，第一时间了解极限实验室的发布最新产品和功能特性，通过动手实战，快速掌握最前沿的搜索技术，并用于实际项目中。欢迎大家扫描海报二维码免费报名参加。

活动时间：2024-01-18 13:30～17:30

活动地点：北京市海淀区 Wework 辉煌时代大厦 3 楼 3E 会议室

分享议题

• Easysearch 总体介绍及搭建实战
• 基于 INFINI Console 实现跨版本、跨引擎统一管控
• Elasticsearch -> Easysearch 在线迁移实操

参会提示

• 请务必自备电脑（Windows 系统环境请提前安装好 Linux 虚拟机）
• 请提前在 INFINI Labs 官网下载对应平台最新安装包（INFINI Easysearch、INFINI Gateway、INFINI Console）
• 下载地址：https://www.infinilabs.com/download
• 如有任何疑问可添加 INFINI Labs 小助手（微信号: INFINI-Labs）进行联系

在工作中大家可能会遇到以下这些场景：

• 自建 ES 集群需要平滑迁移到 XX 云；
• 从 XX 云将 ES 集群迁移到自建机房；
• ES 集群进行跨版本升级，同时保留回退能力； 这些场景往往都还有个共同的需求：迁移过程要保证业务的最小停机时间。   幸运的是，在这三个场景中，我们都能使用极限网关来帮助我们进行更丝滑的迁移或升级。下面，我们以迁移 ES 集群上云为例，介绍下整个工作过程。
• 自建版本： 5.4.2
• 云上版本： 5.6.16
• Gateway 和 Console 建议用最新版本

  迁移架构

  通过将应用端流量走网关的方式，请求同步转发给自建 ES，网关记录所有的写入请求，并确保顺序在 XX 云 ES 上重放请求，两侧集群的各种故障都妥善进行了处理，从而实现透明的集群双写，实现安全无缝的数据迁移。 业务端如果已经部署在云上，可以使用云上的 SLB 服务来访问网关，确保后端网关的高可用，如果业务端和极限网关还在企业内网，可以使用极限网关自带的 4 层浮动 IP 来确保网关的 高可用 。

  执行步骤

  部署 INFINI Gateway

  为了保证数据的无缝透明迁移，通过网关来进行双写。

  1. 系统调优
  2. 安装 INFINI Gateway
  3. 修改网关配置       在此 下载 网关双写配置，默认网关会加载配置文件 gateway.yml 。如果要指定其他配置文件使用 -config 选项。      配置文件内容较多，下面仅展示必要部分。

       #primary
       PRIMARY_ENDPOINT: http://192.168.56.3:7171
       PRIMARY_USERNAME: elastic
       PRIMARY_PASSWORD: password
       PRIMARY_MAX_QPS_PER_NODE: 10000
       PRIMARY_MAX_BYTES_PER_NODE: 104857600 #100MB/s
       PRIMARY_MAX_CONNECTION_PER_NODE: 200
       PRIMARY_DISCOVERY_ENABLED: false
       PRIMARY_DISCOVERY_REFRESH_ENABLED: false
       #backup
       BACKUP_ENDPOINT: http://192.168.56.3:9200
       BACKUP_USERNAME: admin
       BACKUP_PASSWORD: admin
       BACKUP_MAX_QPS_PER_NODE: 10000
       BACKUP_MAX_BYTES_PER_NODE: 104857600 #100MB/s
       BACKUP_MAX_CONNECTION_PER_NODE: 200
       BACKUP_DISCOVERY_ENABLED: false
       BACKUP_DISCOVERY_REFRESH_ENABLED: false

     PRIMARY_ENDPOINT：配置主集群地址和端口   PRIMARY_USERNAME、PRIMARY_PASSWORD: 访问主集群的用户信息   BACKUP_ENDPOINT：配置备集群地址和端口   BACKUP_USERNAME、BACKUP_PASSWORD: 访问备集群的用户信息

  4. 启动网关      启动网关并指定刚刚创建的配置，如下：       ./gateway-linux-amd64 -config replication_via-disk.yml.yml

     部署 INFINI Console

     为了方便在多个集群之间快速切换，管理网关消费任务、查看队列等。使用 INFINI Console 来进行管理。

  5. 下载安装
  6. 启动服务      ./console-linux-amd64 -service install      ./console-linux-amd64 -service start
  7. 注册资源      将 ES 集群、极限网关都注册到 Console 中。    - 注册 ES 集群：方便切换集群，执行命令。除了新旧集群外，将网关也在此注册一次，方便验证网关功能。    - 注册 Gateway：管理网关任务、队列。

     测试 INFINI Gateway

     为了验证网关是否正常工作，我们通过 INFINI Console 来快速验证一下。   首先通过走网关的接口来创建一个索引，并写入一个文档，如下： 查看 5.4.2 集群的数据情况，如下： 查看集群 5.6.16 的数据情况，如下： 数据一致，说明网关配置都正常，验证结束。

     调整网关的消费策略

     因为我们需要在全量数据迁移之后，才能进行增量数据的追加，在全量数据迁移完成之前，我们应该暂停增量数据的消费。修改网关配置里面 Pipeline consume-queue_backup-bulk_request_ingestion-to-backup的参数 auto_start为 false，表示不自动启动该任务，具体配置方法如下： 修改完配置之后，需要重新启动网关。   由于之前已经注册了网关，待全量迁移完成之后，可以通过后台的 Task 管理来进行后续的任务启动、停止，如下：

     切换流量

     接下来，将业务正常写的流量切换到网关，也就是需要把之前指向 ES 5.4.2 的地址指向网关的地址，如果 5.4.2 集群开启了身份验证，业务端代码同样需要传递身份信息，和 5.4.2 之前的用法保持不变。 切换流量到网关之后，用户的请求还是以同步的方式正常访问自建集群，网关记录到的请求会按顺序记录到 MQ 里面，但是消费是暂停状态。 如果业务端代码使用的 ES 的 SDK 支持 Sniff，并且业务代码开启了 Sniff，那么应该关闭 Sniff，避免业务端通过 Sniff 直接链接到后端的 ES 节点，所有的流量现在应该都只通过网关来进行访问。

     全量数据迁移

     在流量迁移到网关之后，我们开始对自建 Elasticsearch 集群的数据进行全量迁移到 XX 云 Elasticsearch 集群。 全量迁移已有的数据的方式有很多种：

• 通过快照的方式进行恢复
• 使用 INFINI Console 进行数据迁移

  增量数据迁移

  在全量导入的过程中，可能存在数据的增量修改，不过这部分请求都已经完整记录下来了，我们只需要开启网关的消费任务即可将积压的请求应用到云端的 ES 集群。 示例操作如下： 通过观察队列是否消费完成来判断增量数据是否做完，如下：

  执行数据比对

  由于集群内部的数据可能比较多，我们需要进行一个完整的比对才能确保数据的完整性，可以通过 INFINI Console 的数据比对 工具来进行。

  切换集群

  如果验证完之后，两个集群的数据已经完全一致了，可以将程序切换到新集群，或者将网关的配置里面的主备进行互换，仍旧写两个集群，先写云端集群，再写自建集群。 双集群在线运行一段时间，待业务完全验证之后，再安全下线老集群，如遇到问题，也可以随时回切到老集群。

  小结

  通过使用极限网关，自建 ES 集群可以安全无缝的迁移上云，在迁移的过程中，两套集群通过网关进行了解耦，两套集群的版本也可以不一样，在迁移的过程中还能实现版本的无缝升级。 工作流程图