Hi，大家好。今天 INFINI Labs 为大家带来 2023 春节后第一波产品更新发布，欢迎大家免费下载体验使用。

INFINI Gateway v1.9.0

极限网关本次迭代带来了大量的更新如下：

Breaking changes

• Refactoring config for ip access control
• Disable elasticsearch metadata refresh by default
• Update default config path from configs to config
• Remove sample-configs, moved to dedicated integrated-testing project
• Remove field conntime, update field @timestamp to timestamp in logging filter
• Rename disorder to fast

Features

• Support listen on IPv6 address
• Add general health api
• Add request_ip to context
• Add badger filter plugin
• Allow to split produce and consume messages from s3
• Add bulk_request_throttle filter
• Support access request context and more output options in echo filter
• Add body_json to response context
• Add cert config to API module, support mTLS
• Add api to clear scroll context
• Floating_ip support stick by priority
• Add keystore util
• Allow to save success bulk results in bulk_indexing processor
• Enable watch and reload the major config file
• Support run background job in one goroutine
• Allow to handle async_bulk request logging
• Add config to control cluster health check while cluster not available, set default to false
• Allow to follow redirects in http filter, set default read and write timeout to 30s
• Support collect instance metrics to monitoring gateway
• Add json log format

Bug fix

• Fix user was removed in logging filter
• Fix incorrect message size issue, reload when files changed in disk_queue
• Fix issue that index_diff could not finished automatically
• Fix hostname was not well updated in filter set_request_header or set_hostname
• Fix to check consumer’s lag instead of queue’s lag in flow_runner processor
• Fix file not found error for disk_queue
• Fix the delete requests was not proper handled in filter bulk_reshuffle, bulk_request_mutate and bulk_indexing processor
• Fix memory leak caused by misuse of bytes buffer
• Fix to handle the last request in replay processor
• Fix url args was not updated after change
• Fix memory leak when serving high-concurrent requests
• Fix nil id caused error when using sliced workers in bulk_indexing processor
• Fix index name with dot
• Refactoring time fields for orm, skip empty time
• Refactoring stats, allow to register extended stats
• Fix to restart gateway entrypoint on flow change
• Update ratio filter, fix random number, add header to ratio filter
• Fix query parameter no_cache was not well respected in get_cache filter
• Fix single delete request was ignored in bulk requests
• Fix request mutate filter

Improvements

• Remove newline in indexing_merge and json_indexing processor
• Improve instance check, add config to disable
• Add option skip_insecure_verify to s3 module
• Improve instance check, enable config to disable
• Update the way to get ctx process info, optimize memory usage
• Improve indexing performance for bulk_indexing processor
• Refactoring disk_queue, speedup message consumption
• Enable segment compress for disk_queue by default
• Skip download s3 files when s3 was not enabled
• Add option to log warning messages for throttle filters
• Optimize hash performance for getting primary shardID and partitionID
• Add cache for get index routing table
• Optimize performance for bulk response processing
• Refactoring bulk_processor, pass meta info to payload func
• Don’t call payload func for delete action
• Improve queue consumer’s lag check
• Enable prepare flat files ahead for read by default, skip unnecessary file
• Add object pool for xxhash
• Refactoring disk_queue, handle consumer in-flight segments in memory
• Add config to remove duplicated newline for bulk_processor
• Add metric timestamp in stats api
• Improve error on routing table missing
• Refactoring bytes buffer and object pool, expose metrics via API
• Refactoring tasks pooling, support throttle and unified control
• Optimize badger file size and memory usage
• Refactoring time fields for orm, skip empty time
• Refactoring stats, allow to register extended stats
• Refactoring to handle bulk response results
• Add client_session_cache_size to tls setting
• Safety add newline to each bytes when handle bulk requests

INFINI Console v0.7.0

INFINI Console 本次迭代更新如下：

• 新增初始化安装向导；

  

• 新增系统服务健康监控；

• 新增 License 授权；

  

• 新增索引和节点层面数据字节写入吞吐量指标(indexing bytes)；
• 修复了 Discover 第一次加载未发起搜索请求的问题；
• 修复了查看节点线程池指标时选择多个节点后指标不显示的问题；

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• INFINI Gateway： https://github.com/infinilabs/gateway/issues
• INFINI Console： https://github.com/infinilabs/console/issues
• 下载地址： https://www.infinilabs.com/download/

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

也欢迎大家添加微信小助手(INFINI-Labs)拉群交流和学习。

感谢大家的围观，祝大家周末愉快。

上次在《INFINI Easysearch 尝鲜 Hands on》中，我们部署了两个节点的 Easysearch，并设置了 Console 进行集群监控。今天，我们将介绍 INFINI Console 的使用。

Dashboard

INFINI Console 是一个功能强大的数据管理和分析平台，其仪表盘页面提供了直观简洁的界面，使用户能够快速了解系统状态并进行管理操作。本文将详细介绍仪表盘页面的各项功能。

仪表盘顶部显示系统的实时告警、通知和待办事项的数量，当前数据显示：

• 告警：0 条
• 通知：0 条
• 待办：0 条

在仪表盘的中心区域，用户可以看到几项关键的系统概览信息：

• 集群数量：当前有 3 个集群正在运行。
• 节点数量：系统中有 16 个节点。
• 主机数量：共有 3 台主机。
• 已用存储：系统已使用存储空间为 2.0GB。

仪表盘页面还提供了几个常用操作的快速入口，方便用户迅速访问常用功能：

• 集群注册：用户可以通过此入口快速注册新的集群。
• 数据探索：用户可以访问数据探索工具，对系统中的数据进行分析和查询。
• 告警管理：提供对告警信息的管理功能，用户可以查看和处理告警。
• 安全管理：安全管理入口帮助用户维护系统的安全设置和策略。

仪表盘右侧显示了集群的动态信息，包括最近的操作日志。例如：

• 2024-07-03 22:43:43，index medcl 在 cluster infiniLabs 中的状态更新。
• 2024-07-03 22:06:43，index medcl 在 cluster infiniLabs 中被创建。

集群管理页面

集群管理页面主要分为几个部分：顶部的功能选项卡、中部的集群列表、以及右侧的筛选和排序选项。

页面顶部的功能选项卡包括以下几项：

• Clusters (集群)：显示当前系统中的所有集群。
• Nodes (节点)：显示集群中的节点详细信息。
• Indices (索引)：显示集群中的索引信息。
• Hosts (主机)：显示系统中的主机信息。

集群列表展示了每个集群的详细信息，包括：

• 集群名称：每个集群的名称，如 “infinilabs”、“mycluster”、“INFINI_SYSTEM (JeanGrey)”。
• 集群健康状态：以颜色条的形式显示最近 14 天的集群健康状态（绿色表示健康，黄色表示有警告）。
• 节点数量：集群中包含的节点数量。
• 索引数量：集群中的索引数量。
• 分片数量：集群中的分片数量。
• 文档数量：集群中存储的文档数量。
• 磁盘使用率：集群的磁盘使用情况。
• JVM 堆内存使用率：集群的 JVM 堆内存使用情况。
• 索引速率：当前集群的索引速率（每秒索引数）。
• 搜索速率：当前集群的搜索速率（每秒搜索数）。

页面右侧提供了丰富的筛选和排序选项，可以根据以下条件筛选和排序集群：

• 健康状态 (Health Status)：根据集群的健康状态筛选，如绿色（健康）和黄色（警告）。
• 分布 (Distribution)：根据集群的分布类型筛选，如 “easysearch” 和 “elasticsearch”。
• 版本 (Version)：根据集群使用的软件版本筛选，如 Easysearch 1.8.2 和 Elasticsearch 7.10.2。
• 区域 (Region)：根据集群所在的区域筛选，如 “china” 和 “default”。
• 标签 (Tags)：根据自定义标签进行筛选。

接下来分别介绍节点、索引和主机层面的信息，这些监控指标与集群层面大同小异。

节点监控

索引监控

主机监控

包括了常规的 CPU、内存、磁盘、网络的监控。

监控指标页面

监控报表页面提供了对集群运行状况的详细监控和分析功能。用户可以选择最近 15 分钟、1 小时、24 小时等不同时间范围查看数据，并手动点击刷新按钮更新数据，以获取最新的监控信息。

概览信息

显示当前集群的基本状态，包括：

• 集群名称：如 “infinilabs”。
• 在线时长：如 “3 天”。
• 集群版本：如 “1.8.2”。
• 健康状态：如 “green”。
• 节点数：如 “2”。
• 索引数：如 “38”。
• 主/总分片：如 “38/76”。
• 未分配分片：如 “0”。
• 文档数：如 “656,803”。
• 存储空间：如 “1007.2MB/385.4GB”。
• JVM 内存：如 “1023.0MB/2.0GB”。

监控报表页面还提供了多个性能指标的图表，包括：

索引吞吐 (doc/s)

• Total Indexing：总索引吞吐量。
• Primary Indexing：主分片的索引吞吐量。

查询吞吐 (query/s)

• Total Query：总查询吞吐量。

索引延迟 (ms)

• Indexing Latency：索引延迟时间。
• Delete Latency：删除操作的延迟时间。

查询延迟 (ms)

• Query Latency：查询延迟时间。
• Fetch Latency：获取操作的延迟时间。
• Scroll Latency：滚动操作的延迟时间。

点击“Advance”可以查看更多监控指标：

节点级别性能监控

包括 CPU、负载、JVM 内存、剩余使用空间及磁盘空间、集群启动时间和索引读写情况。

索引级别监控

包括集群内索引的数量、状态、主分片和副本分片数量、文档条数和占用空间。

集群动态页面

提供集群中各类事件和活动的详细记录和监控功能。

别名管理

别名管理页面提供了对索引别名的管理功能，使用户可以方便地管理和配置 Elasticsearch/EasySearch 的索引别名。

创建别名

可以通过 DSL 创建别名。例如，创建一个名为 my_index_alias 的别名指向 my_index：

POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "my_index",
        "alias": "my_index_alias"
      }
    }
  ]
}

删除别名

删除一个别名同样可以通过 REST API 实现：

POST /_aliases
{
  "actions": [
    {
      "remove": {
        "index": "my_index",
        "alias": "my_index_alias"
      }
    }
  ]
}

索引轮换

索引轮换是一种常用的索引管理策略，特别适用于日志和时间序列数据的场景。通过索引轮换，用户可以在索引达到一定条件（如大小或文档数量）时，创建一个新的索引来继续存储数据，而旧的索引可以继续用于查询。

1. 设置写别名：创建一个指向当前写入索引的别名，例如 current_write_index。
2. 定义索引轮换条件：可以基于索引的大小、文档数量或时间来定义轮换条件。
3. 索引并更新写别名指向这个新索引。

创建初始索引并设置写别名：

PUT /my_index-000001
{
  "aliases": {
    "current_write_index": {}
  }
}

使用 /_rollover API 定义轮换条件并执行轮换：

POST /current_write_index/_rollover
{
  "conditions": {
    "max_age": "7d",
    "max_docs": 1000000
  },
  "settings": {
    "number_of_shards": 1
  },
  "aliases": {
    "current_write_index": {}
  }
}

通过这种方式，查询操作可以透明地访问所有历史数据，而写操作总是指向最新的索引。

在 INFINI Console 中提供了可视化创建索引及别名的方式。页面右上角提供了新建按钮，用户可以通过点击该按钮创建新的索引别名，填写别名名称、关联索引、索引路由、搜索路由和过滤查询等配置。

平台监控

展示了多个关键指标的监控图表，包括：

• 健康状态 (Health)：显示系统当前的健康状态。如果没有数据，则显示“暂无数据”。
• 引擎分布 (Engines)：展示系统中不同搜索引擎的分布情况，例如 EasySearch 和 Elasticsearch 的比例。图表显示当前 EasySearch 占 67%，Elasticsearch 占 33%。
• 提供商 (Providers)：显示系统中使用的云服务提供商信息。在示例中，所有资源都托管在 AWS 上。
• JDK 版本 (JDK)：显示系统中使用的 JDK 版本信息。在示例中，所有节点都使用 JDK 版本 11.0.20。
• 磁盘使用情况 (Disk Utilization) - Top 10：显示磁盘使用率最高的前 10 个节点。在示例中，easysearch-node1 和 easysearch-node2 的磁盘使用率均为 4%。
• JVM 使用情况 (JVM Utilization) - Top 10：展示 JVM 使用率最高的前 10 个节点。在示例中，infinilabs 集群的 easysearch-node1 和 easysearch-node2 节点的 JVM 使用情况有详细的时间序列数据，显示了不同时间点的使用率变化。

我们还能够看到更多指标：

数据探索

在数据探索里，可以根据时间、字段等条件对索引或者视图下的数据进行搜索查询和分析，类似 Kibana 的 Discover。

这里可以看到集群的警报，目前集群运行良好，没有任何警报。

内部会预设一些警报规则，如下：

点进去一个请求，比如磁盘的警告，可以针对不同的使用量设置不同的警告级别和通知。

这里针对警报设置警报，可以看到现在支持很多平台，Discord、飞书、邮件、微信、Slack 以及钉钉。

点击进去可以查看，对于社交软件而言，其实是使用 Webhook 进行通知，除此之外也支持配置邮件服务器和自定义的 Webhook 进行通知。

开发工具

Console 的开发工具相当于 Kibana DevTool 的升级版，使用上基本没有大的区别，除了支持 DSL 之外，还支持多集群 Tab 切换、常用命令快速 Load、SQL 查询等。

集群连接凭证管理

可以看到连接这三个集群的凭证管理，目前都是有效的。

后台用户授权

可以添加用户以及修改 Console 管理界面的密码。目前设置了 admin 账号。

审计日志

追踪对集群的操作，捕获查看集群监控信息以及集群索引的操作。

结论

INFINI Console 的仪表盘页面集成了系统的关键信息和快捷操作入口，使用户可以高效地管理和监控系统。通过详细的概览信息、实时的告警通知、快速的功能入口和动态日志，用户能够对系统的运行状态一目了然，并快速响应各种管理需求。这个设计不仅提升了用户的工作效率，还确保了系统的安全和稳定运行。

INFINI Console 的集群管理页面提供了对系统集群的全面监控和管理功能。通过详细的集群信息展示、便捷的功能选项卡切换以及丰富的筛选和排序功能，用户可以高效地管理和监控系统中的集群状态。这不仅提升了运维效率，还确保了系统的稳定运行和高效管理。

INFINI Console 的节点管理页面提供了对集群节点的全面监控和管理功能。通过详细的节点信息展示、便捷的功能选项卡切换以及丰富的筛选和搜索功能，用户可以高效地管理和监控系统中的节点状态，从而提升运维效率，确保系统的稳定运行和高效管理。

INFINI Console 的监控报表页面提供了对集群运行状况的全面监控和分析功能。通过详细的概览信息和多个性能指标图表，用户可以高效地监控和管理集群的运行状态。这不仅提升了系统运维效率，还确保了集群的稳定运行和高效管理。

通过这些功能，INFINI Console 为用户提供了全面的系统管理工具，帮助他们高效地应对各种运维挑战，确保系统的高效、安全、稳定运行。

关于 Easysearch 有奖征文活动

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

作者：韩旭，亚马逊云技术支持，亚马逊云科技技领云博主，目前专注于云计算开发和大数据领域。

原文：https://blog.csdn.net/weixin_38781498/article/details/140077785

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个自主可控的轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

Easysearch 支持原生 Elasticsearch 的 DSL 查询语法，确保原业务代码无需调整即可无缝迁移。同时，极限科技还支持 SQL 查询，为熟悉 SQL 的开发人员提供更加便捷的数据分析方式。此外，Easysearch 兼容 Elasticsearch 的 SDK 和现有索引存储格式，支持冷热架构和索引生命周期管理，确保用户能够轻松实现数据的无缝衔接。

安装

安装脚本

无论是 Linux 还是 Mac 都是这个一键脚本

curl -sSL http://get.infini.cloud | bash -s -- -p easysearch

同时也提供了二进制的安装包：

如果不想整理 JAVA 环境问题，还可以使用这个 https://release.infinilabs.com/easysearch/stable/bundle/

docker 部署

官方提供了 Docker Compose 样例，包括三个服务：

• easysearch-node1
• easysearch-node2
• console

以下是详细说明：

版本控制：

• version: '3' 表示使用 Docker Compose 文件的第 3 版格式。

服务定义：

• easysearch-node1 和 easysearch-node2：

  • 这两个服务使用相同的 Docker 镜像 infinilabs/easysearch:latest 来组成双节点的集群。
  • 容器运行时使用用户和组 ID 602:602。
  • 设置了 ES_JAVA_OPTS 环境变量以配置 Java 虚拟机的内存。
  • ulimits 选项配置了内存锁定和文件描述符的限制，以提升性能。
  • 容器内的配置、数据和日志目录通过卷映射到主机目录中，以便于数据持久化。
  • 服务暴露特定端口，使外部能够访问容器中的服务。
  • 两个节点均加入名为 esnet 的自定义网络中。

• console：

  • 该服务使用镜像 infinilabs/console:1.26.0-1552（该镜像没有 latest，需要手动把 latest 更改位特定的版本号）。
  • 同样通过卷将数据和日志目录映射到主机。
  • 暴露 9000 端口用于 Web 界面访问。
  • 使用 links 功能链接到 easysearch-node1 和 easysearch-node2，简化容器之间的通信。
  • 设置了时区环境变量 TZ 为 Asia/Shanghai。

网络配置：

• esnet 网络使用 bridge 驱动，提供一个隔离的网络环境，配置了特定的子网 172.24.0.0/16，以确保服务之间的网络通信。

version: '3'
  services:
    easysearch-node1:
      user: "602:602"
      image: infinilabs/easysearch:latest
      container_name: easysearch-node1
      hostname: easysearch-node1
      environment:
        - "ES_JAVA_OPTS=-Xms1g -Xmx1g"
      ulimits:
        memlock:
          soft: -1
          hard: -1
        nofile:
          soft: 65536
          hard: 65536
      volumes:
        - $PWD/ezs1/config:/app/easysearch/config
        - $PWD/ezs1/data:/app/easysearch/data
        - $PWD/ezs1/logs:/app/easysearch/logs
      ports:
        - 9201:9200
        - 9301:9300
      networks:
        - esnet
    easysearch-node2:
      user: "602:602"
      image: infinilabs/easysearch:latest
      container_name: easysearch-node2
      hostname: easysearch-node2
      environment:
        - "ES_JAVA_OPTS=-Xms1g -Xmx1g"
      ulimits:
        memlock:
          soft: -1
          hard: -1
        nofile:
          soft: 65536
          hard: 65536
      volumes:
        - $PWD/ezs2/config:/app/easysearch/config
        - $PWD/ezs2/data:/app/easysearch/data
        - $PWD/ezs2/logs:/app/easysearch/logs
      ports:
        - 9202:9200
        - 9302:9300
      networks:
        - esnet
    console:
      image: infinilabs/console:1.26.0-1552
      container_name: console
      hostname: console
      volumes:
        - $PWD/console/data:/data
        - $PWD/console/log:/log
      networks:
        - esnet
      ports:
        - 9000:9000
      links:
        - easysearch-node1:es1
        - easysearch-node2:es2
      environment:
        - TZ=Asia/Shanghai

  networks:
    esnet:
      driver: bridge
      ipam:
        config:
          - subnet: 172.24.0.0/16

尽管在这里官方提供了详细的命令，完全可以使用这个 docker-compose up 来进行替代。其他的脚本解释如下：

init.sh

#!/bin/bash

# 获取当前脚本所在目录的绝对路径

CUR_DIR=$(cd $(dirname $0); pwd)

# 创建必要的目录结构

mkdir -p $CUR_DIR/console/{data,log}
mkdir -p $CUR_DIR/{ezs1,ezs2}/{data,logs}

# 设置目录的拥有者和权限

chown -R 1000:1000 $CUR_DIR/console
chown -R 602:602 $CUR_DIR/{ezs1,ezs2}
chmod -R 0600 $CUR_DIR/{ezs1,ezs2}/config

# 设置 config 目录的子目录权限

find $CUR_DIR/{ezs1,ezs2}/config -type d -print0 | xargs -0 chmod 750

reset.sh

#!/bin/bash

# 获取当前脚本所在目录的绝对路径

CUR_DIR=$(cd $(dirname $0); pwd)

# 定义确认函数
function confirm() {
  display_str=$1
  default_ans=$2
  if [[ $default_ans == 'y/N' ]]; then
     must_match='[yY]'
  else
     must_match='[nN]'
  fi
  read -p"${display_str} [${default_ans}]:" ans
  [[ $ans == $must_match ]]
}

# 提示用户确认删除所有数据
confirm "RISK WARN: Delete all data!!!" 'y/N' && echo || exit

# 删除 console、ezs1 和 ezs2 的数据和日志文件
rm -rvf $CUR_DIR/console/{data,log}/*
rm -rvf $CUR_DIR/{ezs1,ezs2}/{data,logs}/*

start.sh

#!/bin/bash

# 使用 Docker Compose 启动 ezs2 项目中的服务
docker-compose -p ezs2 up

stop.sh

#!/bin/bash

# 使用 Docker Compose 关闭并移除 ezs2 项目中的所有服务

docker-compose -p ezs2 down

在我的电脑中，可以看到成功启动的容器。

https://infinilabs.cn/docs/latest/easysearch/getting-started/install/docker-compose/

Console 连接

设置集群连接参数，比如域名端口，用户名密码。

初始化，这里会新建索引，写一些 sample 数据。

设置后台管理的密码，后期使用这个登录控制台。

检查配置，完成集群关联。

这个是后台管理界面，除了用户名密码之外，也支持单点登录：

跨引擎、跨版本、跨集群 独一份！

使用自带的面板进行查看节点数量：

同时也支持 REST 风格的 API 来进行查询。

接下来使用 Console 连接 Amazon 的 OpenSearch：

同样是输入集群的 URL，用户名和密码。

然后可以拿到集群的信息，比如地址，版本号，集群状态，节点数量。

最后看到连接成功的信息。

我们可以在集群管理中看到 Easysearch 的集群和我们刚刚添加的 OpenSearch 集群。

是否开源？目前还没有开放源代码。

关于 Easysearch 有奖征文活动

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

作者:韩旭，亚马逊云技术支持，亚马逊云科技技领云博主，目前专注于云计算开发和大数据领域。

原文：https://blog.csdn.net/weixin_38781498/article/details/140077785

在数字化浪潮席卷全球的今天，INFINI Labs 深刻认识到开源项目和教育机构在技术创新与人才培养中的核心作用。因此，我们郑重推出全新升级的免费许可证计划，旨在全球范围内为开源社区和教育界提供有力支持，共同推动软件生态的繁荣与进步。

一、产品实力与荣誉

1.INFINI Pizza：实时搜索的新纪元

• 在第十三届“数据技术嘉年华”（DTC2024）上，INFINI Labs 发布了划时代的搜索引擎——INFINI Pizza，标志着搜索型数据库迈入实时搜索的新纪元。
• INFINI Pizza 凭借先进的设计理念与架构，以及独有的专利技术，实现了对海量数据的无限伸缩，提供高效、准确的实时数据搜索能力

2.行业标杆案例

• INFINI Labs 荣获中国信通院大数据“星河”标杆案例，其中移动云搜索数据库案例更是荣选为数据库标杆案例。
• 该案例基于移动云 Easysearch 数据库，通过创新的多集群协同模式，实现了数据高性能存取，展现出极高的经济价值与社会价值。

3.国家发明专利认可

• INFINI Labs 的多项自主研发技术获得国家发明专利授权，这些成果彰显了公司在大数据领域的技术实力与创新精神。

二、品牌与行业地位

• INFINI Labs 作为搜索型数据库产品领域的领军企业，积极参与行业标准的制定与推动。

• 其核心产品 INFINI Easysearch 荣获信通院首批可信搜索型数据库产品证书，再次印证了公司在行业中的领先地位。

三、产品介绍

1. INFINI Easysearch：作为 Elasticsearch 的国产化替代方案，提供高度兼容性与卓越性能，满足企业级需求。

2. INFINI Console：轻量级多集群、跨版本搜索基础设施统一管控平台，助力企业高效管理搜索集群。

3. INFINI Gateway：专为 Elasticsearch 打造的高性能应用网关，提供丰富的功能特性与卓越性能。

4. INFINI Loadgen：支持多种搜索引擎的轻量级压测工具，为企业提供强大的数据加载与测试能力。

5. INFINI Pizza：引领实时搜索时代的新星，为企业提供高效、准确的实时数据搜索解决方案。

四、免费许可证计划

1.教育机构学术许可证

• 面向全球公立或私立学校、职业学校、大学等教育机构，提供非商业用途的软件使用许可。

• 有效期一年，符合条件的教育机构可继续申请。

2.开源项目许可证

• 面向非商业开源项目开发者，要求项目拥有活跃社区并在其官网添加 INFINI Labs 的链接。

• 许可证免费，有效期一年，符合条件的项目可继续申请。

五、申请方式

符合条件的开源项目和教育机构可通过访问 INFINI Labs 官方网站，轻松提交申请，我们将尽快审核并回复。

申请链接：https://infinilabs.cn/community

六、结语

INFINI Labs 以全新升级的免费许可证计划为契机，与全球开源社区和教育界携手合作，共同推动软件生态的创新与发展。让我们共同迎接更加美好的未来！

七、关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn

原文：https://infinilabs.cn/blog/2024/infini-labs-for-open-source-education-the-free-license-program-upgrades/

INFINI Labs 产品又更新啦~，包括 Easysearch v1.8.2、Gateway、Console、Agent、Loadgen v1.26.0。本次各产品更新了很多亮点功能，如 Easysearch 优化 CCR 同步性能；Gateway 增加了 HTTP 请求动态域名路由功能，移除了安全相关的 Filter，进一步提升 Gateway 稳定性；Console 修复了多个已知问题，如当文档数过亿时单位换算错误，修复了因采集延迟导致指标图表显示异常，修复了多行查询中包含 SQL 查询异常等问题。欢迎大家下载体验。

以下是本次更新的详细说明。

INFINI Easysearch v1.8.2

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Bug fix

• 修复 source_reuse 与 object 字段为 enable: false 时的冲突

Improvements

• 升级部分依赖包版本，Commons-collections to 3.2.2, Snakeyaml to 2.0
• 优化 CCR 同步性能及调整 CCR 全局配置参数
• 优化插件配置命名，去除"plugins."
• 优化配置文件目录获取命名

INFINI Console v1.26.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Bug fix

• 修复监控数据布局
• 修复命令存储权限
• 修复多行请求包含 SQL 语法
• 修复文档数过亿时换算错误
• 修复导入低版本 v1.6.0 告警规则缺少字段问题
• 修复当 buck_size 小于 60 秒时，因指标采集延迟导致指标显示异常问题

INFINI Gateway v1.26.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Improvements

• feat: add wildcard_domain filter
• chore: remove security filter and translog_viewer

INFINI Framework

INFINI Framework 是 INFINI Labs 各产品依赖的内部核心公共代码库。

Framework 本次更新如下：

Improvements

• feat: support dynamic app setting
• feat: add cluster settings query args
• feat: add gateway config
• feat: add http interceptor
• feat: return host info in info api
• feat: add util to convert string to float
• feat: use common app setting api to instead of auth setting api
• feat: crontab task support multi crontab expression
• fix: skip submit empty bulk requests
• feat: support ccr api
• fix: get latest offset should compare segment first
• fix: wrong use of zstd with vfs
• fix: prevent close closed channel
• fix: panic on error while saving keystore

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.cn/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn

INFINI Labs 产品又更新啦~，包括 Console，Gateway 1.24.0。本次各产品更新了很多亮点功能，如 Console 增加操作日志审计功能，优化数据探索字段统计，修复 Gateway 增加认证后添加实例失败等问题。以下是本次更新的详细说明。

INFINI Console v1.24.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Features

• 用户操作审计日志功能
• 新增告警规则克隆一键克隆功能，简化重复类型告警的创建

Bug fix

• 修复普通用户权限 403 问题
• 修复探针管理表格展开显示错位问题

Improvements

• 优化开发工具集群选择控件显示位置
• 优化数据探索查询控件显示宽度
• 优化数据探索字段统计功能
• 优化告警规则列表页搜索，支持远程搜索
• Discover 左侧字段聚合支持开关控制拉取本地或远程统计值

INFINI Gateway v1.24.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Improvements

• Refactoring http client tls config
• Write field routing to bulk metadata when field _routing exists in scrolled doc

Bug fix

• Fix(reshuffle filter): make sure queue config always have label type
• Fix rotate config usage

INFINI Framework

Improvements

• feat: allow to use default auth for agent’s auto enroll
• refactor: refactor func GetFieldCaps
• feat: register background job to clean up badger LSM tree
• fix: skip load missing wal

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.cn/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn

INFINI Labs 产品又更新啦~，包括 Console，Gateway，Agent 1.23.0 和 Easysearch 1.7.1。本次各产品更新了很多亮点功能，如 Console 优化实例管理中增加磁盘空闲空间显示，Easysearch 改进 HierarchyCircuitBreakerService 并添加断路器、改进跨集群复制的数据加载，增加对 source_reuse 索引的支持等。欢迎大家下载体验。

以下是本次更新的详细说明。

INFINI Easysearch v1.7.1

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Bug fix

• 修复 source_reuse 与字段别名冲突
• 改进 HierarchyCircuitBreakerService 并添加断路器
• 修复 _meta 不为空且 启用 source_reuse 时的映射解析错误
• 修复 source_reuse 下对多值还原不正确的问题

Improvements

• 改进 HierarchyCircuitBreakerService 并添加断路器
• 改进跨集群复制的数据加载，增加对 source_reuse 索引的支持

INFINI Console v1.23.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Bug fix

• 修复数据迁移中数据分片范围因精度导致数据溢出显示为负数
• 修复删除实例队列后消费的 Offset 未重置问题
• 修复网友提出的各种问题，如集群设置默认打开节点、索引采集等

Improvements

• 优化初始化配置向导，分步骤执行
• 优化实例管理中增加磁盘空闲空间显示
• 优化实例队列名称显示

INFINI Gateway v1.23.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Bug fix

• 修复删除实例队列后消费的 Offset 未重置问题

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.com/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com

Elasticsearch（简称：ES） 和传统关系型数据库有很多区别， 比如传统数据中普遍都有一个叫“最大连接数”的设置。目的是使数据库系统工作在可控的负载下，避免出现负载过高，资源耗尽，谁也无法登录的局面。

那 ES 在这方面有类似参数吗？答案是没有，这也是为何 ES 会被流量打爆的原因之一。

针对大并发访问 ES 服务，造成 ES 节点 OOM，服务中断的情况，极限科技旗下的 INFINI Gateway 产品（以下简称 “极限网关”）可从两个方面入手，保障 ES 服务的可用性。

1. 限制最大并发访问连接数。
2. 限制非重要索引的请求速度，保障重要业务索引的访问速度。

下面我们来详细聊聊。

架构图

所有访问 ES 的请求都发给网关，可部署多个网关。

限制最大连接数

在网关配置文件中，默认有最大并发连接数限制，默认最大 10000。

entry:
  - name: my_es_entry
    enabled: true
    router: my_router
    max_concurrency: 10000
    network:
      binding: $[[env.GW_BINDING]]
      # See `gateway.disable_reuse_port_by_default` for more information.
      reuse_port: true

使用压测程序测试，看看到达10000个连接后，能否限制新的连接。 超过的连接请求，被丢弃。更多信息参考官方文档。

限制索引写入速度

我们先看看不做限制的时候，测试环境的写入速度，在 9w - 15w docs/s 之间波动。虽然峰值很高，但不稳定。 接下来，我们通过网关把写入速度控制在最大 1w docs/s 。 对网关的配置文件 gateway.yml ，做以下修改。

env: # env 下添加
    THROTTLE_BULK_INDEXING_MAX_BYTES: 40485760 #40MB/s
    THROTTLE_BULK_INDEXING_MAX_REQUESTS: 10000 #10k docs/s
    THROTTLE_BULK_INDEXING_ACTION: retry #retry,drop
    THROTTLE_BULK_INDEXING_MAX_RETRY_TIMES: 10 #1000
    THROTTLE_BULK_INDEXING_RETRY_DELAY_IN_MS: 100 #10

router: # route 部分修改 flow
  - name: my_router
    default_flow: default_flow
    tracing_flow: logging_flow
    rules:
      - method:
          - "*"
        pattern:
          - "/_bulk"
          - "/{any_index}/_bulk"
        flow:
          - write_flow

flow: #flow 部分增加下面两段    
  - name: write_flow
    filter:
      - flow:
          flows:
            - bulking_indexing_limit
      - elasticsearch:
          elasticsearch: prod
          max_connection_per_node: 1000
  - name: bulking_indexing_limit
    filter:
      - bulk_request_throttle:
          indices:
            "test-index":
              max_bytes: $[[env.THROTTLE_BULK_INDEXING_MAX_BYTES]]
              max_requests: $[[env.THROTTLE_BULK_INDEXING_MAX_REQUESTS]]
              action: $[[env.THROTTLE_BULK_INDEXING_ACTION]]
              retry_delay_in_ms: $[[env.THROTTLE_BULK_INDEXING_RETRY_DELAY_IN_MS]]
              max_retry_times: $[[env.THROTTLE_BULK_INDEXING_MAX_RETRY_TIMES]]
              message: "bulk writing too fast" #触发限流告警message自定义
              log_warn_message: true

再次压测，test-index 索引写入速度被限制在了 1w docs/s 。

限制多个索引写入速度

上面的配置是针对 test-index 索引的写入速度控制。如果想添加其他的索引，新增一段配置即可。 比如，我允许 abc 索引写入达到 2w docs/s，test-index 索引最多不超过 1w docs/s ，可配置如下。

  - name: bulking_indexing_limit
    filter:
      - bulk_request_throttle:
          indices:
            "abc":
              max_requests: 20000
              action: drop
              message: "abc doc写入超阈值" #触发限流告警message自定义
              log_warn_message: true
            "test-index":
              max_bytes: $[[env.THROTTLE_BULK_INDEXING_MAX_BYTES]]
              max_requests: $[[env.THROTTLE_BULK_INDEXING_MAX_REQUESTS]]
              action: $[[env.THROTTLE_BULK_INDEXING_ACTION]]
              retry_delay_in_ms: $[[env.THROTTLE_BULK_INDEXING_RETRY_DELAY_IN_MS]]
              max_retry_times: $[[env.THROTTLE_BULK_INDEXING_MAX_RETRY_TIMES]]
              message: "bulk writing too fast" #触发限流告警message自定义
              log_warn_message: true

限速效果如下

限制读请求速度

我们先看看不做限制的时候，测试环境的读取速度，7w qps 。 接下来我们通过网关把读取速度控制在最大 1w qps 。 继续对网关的配置文件 gateway.yml 做以下修改。

  - name: default_flow
    filter:
      - request_path_limiter:
          message: "Hey, You just reached our request limit!"                                      rules:      
            - pattern: "/(?P<index_name>abc)/_search"                          
              max_qps: 10000
              group: index_name                                    
      - elasticsearch: 
          elasticsearch: prod                            
          max_connection_per_node: 1000

再次进行测试，读取速度被限制在了 1w qps 。

限制多个索引读取速度

上面的配置是针对 abc 索引的写入速度控制。如果想添加其他的索引，新增一段配置即可。 比如，我允许 abc 索引读取达到 1w qps，test-index 索引最多不超过 2w qps ，可配置如下。

  - name: default_flow
    filter:
      - request_path_limiter:
          message: "Hey, You just reached our request limit!"
          rules:
            - pattern: "/(?P<index_name>abc)/_search"
              max_qps: 10000
              group: index_name
            - pattern: "/(?P<index_name>test-index)/_search"
              max_qps: 20000
              group: index_name
      - elasticsearch:
          elasticsearch: prod
          max_connection_per_node: 1000

多个网关限速

限速是每个网关自身的控制，如果有多个网关，那么后端 ES 集群收到的请求数等于多个网关限速的总和。 本次介绍就到这里了。相信大家在使用 ES 的过程中也遇到过各种各样的问题。欢迎大家来我们这个平台分享自己的问题、解决方案等。如有任何问题，请随时联系我，期待与您交流！

最近某头部汽车集团需要针对当前 ES 集群进行优化，背景如下： ES 用于支撑包括核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用，合计超 50 余套集群，累计数据超 1.5PB 。 本文针对其中一个 ES 集群进行分享，该集群原本使用的是 ES 7.3.2 免费版，数据已经 130TB 了，14 个节点。写入数据时经常掉节点，写入性能也不稳定，当天的数据写不完。迫切需要新的解决方案。 分析业务场景后总结需求要点：主要是写，很少查。审计需求，数据需要长期保存。 这个需求比较普遍，处理起来也很简单：

• 使用 Easysearch 软件，只需少量节点存储近两天的数据。
• 索引设置开启 ZSTD 压缩功能，节省磁盘空间。
• 每天索引数据写完后，第二天执行快照备份存放到 S3 存储。
• 备份成功后，删除索引释放磁盘空间。
• 需要搜索数据时，直接从快照搜索。

将近期的数据，存放到本地磁盘，保障写入速度。写入完毕的索引，在执行快照备份后，可删除索引，释放本地磁盘空间。

Easysearch 配置要点

path.repo: ["/S3-path"]
node.roles: ["data","search"]
node.search.cache.size: 500mb

• path.repo : 指定 S3 存储路径，上传快照用。
• node.roles : 只有 search 角色的节点，才能去搜索快照中的数据。
• node.search.cache.size : 执行快照搜索时的，缓存大小。

更多信息请参考官方文档。

旧数据迁移

通过 Console 将原 ES 集群的数据，迁移到新 Easysearch 集群。迁移时，复制 mapping 和 setting，并在 setting 中添加如下设置。

"codec": "ZSTD",
"source_reuse": true,

原索引数据量大，可拆分成多个小任务。 迁移完，索引存储空间一般节省 50% 左右。 原索引 279GB ，迁移完后 138GB。

搜索快照数据

挂载快照后，搜索快照里的索引和搜索本地的索引，语法完全一样。 如何判断一个索引是在快照还是本地磁盘呢？可以查看索引设置里的 settings.index.store.type 如果是 remote_snapshot ，说明是快照中的数据。如果是空值，则是集群本地的数据。
这次迁移，节省了 6 台主机资源。更重要的是，用上对象存储后，主机磁盘空间压力骤减。
这次介绍就到这里了，有问题联系我。

关于 Easysearch

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

官网文档：https://infinilabs.com/docs/latest/easysearch

您是否遇到过以下问题？

• 当前部分原始日志压缩归档存放到 HDFS，但不能直接灵活查询；
• 使用 Elasticsearch 存储日志，开销较大，硬件资源投入较高；
• 当前日志集群不断增长，存储接近 PB 量级，且还在不断接入新的数据；
• 希望降低日志保留成本，同时满足按需查询的需求，平衡性能和成本；
• 集群规模大，分片过多，管理存在挑战，希望降低维护成本等。

针对使用 Elasticsearch 来作为日志存储的以上痛点，INFINI Labs 推出的 Easysearch 提供了若干存储优化的解决方案：

• 优化措施一：集成高效压缩算法 Easysearch 采用业界最先进的 Zstd 压缩算法，高压缩率，低 CPU 消耗，针对 Doc Values、Store 字段进行高度无缝压缩，不影响正常的使用体验，可以降低 50% 的存储开销。
• 优化措施二：无缝去除 Source 字段 Easysearch 利用 DocValues 和 BKD Tree 来重建 Source，合并冗余存储，不影响日志的正常检索和查看，可以大幅降低存储需求，在一些指标场景，甚至可以降低 80% 的存储开销。
• 优化措施三：归档数据直接检索 您是否还在通过关闭索引来降低海量数据带来的集群压力，或者您是否已经将快照备份直接放到 S3 或者 HDFS 中了，现在通过 Easysearch 提供的归档数据的直接检索能力，可以进一步释放本地节点的磁盘空间，进而释放物理机器资源，并根据需要按需查询归档索引，而不需要恢复归档再查询，简单方便。

通过以上优化举措，我们可以用不到一半的机器即可承载原有的数据，并且结合 Easysearch 内置其它的内核优化，索引和查询性能也将大幅提升，同时集群更加稳定可靠。

快来与 INFINI Labs 的技术专家面对面，第一时间了解极限实验室的发布最新产品和功能特性，通过动手实战，快速掌握最前沿的搜索技术，并用于实际项目中。活动免费，欢迎报名参加。

活动时间：2024 年 1 月 18 日 13:30～17:30
活动地点：北京市海淀区 Wework 辉煌时代大厦 3 楼 3E 会议室

分享议题

• Easysearch 总体介绍及搭建实战
• Easysearch 存储优化原理与实践
• Elasticsearch -> Easysearch 在线迁移实操
• Console、Gateway、Loadgen 及 INFINI Labs 其他工具介绍与使用

参会提示

• 请务必自备电脑（Windows 系统环境请提前安装好 Linux 虚拟机）
• 请提前在 INFINI Labs 官网下载对应平台最新安装包（INFINI Easysearch、INFINI Gateway、INFINI Console）
• 下载地址：https://www.infinilabs.com/download
• 如有任何疑问可添加 INFINI Labs 小助手（微信号: INFINI-Labs）进行联系

活动报名

名额有限，对 Easysearch 搜索引擎感兴趣的朋友们速度报名（扫描海报中二维码或点击此处 链接 即可免费报名）。

INFINI Labs 产品又更新啦~，包括 Console v1.14.0，Gateway 1.21.0。其中 Console 数据迁移支持 Percentiles 均匀分区，修复已知 Bug 等。以下是本次更新的详细说明。

INFINI Console v1.14.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Features

• 数据迁移支持 decimal 类型分区设置
• 数据迁移支持 number 类型均匀分区

Bug fix

• 修复告警恢复后，新周期内没有发送告警通知消息的问题

INFINI Gateway v1.21.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Bug fix

• fix log error when temp file was missing

INFINI Framework

INFINI Framework 是 INFINI Labs 各产品依赖的内部核心公共代码库。

Framework 本次更新如下：

• feat: support even partition
• feat: support nested object
• fix log error when temp file was missing

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.com/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com

INFINI Labs 产品又更新啦~，包括 Easysearch v1.7.0、Console v1.13.0。本次各产品更新了 Easysearch 快照搜索功能；Console 支持 OpenSearch 集群存储系统数据、优化了初始化安装向导流程等。

以下是本次更新的详细说明。

INFINI Easysearch v1.7.0

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Features

发布快照搜索功能 Beta 版本，此功能旨在提高对已备份数据的使用效率。让用户利用对象存储（如 AWS S3、MinIO、Microsoft Azure Storage、Google Cloud Storage 等）技术来大幅降低存储成本。

Bug fix

• 修复单个节点场景下，从快照恢复多个 shard 的索引时，恢复不完整的问题
• 修复无法删除索引已关联的 ILM 策略问题

Improvements

• 初始化脚本优化，新增重复执行判断

INFINI Console v1.12.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Features

支持 OpenSearch 集群存储系统数据

Bug fix

• 优化初始化安装流程
• 新增探针初始化配置
• 安装向导，新增凭据检查功能
• 安装向导，新增管理员密码重置功能
• 探针管理，支持自动关联 Auto Enroll

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.com/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com

INFINI Labs 产品又更新啦~，本次更新主要对 Easysearch、Gateway、Console、Agent 等产品功能进行优化和相关 Bug 修复，解决了内存异常增长等问题，以下是详细说明。

INFINI Easysearch v1.6.2

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Bug fix

• 修复跨集群复制（CCR）不能对自动滚动生成的索引进行同步的问题

Improvements

• 优化初始化脚本，增加-s/-slient 参数，自动安装。
• 新增含 jdk/plugins 的 bundle 安装包

INFINI Gateway v1.20.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Bug fix

• 修复由 Framework Bug 造成连接数不释放、内存异常增长的问题

Improvements

• 增加配置，允许设置 fasthttp client 相关参数

INFINI Console v1.12.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Bug fix

• 修复数据探索 multi fields 字段计算 top values 报错的问题
• 修复由 Framework Bug 造成连接数不释放、内存异常增长的问题
• 修复内网模式下静态资源远程加载的问题
• 修复数据看板数据源配置校验异常的问题

Improvements

• 优化数据探索计算 top values，使用先采样后，后取 top values
• 可通过配置参数 http_client.read_buffer_size 设置读取缓存大小，解决开发工具执行命令时，默认缓存太小的问题

INFINI Agent v0.7.1

INFINI Agent 是 INFINI Console 的一个可选探针组件，负责采集和上传集群指标和日志等信息，并可通过 Console 管理。Agent 支持主流操作系统和平台，安装包轻量且无任何外部依赖，可以快速方便地安装。

Agent 本次更新如下：

Features

• 添加 http processor

Bug fix

• 修复由 Framework Bug 造成连接数不释放、内存异常增长的问题

Improvements

• 进一步优化内存占用，降到 50M 以下

INFINI Framework

INFINI Framework 是 INFINI Labs 各产品依赖的内部核心公共代码库。

Framework 本次更新如下：

• fix: fix the issue of disk queue was blocked
• chore: checkout specify branch before pull

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.com/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com

INFINI Labs 产品又更新啦~，本次更新概要如下：发布 Easysearch-client Java 客户端，开发者通过 client 与 Easysearch 集群的交互变得更加简洁和直观；Console 开发工具新增 SQL 特性，支持 SELECT 查询等语法高亮和自动提示等；Gateway 的系统 API 添加了基于基本身份验证的安全功能。

以下是本次更新的详细说明。

INFINI Easysearch-client v1.0.1

正式发布 Easysearch Java 客户端。

这一里程碑式的更新为开发人员带来了前所未有的便利性，使得与 Easysearch 集群的交互变得更加简洁和直观。现在，通过 Easysearch-client 客户端，开发者可以直接使用 Java 方法和数据结构来进行交互，而不再需要依赖于传统的 HTTP 方法和 JSON。这一变化大大简化了操作流程，使得数据管理和索引更加高效。高级客户端的功能范围包括处理数据操作，管理集群，包括查看和维护集群的健康状态，并对 Security 模块全面兼容。它提供了一系列 API，用于管理角色、用户、权限、角色映射和账户。这意味着安全性和访问控制现在可以更加细粒度地管理，确保了数据的安全性和合规性。

使用说明参见：快速开始

INFINI Console v1.11.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Features

• 开发工具 SQL 查询支持
  • 支持 SELECT 查询及语法高亮
  • 支持索引和字段自动提示
  • 支持 FROM 前置语法

Bug fix

• 修复平台概览集群指标为空的问题

Improvements

• LDAP 支持从 DN 中解析 OU 属性
• 集群动态优化显示，新增节点名称和索引名称的聚合统计过滤

INFINI Gateway v1.19.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Features

• 添加 http 处理器
• 在 API 模块中添加基于基本身份验证的安全性
• 允许将自身注册到配置管理器
• 允许在配置错误时触发 panic

Bug fix

• 修复 rewrite_to_bulk 在较新版本中缺少 _type 的问题
• 修复 rewrite_to_bulk，支持无索引文档操作

Improvements

• 更新测试，断言解析结果

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.com/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com

近年来，日志管理平台越来越流行。使用日志管理平台可以实时地、统一地、方便地管理和查看日志，挖掘日志数据价值，驱动运维、运营，提升服务管理效率。

方案架构

• Beats 是轻量级采集器，包括 Filebeat、Metricbeat 等。
• Easysearch 是个分布式搜索引擎，提供搜集、分析、存储数据等主要功能。
• Console 是一个可视化工具，提供可视化查询，制作报表等功能。

本文将搭建一个统一日志管理平台。使用 Filebeat 采集 OS 中的日志（其他日志大同小异），发送到 Easysearch 中。最后通过 Console 进行日志的可视化查询与分析。

操作步骤

1. 准备工作
   • 部署 Easysearch
     • 编辑 easysearch.yml 文件，打开注释 elasticsearch.api_compatibility: true
   • 部署 Console
2. 安装并配置 Filebeat
   • 下载 Filebeat，版本建议选择 7.10.2。下载地址：https://www.elastic.co/cn/downloads/past-releases/filebeat-oss-7-10-2
   • 修改配置 filebeat.yml 文件

setup.template.name: "filebeat"
setup.template.pattern: "system-log*"
setup.template.fields: "${path.config}/fields.yml"

output.elasticsearch:
    hosts: ["localhost:9200"]
    protocol: "https"
    ssl.verification_mode: none
    username: "admin"
    password: "4ad8f8f792e81cd0a6de"
    index: "system-log"

3. 启用 system 模块并导入 pipeline

./filebeat modules enable system
./filebeat setup --pipelines --modules system

4. 创建索引模板及初始索引，使用 ZSTD+SOURCE_REUSE 技术节省磁盘空间

PUT _template/system_log
{
    "order": 100,
  "index_patterns": [
      "system_log*"
    ],
      "settings": {
        "index": {
          "format": "7",
          "lifecycle": {
          "name": "ilm_.infini_metrics-30days-retention",
          "rollover_alias": "system_log"
        },
        "codec": "ZSTD",
        "source_reuse": true,
        "number_of_shards": "1",
        "translog": {
          "durability": "async"
        }
      }
    },
    "mappings": {
      "dynamic_templates": [
        {
          "strings": {
            "mapping": {
              "ignore_above": 256,
              "type": "keyword"
            },
            "match_mapping_type": "string"
          }
        }
      ]
    }
}

PUT system-log-00001
{
    "aliases":{
    "system-log":{
      "is_write_index":true
    }
  }
}

5. 启动 filebeat

nohup ./filebeat -c filebeat.yml 2>&1>/dev/null &

6. 进入 Console 查看、搜索日志
   
7. 进入 Console 创建 dashboard 进行日志分析