背景

在 Easysearch 的各种使用场景中，高写入吞吐量的场景占了很大一部分，由此也带来了一些使用上的问题，很多用户由于使用经验不足，对集群的写入压测进行的不够充分，不能很好的规划集群的写入量。

导致经常发生以下问题：

• 写入吞吐量过大对内存影响巨大，引发节点 OOM，节点掉线问题。
• 对 CPU 和内存的占用严重影响了其他的查询业务的响应。
• 以及磁盘 IO 负载增加，挤占集群的网络带宽等问题。

之前就有某金融保险类客户遇到了因业务端写入量突然猛增导致数据节点不停的 Full GC，进而掉入了不停的掉线，上线，又掉线的恶性循环中。当时只能建议用户增加一个类似“挡板”的服务，在数据进入到集群之前进行拦截，对客户端写入进行干预限流：

这样做虽然有效，但是也增加了整个系统的部署复杂性，提高了运维成本。

根据客户的实际场景，Easysearch 从 1.8.0 版本开始引入了节点和 Shard 级别的限流功能，不用依赖第三方就可以限制写入压力，并在 1.8.2 版本增加了索引级别的写入限流。 注意：所有写入限流都是针对各数据节点的 Primary Shard 写入进行限流的，算上副本的话吞吐量要乘以 2。

限流示意图：

下面是限流前后相同数据节点的吞吐量和 CPU 对比：

测试环境：

ip       name   http          port version role master
10.0.0.3 node-3 10.0.0.3:9209 9303 1.8.0   dimr -
10.0.0.3 node-4 10.0.0.3:9210 9304 1.8.0   im   -
10.0.0.3 node-2 10.0.0.3:9208 9302 1.8.0   dimr -
10.0.0.3 node-1 10.0.0.3:9207 9301 1.8.0   dimr *

测试索引配置：

PUT test_0
{
  "settings": {
    "number_of_replicas": 1,
    "number_of_shards": 3
  }
}

压测工具：采用极限科技的 INFINI Loadgen 压测，这款压测工具使用简单，可以方便对任何支持 Rest 接口的库进行压测。

压测命令：

 ./loadgen-linux-amd64 -d 180 -c 10 -config loadgen-easy-1.8.yml

压测 180 秒，10 个并发，每个 bulk 请求 5000 条。

节点级别限流

通过 INFINI Console 监控指标可以看到，限流之前的某个数据节点，CPU 占用 10%，每秒写入 40000 条左右：

在 Cluster Settings 里配置，启用节点级别限流，限制每个节点的每秒最大写入 10000 条，并在默认的 1 秒间隔内进行重试，超过默认间隔后直接拒绝。

PUT _cluster/settings
{
  "transient": {
    "cluster.throttle.node.write": true,
    "cluster.throttle.node.write.max_requests": 10000,
    "cluster.throttle.node.write.action": "retry"
  }
}

限流后，CPU 占用降低了约 50%，算上副本一共 20000 条每秒：

Shard 级别限流

设置每个分片最大写入条数为 2000 条每秒

PUT _cluster/settings
{
  "transient": {
    "cluster.throttle.shard.write": true,
    "cluster.throttle.shard.write.max_requests": 2000,
    "cluster.throttle.shard.write.action": "retry"
  }
}

集群级别的监控，同样是只针对主 Shard。

从 Console 的监控指标可以看出，索引 test_0 的 Primary indexing 维持在 6000 左右，正好是 3 个主分片限制的 2000 的写入之和。

再看下数据节点监控，Total Shards 表示主分片和副本分片的写入总和即 4000，单看主分片的话，正好是 2000.

索引级别限流

有时，集群中可能某个索引的写入吞吐过大而影响了其他业务，也可以针对特定的索引配置写入限制。 可以在索引的 Settings 里设置当前索引每秒写入最大条数为 6000：

PUT test_0
{
  "settings": {
    "number_of_replicas": 1,
    "number_of_shards": 3,
    "index.throttle.write.max_requests": 6000,
    "index.throttle.write.action": "retry",
    "index.throttle.write.enable": true
  }
}

下图索引的 Primary indexing 在 6000 左右，表示索引的所有主分片的写入速度限制在了 6000。

总结

通过本次测试对比，可以看出限流的好处：

1. 有效控制写入压力： 写入限流功能能够有效限制每个节点和每个 Shard 的写入吞吐量，防止因写入量过大而导致系统资源被过度消耗的问题。

2. 降低系统资源占用： 在限流前，某数据节点的 CPU 占用率约为 10%。限流后，CPU 占用率显著降低至约 5%，减少了约 50%。这表明在高并发写入场景下，写入限流功能显著降低了系统的 CPU 负载。

3. 提高系统稳定性： 通过控制写入吞吐量，避免了频繁的 Full GC 和节点掉线问题，从而提升了系统的整体稳定性和可靠性。

4. 保障查询业务性能： 写入限流功能减少了写入操作对 CPU 和内存的占用，确保其他查询业务的响应性能不受影响。

综上所述，写入限流功能在高并发写入场景下表现出色，不仅有效控制了写入压力，还显著降低了系统资源占用，从而提高了系统的稳定性和查询业务的性能。

关于 Easysearch 有奖征文活动

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

作者：张磊

原文：https://infinilabs.cn/blog/2024/easysearch-new-feature-write-throttling-introduction/

什么是 Easysearch

Elasticsearch 是一个基于 Apache Lucene 的开源分布式搜索和分析引擎，它被广泛应用于全文搜索、结构化搜索和分析等多种场景中。作为 Elasticsearch 的国产化替代方案，Easysearch 不仅保持了与原生 Elasticsearch 的高度兼容性，还在功能、性能、稳定性和扩展性方面进行了全面提升。对于开发团队来说，从 Elasticsearch 切换到 Easysearch 不需要做任何业务代码的调整，确保了无缝衔接和平滑迁移。

Easysearch 是基于 Elasticsearch 7.10.2 开源版本二次开发，所以支持 Elasticsearch 原始的 Query DSL 语法，基本的 SQL 语法，并且兼容现有 Elasticsearch 的 SDK，使得应用无需修改代码即可进行迁移。其平滑的迁移特性，如基于网关的无缝跨版本迁移与升级，提供了随时安全回退的能力。

在之前的文章中，我们已经介绍了 Easysearch 的搭建 和 可视化工具的使用，今天我们将探讨 Easysearch 集群的基本概念和常用的 API。

Easysearch 集群的核心概念

Easysearch 集群由以下几个核心概念构成：

1. 节点（Node）：集群中的单个服务器，负责存储数据并参与集群的索引和搜索功能。
2. 集群（Cluster）：由一个或多个节点组成，拥有唯一的集群名，协同完成数据索引和查询任务。
3. 索引（Index）：存储相关数据的容器，类似于关系数据库中的数据库，一个索引包含多个文档。
4. 文档（Document）：索引中的基本数据单位，相当于关系数据库中的行。
5. 字段（Field）：文档中的一个属性，相当于数据库中的列。
6. 分片（Shard）：为了提高性能和扩展性，索引可以被分割成多个分片，每个分片是索引的一个部分。
7. 副本（Replica）：分片的副本，用于提高数据的可靠性和在节点出现故障时的可用性。

通过多个 API，例如 _cluster/health 和 _cluster/stats，用户可以轻松查看集群的健康状态和详细信息，这些信息对于维护和优化 Easysearch 集群至关重要。

无论是在性能的提升，还是在功能的兼容性方面，Easysearch 都为用户提供了一个强大的搜索引擎平台，让从 Elasticsearch 到 Easysearch 的迁移变得无缝且高效。掌握其核心概念和 API 的使用，将帮助开发者更好地利用这些工具来构建和优化他们的搜索解决方案。

查看集群信息

在 Easysearch 中，可以通过多个 API 来查看集群的各种信息，包括集群的健康状况、节点信息和索引状态。以下是一些常用的查看集群信息的 API 和示例：

查看集群健康状况

_cluster/health API 可以查看集群的健康状态，包括集群是否处于正常状态、节点数量、分片状态等。

GET /_cluster/health

示例响应：

{
  "cluster_name": "my_cluster",
  "status": "green",
  "timed_out": false,
  "number_of_nodes": 3,
  "number_of_data_nodes": 3,
  "active_primary_shards": 5,
  "active_shards": 10,
  "relocating_shards": 0,
  "initializing_shards": 0,
  "unassigned_shards": 0,
  "delayed_unassigned_shards": 0,
  "number_of_pending_tasks": 0,
  "number_of_in_flight_fetch": 0,
  "task_max_waiting_in_queue_millis": 0,
  "active_shards_percent_as_number": 100.0
}

查看集群状态

_cluster/stats API 可以查看集群的详细状态，包括索引、节点、分片等信息。

GET /_cluster/stats

示例响应：

{
  "cluster_name": "my_cluster",
  "status": "green",
  "indices": {
    "count": 10,
    "shards": {
      "total": 20,
      "primaries": 10,
      "replication": 1.0,
      "index": {
        "shards": {
          "min": 1,
          "max": 5,
          "avg": 2.0
        }
      }
    }
  },
  "nodes": {
    "count": {
      "total": 3,
      "data": 3,
      "coordinating_only": 0,
      "master": 1,
      "ingest": 2
    },
    "os": {
      "available_processors": 12,
      "allocated_processors": 12
    },
    "process": {
      "cpu": {
        "percent": 10
      },
      "open_file_descriptors": {
        "min": 100,
        "max": 300,
        "avg": 200
      }
    }
  }
}

查看节点信息

_nodes API 可以查看集群中节点的详细信息，包括节点角色、IP 地址、内存使用情况等。

GET /_nodes

示例响应：

{
  "cluster_name": "my_cluster",
  "nodes": {
    "node_id_1": {
      "name": "node_1",
      "transport_address": "192.168.1.1:9300",
      "host": "192.168.1.1",
      "ip": "192.168.1.1",
      "roles": ["master", "data", "ingest"],
      "os": {
        "available_processors": 4,
        "allocated_processors": 4
      },
      "process": {
        "cpu": {
          "percent": 10
        },
        "open_file_descriptors": 200
      }
    },
    "node_id_2": {
      "name": "node_2",
      "transport_address": "192.168.1.2:9300",
      "host": "192.168.1.2",
      "ip": "192.168.1.2",
      "roles": ["data"],
      "os": {
        "available_processors": 4,
        "allocated_processors": 4
      },
      "process": {
        "cpu": {
          "percent": 15
        },
        "open_file_descriptors": 150
      }
    }
  }
}

查看索引状态

_cat/indices API 可以查看集群中所有索引的状态，包括文档数、存储大小、分片数等信息。

GET /_cat/indices?v

示例响应：

health status index   uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   index_1 SxNUd84vRl6QH5P7g0T4Vg   1   1          0            0       230b           230b
green  open   index_2 NxEYib4yToCnA1PpQ8P4Xw   5   1        100            1      10mb           5mb

这些 API 可以帮助你全面了解 Easysearch 集群的状态和健康状况，从而更好地管理和维护集群。

增删改查操作

在 Easysearch 中，增删改查操作是管理数据和索引的基本功能。以下是如何使用这些操作的详细示例。

创建索引

创建一个新的索引，并指定分片和副本的数量：

PUT /my_index
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 2
  }
}

删除索引

删除一个不再需要的索引：

DELETE /my_index

添加文档

通过 POST 或 PUT 请求向索引中添加文档：

POST /my_index/_doc/1
{
  "name": "John Doe",
  "age": 30,
  "occupation": "Engineer"
}

PUT /my_index/_doc/1
{
  "name": "John Doe",
  "age": 30,
  "occupation": "Engineer"
}

POST 和 PUT 方法用于不同的操作，尽管它们都可以用于添加或更新文档，但它们的行为有所不同。

POST /my_index/_doc/1 方法用于创建或替换一个文档。如果指定的文档 ID 已经存在，POST 请求将更新整个文档（不会合并字段）。如果文档 ID 不存在，它将创建一个新的文档。

POST /my_index/_doc/1
{
  "name": "John Doe",
  "age": 30,
  "occupation": "Engineer"
}

PUT /my_index/_doc/1 方法通常用于创建一个新的文档，或者完全替换一个已存在的文档。与 POST 类似，如果指定的文档 ID 已经存在，PUT 请求将替换整个文档。

PUT /my_index/_doc/1
{
  "name": "John Doe",
  "age": 30,
  "occupation": "Engineer"
}

1.使用场景：

• POST：更适合用于添加或部分更新文档，即使文档 ID 已经存在。
• PUT：更适合用于创建或完全替换文档。

2.ID 自动生成：

• POST 请求可以不提供文档 ID，此时 Easysearch 会自动生成一个文档 ID。
• PUT 请求必须提供文档 ID，如果未提供，则会返回错误。

3.部分更新：

• POST 请求可以用于部分更新（通过 _update API）。
• PUT 请求用于完全替换文档，不支持部分更新。

如果文档 ID 已经存在，POST 和 PUT 都会覆盖整个文档，并且效果是一样的。但是，通常 POST 用于提交数据，而 PUT 用于上传和替换资源。

1.使用 POST 方法添加或更新文档：

POST /my_index/_doc/1
{
  "name": "John Doe",
  "age": 30,
  "occupation": "Engineer"
}

2.使用 PUT 方法添加或更新文档：

PUT /my_index/_doc/1
{
  "name": "John Doe",
  "age": 30,
  "occupation": "Engineer"
}

在这两个示例中，结果都是在索引 my_index 中创建或更新文档 ID 为 1 的文档。无论使用 POST 还是 PUT，如果文档 ID 已存在，都会覆盖原有的文档内容。

新建文档

使用 _create 方法新建文档，如果文档已经存在则返回错误：

PUT /my_index/_create/1
{
  "a": 1
}

如果尝试新建已存在的文档，将会出现如下错误：

{
  "error": {
    "root_cause": [
      {
        "type": "version_conflict_engine_exception",
        "reason": "[1]: version conflict, document already exists (current version [1])",
        "index_uuid": "1xWdHLTaTm6l6HbqACaIEA",
        "shard": "0",
        "index": "my_index"
      }
    ],
    "type": "version_conflict_engine_exception",
    "reason": "[1]: version conflict, document already exists (current version [1])",
    "index_uuid": "1xWdHLTaTm6l6HbqACaIEA",
    "shard": "0",
    "index": "my_index"
  },
  "status": 409
}

获取文档

通过 ID 获取文档的详细信息：

GET /my_index/_doc/1

更新文档

更新文档的特定字段，保留原有字段：

POST /my_index/_update/1
{
  "doc": {
    "age": 31
  }
}

删除文档

通过 ID 删除指定的文档：

DELETE /my_index/_doc/1

查询所有文档

查询索引中的所有文档：

GET /my_index/_search
{
  "query": {
    "match_all": {}
  }
}

这个是 《老杨玩搜索》中总结的图，可以作为“小抄”来记忆：

批量操作 (_bulk API)

_bulk API 用于在一次请求中执行多个索引、删除和更新操作，这对于批量处理大规模数据非常有用，可以显著提高性能和效率。以下是 _bulk API 的基本使用示例：

POST /my_index/_bulk
{ "index": { "_id": "1" } }
{ "name": "John Doe", "age": 30, "occupation": "Engineer" }
{ "index": { "_id": "2" } }
{ "name": "Jane Doe", "age": 25, "occupation": "Designer" }
{ "update": { "_id": "1" } }
{ "doc": { "age": 31 } }

_bulk API 的请求体由多个操作和文档组成。每个操作行包含一个动作描述行和一个可选的源文档行。动作描述行指明了操作的类型（例如，index、create、delete、update）以及操作的元数据。源文档行则包含了实际的数据。

每个操作之间需要用换行符分隔，并且请求体最后必须以换行符结尾。

POST /_bulk
{ "index": { "_index": "a", "_id": "1" } }
{ "name": "John Doe", "age": 30, "occupation": "Engineer" }
{ "index": { "_index": "b", "_id": "2" } }
{ "name": "Jane Doe", "age": 25, "occupation": "Designer" }
{ "update": { "_index": "a", "_id": "1" } }
{ "doc": { "age": 31 } }

分词器

在 Easysearch 中，分词器（Analyzer）用于将文本分解为词项（terms），是全文搜索和文本分析的基础。分词器通常由字符过滤器（Character Filters）、分词器（Tokenizer）和词项过滤器（Token Filters）组成。以下是关于分词器的详细介绍：

1.字符过滤器（Character Filters）：在分词之前对文本进行预处理。例如，去除 HTML 标签，替换字符等。

2.分词器（Tokenizer）：将文本分解为词项（tokens）。这是分词过程的核心。

3.词项过滤器（Token Filters）：对词项进行处理，如小写化、去除停用词、词干提取等。

只有 text 字段支持全文检索，返回的结果根据相似度打分，我们一起看下

POST /index/_mapping
{
  "properties": {
    "content": {
      "type": "text",
      "analyzer": "ik_max_word",
      "search_analyzer": "ik_smart"
    }
  }
}

.POST /index/_mapping

• 这个部分表示要向名为 index 的索引添加或更新映射设置。

2.“properties”

• properties 定义了索引中文档的字段结构。在这个例子中，定义了一个名为 content 的字段。

3.“content”

• 定义了名为 content 的字段。

4.“type”: “text”

type 字段指定 content 字段的数据类型为 text。text 类型适用于需要分词和全文搜索的字段。

5.“analyzer”: “ik_max_word”

analyzer 字段指定索引时使用的分词器为ik_max_word。ik_max_word 是 IK 分词器中的一种，它会尽可能多地将文本分解为更多的词项。

6.“search_analyzer”: “ik_smart”

search_analyzer 字段指定搜索时使用的分词器为ik_smart。ik_smart 是 IK 分词器中的另一种，它会更智能地进行分词，以提高搜索的准确性。

当然，在设置这个 mapping 的时候可以使用同样的分词器，也可以使用不同的分词器。这里介绍下 IK 分词器：

• IK 分词器是一种中文分词器，适用于中文文本的分词。IK 分词器有两种分词模式：ik_max_word 和ik_smart。
  • ik_max_word：将文本尽可能多地切分成词项，适用于需要更高召回率的场景。
  • ik_smart：进行最智能的分词，适用于需要更高精度的搜索场景。

这个 DSL 的设置意味着，在向这个索引添加或更新文档时，content 字段的文本会使用ik_max_word 分词器进行分词处理，以确保文本被尽可能多地切分成词项。而在搜索时，content 字段的文本会使用ik_smart 分词器进行分词处理，以提高搜索的准确性和相关性。

以下是关于 standard，ik_smart，ik_max_word 这几个分词器的对比：

GET /_analyze
{
  "tokenizer": "standard",
  "text": "我,机器人"
}

GET /_analyze
{
  "tokenizer": "ik_smart",
  "text": "我,机器人"
}

GET /_analyze
{
  "tokenizer": "ik_max_word",
  "text": "我,机器人"
}

结果如下：

# GET /_analyze （standard）
{
  "tokens": [
    {
      "token": "我",
      "start_offset": 0,
      "end_offset": 1,
      "type": "<IDEOGRAPHIC>",
      "position": 0
    },
    {
      "token": "机",
      "start_offset": 2,
      "end_offset": 3,
      "type": "<IDEOGRAPHIC>",
      "position": 1
    },
    {
      "token": "器",
      "start_offset": 3,
      "end_offset": 4,
      "type": "<IDEOGRAPHIC>",
      "position": 2
    },
    {
      "token": "人",
      "start_offset": 4,
      "end_offset": 5,
      "type": "<IDEOGRAPHIC>",
      "position": 3
    }
  ]
}
# GET /_analyze（ik_smart）
{
  "tokens": [
    {
      "token": "我",
      "start_offset": 0,
      "end_offset": 1,
      "type": "CN_CHAR",
      "position": 0
    },
    {
      "token": "机器人",
      "start_offset": 2,
      "end_offset": 5,
      "type": "CN_WORD",
      "position": 1
    }
  ]
}
# GET /_analyze （ik_max_word）
{
  "tokens": [
    {
      "token": "我",
      "start_offset": 0,
      "end_offset": 1,
      "type": "CN_CHAR",
      "position": 0
    },
    {
      "token": "机器人",
      "start_offset": 2,
      "end_offset": 5,
      "type": "CN_WORD",
      "position": 1
    },
    {
      "token": "机器",
      "start_offset": 2,
      "end_offset": 4,
      "type": "CN_WORD",
      "position": 2
    },
    {
      "token": "人",
      "start_offset": 4,
      "end_offset": 5,
      "type": "CN_CHAR",
      "position": 3
    }
  ]
}

如果使用了不存在的分词器会出现这个错误。

{
  "error": {
    "root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "failed to find global tokenizer under [simple]"
      }
    ],
    "type": "illegal_argument_exception",
    "reason": "failed to find global tokenizer under [simple]"
  },
  "status": 400
}

精确搜索/正则表达式搜索/通配符

在 Easysearch 中，精确搜索、正则表达式搜索和通配符搜索是三种不同的搜索方式，各有其应用场景和特点：

1.精确搜索 (Term Query)：

• 精确搜索用于查找与搜索词完全匹配的文档。
• 不进行分词处理，通常用于关键字、ID、标签等字段的精确匹配。
• 适用于结构化数据或不需要分词的字段（如数字、日期、布尔值等）。

{
  "query": {
    "term": {
      "status": "active"
    }
  }
}

2.正则表达式搜索 (Regexp Query)：

• 正则表达式搜索用于基于正则表达式模式匹配的文档搜索。
• 支持复杂的字符串匹配模式，但性能可能较低，特别是当数据量较大时。
• 适用于需要灵活且复杂匹配条件的搜索。

{
  "query": {
    "regexp": {
      "content": "Easysearch .*powerful"
    }
  }
}

3.通配符搜索 (Wildcard Query)：

• 通配符搜索用于通过通配符模式匹配文档。
• 支持 ?（匹配单个字符）和 *（匹配零个或多个字符）。
• 性能相对较差，因为通配符搜索可能需要扫描大量数据。

{
  "query": {
    "wildcard": {
      "username": "john*"
    }
  }
}

• 精确搜索：用于需要绝对匹配特定词语或不需要分词的字段。例如，查找特定用户 ID 或状态。
• 正则表达式搜索：用于需要复杂字符串模式匹配的场景，但要谨慎使用，避免性能问题。
• 通配符搜索：用于简单模式匹配，但同样需要注意性能影响，尽量避免在大数据集上频繁使用。

接下来看这个例子，我们将使用批量导入数据，然后进行几种不同类型的查询，包括精确查询、通配符查询和正则表达式查询。

POST /users/_bulk
{ "index": { "_index": "users", "_id": 1 }}
{ "username": "john_doe", "status": "active", "email": "john.doe@example.com", "bio": "John loves Easysearch  and open-source technologies." }
{ "index": { "_index": "users", "_id": 2 }}
{ "username": "jane_doe", "status": "inactive", "email": "jane.doe@example.com", "bio": "Jane is a data scientist working with big data." }
{ "index": { "_index": "users", "_id": 3 }}
{ "username": "john_smith", "status": "active", "email": "john.smith@example.com", "bio": "John enjoys hiking and nature." }
{ "index": { "_index": "users", "_id": 4 }}
{ "username": "alice_jones", "status": "active", "email": "alice.jones@example.com", "bio": "Alice is a software engineer specialized in JavaScript." }
{ "index": { "_index": "users", "_id": 5 }}
{ "username": "bob_jones", "status": "inactive", "email": "bob.jones@example.com", "bio": "Bob is an AI enthusiast and machine learning expert." }

1.精确查询：查询状态为 “active” 的用户。

GET /users/_search
{
  "query": {
    "term": {
      "status": "active"
    }
  }
}

2.通配符查询：查询 bio 字段中包含 “John” 开头的词。

GET /users/_search
{
  "query": {
    "wildcard": {
      "bio": "John*"
    }
  }
}

3.正则表达式查询：查询用户名以 “john” 开头的用户

GET /users/_search
{
  "query": {
    "regexp": {
      "username": "john.*"
    }
  }
}

通过这些例子，你可以看到如何在 Easysearch 中使用批量导入数据，然后使用各种查询方法来检索特定条件的数据。这些查询方法可以帮助你高效地搜索和分析数据，以满足不同的业务需求。

这里同样是《老杨玩搜索》中总结的“小抄”来方便记忆：

多字段查询

在 Easysearch 中，多字段查询允许您在多个字段上同时执行搜索，以获取更精确的结果。最常用的多字段查询类型是 multi_match 查询。multi_match 查询是 match 查询的扩展，能够在多个字段中搜索指定的关键词。

multi_match 查询支持多种匹配模式，如 best_fields、most_fields、cross_fields、phrase 和 phrase_prefix。以下是各模式的简要介绍：

• best_fields：默认模式，选择匹配度最高的字段。
• most_fields：计算每个字段的匹配度，然后将匹配度相加。
• cross_fields：将多个字段视为一个字段进行匹配，适用于分析文本被分散到多个字段的情况。
• phrase：短语匹配，确保词项顺序与查询相同。
• phrase_prefix：短语前缀匹配，允许词项的部分匹配。

我们先导入一些示例数据到一个索引 documents 中：

POST /documents/_bulk
{ "index": { "_id": 1 } }
{ "title": "Easysearch  Guide", "content": "This is an introductory guide to Easysearch ." }
{ "index": { "_id": 2 } }
{ "title": "Advanced Easysearch ", "content": "This guide covers advanced topics in Easysearch ." }
{ "index": { "_id": 3 } }
{ "title": "Easysearch  in Action", "content": "Practical guide to Easysearch  usage." }
{ "index": { "_id": 4 } }
{ "title": "Learning Easysearch ", "content": "Beginner's guide to learning Easysearch ." }

我们将使用 multi_match 查询在 title 和 content 字段中同时搜索关键词。

1.基本 multi_match 查询：

POST /documents/_search
{
  "query": {
    "multi_match": {
      "query": "guide",
      "fields": ["title", "content"]
    }
  }
}

2.指定匹配模式为 best_fields：

POST /documents/_search
{
  "query": {
    "multi_match": {
      "query": "guide",
      "fields": ["title", "content"],
      "type": "best_fields"
    }
  }
}

3.指定匹配模式为 most_fields：

POST /documents/_search
{
  "query": {
    "multi_match": {
      "query": "guide",
      "fields": ["title", "content"],
      "type": "most_fields"
    }
  }
}

4.使用 cross_fields 模式：

POST /documents/_search
{
  "query": {
    "multi_match": {
      "query": "Easysearch  guide",
      "fields": ["title", "content"],
      "type": "cross_fields"
    }
  }
}

5.短语匹配 (phrase)：

POST /documents/_search
{
  "query": {
    "multi_match": {
      "query": "introductory guide",
      "fields": ["title", "content"],
      "type": "phrase"
    }
  }
}

6.短语前缀匹配 (phrase_prefix)：

POST /documents/_search
{
  "query": {
    "multi_match": {
      "query": "introductory gui",
      "fields": ["title", "content"],
      "type": "phrase_prefix"
    }
  }
}

• query：要搜索的关键词或短语。
• fields：要搜索的字段列表，可以包含一个或多个字段。
• type：指定匹配模式，默认为 best_fields。

使用 multi_match 查询，您可以在多个字段上同时执行搜索，获得更精确和全面的结果。通过指定不同的匹配模式，您可以调整查询行为以满足特定的搜索需求。无论是基本关键词匹配、短语匹配还是跨字段匹配，multi_match 查询都提供了强大的功能来处理复杂的搜索场景。

除此之外，还可以使用 boost 参数用于调整特定字段的权重，从而影响搜索结果的相关性评分。multi_match 查询支持为不同字段设置不同的 boost 值，以便在搜索结果中优先显示某些字段的匹配项。

布尔查询

布尔查询是 Easysearch 中非常强大且灵活的一种查询方式，它允许用户通过组合多个查询条件来实现复杂的搜索需求。布尔查询使用 bool 查询类型，可以包含以下几种子句：must、filter、must_not 和 should。每种子句都有其特定的用途和语义。

1.must：

• 包含在 must 数组中的查询条件必须匹配，类似于逻辑上的 AND 操作。
• 如果有多个条件，所有条件都必须满足，文档才会被包含在结果集中。

2.filter：

• 包含在 filter 数组中的查询条件必须匹配，但它不会影响评分。
• filter 子句通常用于对性能要求较高的过滤操作，因为它不计算相关性评分。

3.must_not：

• 包含在 must_not 数组中的查询条件必须不匹配，类似于逻辑上的 NOT 操作。
• 如果有任何一个条件匹配，文档就会被排除在结果集之外。

4.should：

• 包含在 should 数组中的查询条件至少匹配一个。
• 如果布尔查询中没有 must 子句，则至少要匹配一个 should 子句。
• should 子句在计算相关性评分时也有影响。

5.minimum_should_match：

• 指定 should 子句中至少需要满足的条件数量。

首先，我们需要创建一个名为 books 的索引，并定义它的映射（mappings）。映射用于指定每个字段的数据类型。在这个例子中，类别和书名字段都被定义为 keyword 类型，这是因为我们需要进行精确匹配查询。

PUT /books
{
  "mappings": {
    "properties": {
      "类别": { "type": "keyword" },
      "书名": { "type": "keyword" }
    }
  }
}

接下来，我们使用批量操作（bulk API）将一些示例数据导入到 books 索引中。这些数据包括不同类别的书籍。

POST /books/_bulk
{ "index": { "_id": 1 } }
{ "类别": "文学", "书名": "我的阿勒泰" }
{ "index": { "_id": 2 } }
{ "类别": "文学", "书名": "平凡的世界" }
{ "index": { "_id": 3 } }
{ "类别": "科学", "书名": "时间简史" }
{ "index": { "_id": 4 } }
{ "类别": "文学", "书名": "百年孤独" }
{ "index": { "_id": 5 } }
{ "类别": "文学", "书名": "红楼梦" }

现在，我们使用布尔查询来搜索类别为“文学”并且书名为“我的阿勒泰”的文档。这里使用的是 must子句，表示查询结果必须满足所有条件。

POST /books/_search
{
  "query": {
    "bool": {
      "must": [
        { "term": { "类别": "文学" } },
        { "term": { "书名": "我的阿勒泰" } }
      ]
    }
  }
}

我们还可以使用 filter 子句来执行相同的查询。filter 子句用于过滤文档，且不会影响文档的相关性评分。这在不需要计算相关性评分时可以提高查询性能。

POST /books/_search
{
  "query": {
    "bool": {
      "filter": [
        { "term": { "类别": "文学" } },
        { "term": { "书名": "我的阿勒泰" } }
      ]
    }
  }
}

当我们执行上述查询时，期望返回的结果是 books 索引中类别为“文学”且书名为“我的阿勒泰”的文档。无论是使用 must 还是 filter 子句，结果应该都是：

{
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "hits": [
      {
        "_index": "books",
        "_id": "1",
        "_source": {
          "类别": "文学",
          "书名": "我的阿勒泰"
        }
      }
    ]
  }
}

POST /_search
{
  "query": {
    "bool": {
      "must": [
        { "term": { "user.id": "kimchy" } }
      ],
      "filter": [
        { "term": { "tags": "production" } }
      ],
      "must_not": [
        {
          "range": {
            "age": { "gte": 10, "lte": 20 }
          }
        }
      ],
      "should": [
        { "term": { "tags": "env1" } },
        { "term": { "tags": "deployed" } }
      ],
      "minimum_should_match": 1,
      "boost": 1.0
    }
  }
}

• must 子句：必须匹配的条件，文档必须包含 user.id 为 kimchy。
• filter 子句：过滤条件，文档必须包含 tags 为 production ，但不会影响评分。
• must_not子句：不匹配的条件，文档的 age 字段不能在 10 到 20 之间。
• should 子句：可选匹配条件，至少需要匹配一个 should 子句中的条件。这里要求 tags 字段匹配 env1 或 deployed 。
• minimum_should_match：至少需要匹配一个 should 子句中的条件。
• boost：提升查询的整体评分。

为了展示这个 DSL ，我们需要创建一个索引并导入一些数据。假设我们要在 Easysearch 中创建一个索引 users ，并插入一些测试数据。

创建索引

PUT /users
{
  "mappings": {
    "properties": {
      "user.id": { "type": "keyword" },
      "tags": { "type": "keyword" },
      "age": { "type": "integer" }
    }
  }
}

批量导入数据

POST /users/_bulk
{ "index": { "_id": 1 } }
{ "user.id": "kimchy", "tags": ["production", "env1"], "age": 25 }
{ "index": { "_id": 2 } }
{ "user.id": "kimchy", "tags": ["production"], "age": 15 }
{ "index": { "_id": 3 } }
{ "user.id": "kimchy", "tags": ["deployed"], "age": 30 }
{ "index": { "_id": 4 } }
{ "user.id": "kimchy", "tags": ["test"], "age": 35 }
{ "index": { "_id": 5 } }
{ "user.id": "other", "tags": ["production"], "age": 25 }

接下来执行布尔查询：

POST /users/_search
{
  "query": {
    "bool": {
      "must": [
        { "term": { "user.id": "kimchy" } }
      ],
      "filter": [
        { "term": { "tags": "production" } }
      ],
      "must_not": [
        {
          "range": {
            "age": { "gte": 10, "lte": 20 }
          }
        }
      ],
      "should": [
        { "term": { "tags": "env1" } },
        { "term": { "tags": "deployed" } }
      ],
      "minimum_should_match": 1,
      "boost": 1.0
    }
  }
}

根据以上查询，预期返回的结果应该符合以下条件：

1. user.id必须是 kimchy（由 must 子句决定）。
2. tags 必须包含 production （由 filter 子句决定）。
3. age 字段不在 10 到 20 之间（由 must_not 子句决定）。
4. tags字段中至少包含 env1 或 deployed 中的一个（由 should 子句和 minimum_should_match 参数决定）。

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 1.3769134,
    "hits": [
      {
        "_index": "users",
        "_type": "_doc",
        "_id": "1",
        "_score": 1.3769134,
        "_source": {
          "user.id": "kimchy",
          "tags": ["production", "env1"],
          "age": 25
        }
      }
    ]
  }
}

SQL 搜索

Easysearch 直接支持 SQL 查询，无需额外安装插件，同时兼容 Elasticsearch 的 SQL 调用方式，还可以直接编写原生 SQL 查询。

以下是一些测试 SQL 语句的示例：

SELECT * FROM my_index;

SELECT * FROM my_index LIMIT 2;

SELECT * FROM my_index ORDER BY name;

SELECT name AS full_name, age FROM my_index WHERE age > 25;

SELECT name AS full_name, age FROM my_index WHERE age = 25;

SELECT * FROM my_index WHERE age IS NULL;

SELECT DISTINCT age FROM my_index;

SELECT MIN(age), MAX(age), AVG(age) FROM my_index;

SELECT age, COUNT(*) AS CNT FROM my_index GROUP BY age;

使用 Easysearch 执行 SQL 查询

Easysearch 提供了对直接使用 SQL 查询的支持。以下是如何在 Easysearch 中通过 POST 请求使用 _sql 端点进行查询的示例：

执行 SQL 查询非常简单，只需通过 POST 请求发送 SQL 查询即可。以下是一个示例：

POST /_sql
{
  "query": "SELECT name AS full_name, age FROM my_index WHERE age > 25"
}

你也可以规定返回 JSON 格式：

POST /_sql?format=json
{
  "query": "SELECT name AS full_name, age FROM my_index WHERE age > 25"
}

和 Elasticsearch 一样，Easysearch 允许你通过 POST 请求直接在集群上运行 SQL 查询，并返回查询结果。以下是一些常见的 SQL 查询示例及其对应的 POST 请求：

1.查询所有文档：

POST /_sql
{
  "query": "SELECT * FROM my_index"
}

2.限制返回文档数：

POST /_sql
{
  "query": "SELECT * FROM my_index LIMIT 2"
}

3.按字段排序：

POST /_sql
{
  "query": "SELECT * FROM my_index ORDER BY name"
}

4.筛选条件查询：

POST /_sql
{
  "query": "SELECT name AS full_name, age FROM my_index WHERE age > 25"
}

5.精确值查询：

POST /_sql
{
  "query": "SELECT name AS full_name, age FROM my_index WHERE age = 25"
}

6.查询空值：

POST /_sql
{
  "query": "SELECT * FROM my_index WHERE age IS NULL"
}

7.查询唯一值：

POST /_sql
{
  "query": "SELECT DISTINCT age FROM my_index"
}

8.聚合函数查询：

POST /_sql
{
  "query": "SELECT MIN(age), MAX(age), AVG(age) FROM my_index"
}

9.分组统计：

POST /_sql
{
  "query": "SELECT age, COUNT(*) AS CNT FROM my_index GROUP BY age"
}

多表操作的 SQL 语句

以下是多表操作的 SQL 语句及其解释：

1.子查询：

SELECT * FROM `table1` t1 WHERE t1.id IN (SELECT id FROM `table2`)

这个查询从 table1 中选择所有字段的记录，其中这些记录的 id 在 table2 表中也存在。

2.内连接：

SELECT * FROM `table1` t1 JOIN `table2` t2 ON t1.id = t2.id

这个查询进行内连接，从 table1 和 table2 中选择所有字段的记录，前提是 table1 和 table2 中 id 相等。

3.左连接：

SELECT * FROM `table1` t1 LEFT JOIN `table2` t2 ON t1.id = t2.id

这个查询进行左连接，从 table1 和 table2 中选择所有字段的记录，即使 table2 中没有匹配的记录，也会返回 table1 中的所有记录，未匹配到的部分会用 NULL 填充。

4.右连接：

SELECT * FROM `table1` t1 RIGHT JOIN `table2` t2 ON t1.id = t2.id

这个查询进行右连接，从 table1 和 table2 中选择所有字段的记录，即使 table1 中没有匹配的记录，也会返回 table2 中的所有记录，未匹配到的部分会用 NULL 填充。

假设我们有两个索引 table1 和 table2，对应于 SQL 中的两个表。

创建索引 table1：

PUT /`table1`
{
  "mappings": {
    "properties": {
      "id": { "type": "integer" },
      "name": { "type": "text" }
    }
  }
}

创建索引 table2：

PUT /`table2`
{
  "mappings": {
    "properties": {
      "id": { "type": "integer" },
      "value": { "type": "text" }
    }
  }
}

导入数据到 table1：

POST /`table1`/_bulk
{ "index": { "_id": 1 } }
{ "id": 1, "name": "Alice" }
{ "index": { "_id": 2 } }
{ "id": 2, "name": "Bob" }
{ "index": { "_id": 3 } }
{ "id": 3, "name": "Charlie" }
{ "index": { "_id": 4 } }
{ "id": 4, "name": "David" }

导入数据到 table2：

POST /`table2`/_bulk
{ "index": { "_id": 1 } }
{ "id": 1, "value": "Value1" }
{ "index": { "_id": 2 } }
{ "id": 2, "value": "Value2" }
{ "index": { "_id": 5 } }
{ "id": 5, "value": "Value5" }
{ "index": { "_id": 6 } }
{ "id": 6, "value": "Value6" }

导入数据后，可以使用 SQL 来执行这些查询：

1.子查询：

POST /_sql
{
  "query": "SELECT * FROM `table1` WHERE id IN (SELECT id FROM `table2`)"
}

2.内连接：

POST /_sql
{
  "query": "SELECT * FROM `table1` t1 JOIN `table2` t2 ON t1.id = t2.id"
}

3.左连接：

POST /_sql
{
  "query": "SELECT * FROM `table1` t1 LEFT JOIN `table2` t2 ON t1.id = t2.id"
}

4.右连接：

POST /_sql
{
  "query": "SELECT * FROM `table1` t1 RIGHT JOIN `table2` t2 ON t1.id = t2.id"
}

效果如下：

SQL 全文检索

match 和 match_phrase 是 Easysearch 中用于全文搜索的查询类型，它们在处理文本匹配方面有不同的用途：

1.match 查询：

• match 查询用于对文档进行全文搜索。
• 它将搜索关键词进行分词，并对这些分词后的词项进行搜索。
• 适用于查询单个或多个字段，可以进行布尔操作（如 “AND”, “OR”）。
• 例如，搜索 “Easysearch is powerful” 会被分词为 "Easysearch ", “is”, “powerful” 三个词，然后对这三个词进行搜索，文档中包含这些词的都会被认为是匹配的。

{
  "query": {
    "match": {
      "content": "Easysearch  is powerful"
    }
  }
}

2.match_phrase 查询：

• match_phrase 查询用于短语搜索。
• 它要求搜索的短语必须在文档中出现且词的顺序相同，词之间的间隔也必须与查询中的短语相同。
• 适用于需要精确匹配短语的场景。
• 例如，搜索 “Easysearch is powerful” 时，只有包含这个确切短语的文档才会被认为是匹配的。

{
  "query": {
    "match_phrase": {
      "content": "Easysearch  is powerful"
    }
  }
}

总结来说，match 更灵活，用于一般的关键词搜索，而 match_phrase 则用于需要精确匹配短语的搜索。

SQL 全文检索示例

我们先造一些数据，然后使用 SQL 来进行全文检索。

批量导入数据：

POST /table3/_bulk
{ "index": { "_id": 1 } }
{ "id": 1, "test": "The quick brown fox jumps over the lazy dog" }
{ "index": { "_id": 2 } }
{ "id": 2, "test": "Foxes are wild animals" }
{ "index": { "_id": 3 } }
{ "id": 3, "test": "Jump high to catch the ball" }
{ "index": { "_id": 4 } }
{ "id": 4, "test": "Some animals can jump very high" }
{ "index": { "_id": 5 } }
{ "id": 5, "test": "The lazy dog sleeps all day" }
{ "index": { "_id": 6 } }
{ "id": 6, "test": "The foxes jump all day" }

执行全文检索的 SQL 查询：

SELECT * FROM table3;

SELECT * FROM table3 WHERE match(test, 'jump');

SELECT * FROM table3 WHERE match_phrase(test, 'foxes jump');

总结

随着数据量的不断增加，高效的数据搜索和分析变得尤为重要。Elasticsearch 以其强大的全文搜索能力和灵活的数据处理能力成为行业标准。Easysearch 作为 Elasticsearch 的优化版本，不仅继承了其强大的功能，还在性能和安全性上做了进一步的提升，为企业提供了一个高效、稳定且易于迁移的搜索引擎解决方案。通过深入了解这些技术和实践其应用，开发者和企业能够更好地利用这些工具来应对现代数据挑战，推动业务的持续发展和创新。

关于 Easysearch 有奖征文活动

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

作者：韩旭，亚马逊云技术支持，亚马逊云科技技领云博主，目前专注于云计算开发和大数据领域。

原文：https://infinilabs.cn/blog/2024/mastering-easysearch-syntax/

上次在《INFINI Easysearch 尝鲜 Hands on》中，我们部署了两个节点的 Easysearch，并设置了 Console 进行集群监控。今天，我们将介绍 INFINI Console 的使用。

Dashboard

INFINI Console 是一个功能强大的数据管理和分析平台，其仪表盘页面提供了直观简洁的界面，使用户能够快速了解系统状态并进行管理操作。本文将详细介绍仪表盘页面的各项功能。

仪表盘顶部显示系统的实时告警、通知和待办事项的数量，当前数据显示：

• 告警：0 条
• 通知：0 条
• 待办：0 条

在仪表盘的中心区域，用户可以看到几项关键的系统概览信息：

• 集群数量：当前有 3 个集群正在运行。
• 节点数量：系统中有 16 个节点。
• 主机数量：共有 3 台主机。
• 已用存储：系统已使用存储空间为 2.0GB。

仪表盘页面还提供了几个常用操作的快速入口，方便用户迅速访问常用功能：

• 集群注册：用户可以通过此入口快速注册新的集群。
• 数据探索：用户可以访问数据探索工具，对系统中的数据进行分析和查询。
• 告警管理：提供对告警信息的管理功能，用户可以查看和处理告警。
• 安全管理：安全管理入口帮助用户维护系统的安全设置和策略。

仪表盘右侧显示了集群的动态信息，包括最近的操作日志。例如：

• 2024-07-03 22:43:43，index medcl 在 cluster infiniLabs 中的状态更新。
• 2024-07-03 22:06:43，index medcl 在 cluster infiniLabs 中被创建。

集群管理页面

集群管理页面主要分为几个部分：顶部的功能选项卡、中部的集群列表、以及右侧的筛选和排序选项。

页面顶部的功能选项卡包括以下几项：

• Clusters (集群)：显示当前系统中的所有集群。
• Nodes (节点)：显示集群中的节点详细信息。
• Indices (索引)：显示集群中的索引信息。
• Hosts (主机)：显示系统中的主机信息。

集群列表展示了每个集群的详细信息，包括：

• 集群名称：每个集群的名称，如 “infinilabs”、“mycluster”、“INFINI_SYSTEM (JeanGrey)”。
• 集群健康状态：以颜色条的形式显示最近 14 天的集群健康状态（绿色表示健康，黄色表示有警告）。
• 节点数量：集群中包含的节点数量。
• 索引数量：集群中的索引数量。
• 分片数量：集群中的分片数量。
• 文档数量：集群中存储的文档数量。
• 磁盘使用率：集群的磁盘使用情况。
• JVM 堆内存使用率：集群的 JVM 堆内存使用情况。
• 索引速率：当前集群的索引速率（每秒索引数）。
• 搜索速率：当前集群的搜索速率（每秒搜索数）。

页面右侧提供了丰富的筛选和排序选项，可以根据以下条件筛选和排序集群：

• 健康状态 (Health Status)：根据集群的健康状态筛选，如绿色（健康）和黄色（警告）。
• 分布 (Distribution)：根据集群的分布类型筛选，如 “easysearch” 和 “elasticsearch”。
• 版本 (Version)：根据集群使用的软件版本筛选，如 Easysearch 1.8.2 和 Elasticsearch 7.10.2。
• 区域 (Region)：根据集群所在的区域筛选，如 “china” 和 “default”。
• 标签 (Tags)：根据自定义标签进行筛选。

接下来分别介绍节点、索引和主机层面的信息，这些监控指标与集群层面大同小异。

节点监控

索引监控

主机监控

包括了常规的 CPU、内存、磁盘、网络的监控。

监控指标页面

监控报表页面提供了对集群运行状况的详细监控和分析功能。用户可以选择最近 15 分钟、1 小时、24 小时等不同时间范围查看数据，并手动点击刷新按钮更新数据，以获取最新的监控信息。

概览信息

显示当前集群的基本状态，包括：

• 集群名称：如 “infinilabs”。
• 在线时长：如 “3 天”。
• 集群版本：如 “1.8.2”。
• 健康状态：如 “green”。
• 节点数：如 “2”。
• 索引数：如 “38”。
• 主/总分片：如 “38/76”。
• 未分配分片：如 “0”。
• 文档数：如 “656,803”。
• 存储空间：如 “1007.2MB/385.4GB”。
• JVM 内存：如 “1023.0MB/2.0GB”。

监控报表页面还提供了多个性能指标的图表，包括：

索引吞吐 (doc/s)

• Total Indexing：总索引吞吐量。
• Primary Indexing：主分片的索引吞吐量。

查询吞吐 (query/s)

• Total Query：总查询吞吐量。

索引延迟 (ms)

• Indexing Latency：索引延迟时间。
• Delete Latency：删除操作的延迟时间。

查询延迟 (ms)

• Query Latency：查询延迟时间。
• Fetch Latency：获取操作的延迟时间。
• Scroll Latency：滚动操作的延迟时间。

点击“Advance”可以查看更多监控指标：

节点级别性能监控

包括 CPU、负载、JVM 内存、剩余使用空间及磁盘空间、集群启动时间和索引读写情况。

索引级别监控

包括集群内索引的数量、状态、主分片和副本分片数量、文档条数和占用空间。

集群动态页面

提供集群中各类事件和活动的详细记录和监控功能。

别名管理

别名管理页面提供了对索引别名的管理功能，使用户可以方便地管理和配置 Elasticsearch/EasySearch 的索引别名。

创建别名

可以通过 DSL 创建别名。例如，创建一个名为 my_index_alias 的别名指向 my_index：

POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "my_index",
        "alias": "my_index_alias"
      }
    }
  ]
}

删除别名

删除一个别名同样可以通过 REST API 实现：

POST /_aliases
{
  "actions": [
    {
      "remove": {
        "index": "my_index",
        "alias": "my_index_alias"
      }
    }
  ]
}

索引轮换

索引轮换是一种常用的索引管理策略，特别适用于日志和时间序列数据的场景。通过索引轮换，用户可以在索引达到一定条件（如大小或文档数量）时，创建一个新的索引来继续存储数据，而旧的索引可以继续用于查询。

1. 设置写别名：创建一个指向当前写入索引的别名，例如 current_write_index。
2. 定义索引轮换条件：可以基于索引的大小、文档数量或时间来定义轮换条件。
3. 索引并更新写别名指向这个新索引。

创建初始索引并设置写别名：

PUT /my_index-000001
{
  "aliases": {
    "current_write_index": {}
  }
}

使用 /_rollover API 定义轮换条件并执行轮换：

POST /current_write_index/_rollover
{
  "conditions": {
    "max_age": "7d",
    "max_docs": 1000000
  },
  "settings": {
    "number_of_shards": 1
  },
  "aliases": {
    "current_write_index": {}
  }
}

通过这种方式，查询操作可以透明地访问所有历史数据，而写操作总是指向最新的索引。

在 INFINI Console 中提供了可视化创建索引及别名的方式。页面右上角提供了新建按钮，用户可以通过点击该按钮创建新的索引别名，填写别名名称、关联索引、索引路由、搜索路由和过滤查询等配置。

平台监控

展示了多个关键指标的监控图表，包括：

• 健康状态 (Health)：显示系统当前的健康状态。如果没有数据，则显示“暂无数据”。
• 引擎分布 (Engines)：展示系统中不同搜索引擎的分布情况，例如 EasySearch 和 Elasticsearch 的比例。图表显示当前 EasySearch 占 67%，Elasticsearch 占 33%。
• 提供商 (Providers)：显示系统中使用的云服务提供商信息。在示例中，所有资源都托管在 AWS 上。
• JDK 版本 (JDK)：显示系统中使用的 JDK 版本信息。在示例中，所有节点都使用 JDK 版本 11.0.20。
• 磁盘使用情况 (Disk Utilization) - Top 10：显示磁盘使用率最高的前 10 个节点。在示例中，easysearch-node1 和 easysearch-node2 的磁盘使用率均为 4%。
• JVM 使用情况 (JVM Utilization) - Top 10：展示 JVM 使用率最高的前 10 个节点。在示例中，infinilabs 集群的 easysearch-node1 和 easysearch-node2 节点的 JVM 使用情况有详细的时间序列数据，显示了不同时间点的使用率变化。

我们还能够看到更多指标：

数据探索

在数据探索里，可以根据时间、字段等条件对索引或者视图下的数据进行搜索查询和分析，类似 Kibana 的 Discover。

这里可以看到集群的警报，目前集群运行良好，没有任何警报。

内部会预设一些警报规则，如下：

点进去一个请求，比如磁盘的警告，可以针对不同的使用量设置不同的警告级别和通知。

这里针对警报设置警报，可以看到现在支持很多平台，Discord、飞书、邮件、微信、Slack 以及钉钉。

点击进去可以查看，对于社交软件而言，其实是使用 Webhook 进行通知，除此之外也支持配置邮件服务器和自定义的 Webhook 进行通知。

开发工具

Console 的开发工具相当于 Kibana DevTool 的升级版，使用上基本没有大的区别，除了支持 DSL 之外，还支持多集群 Tab 切换、常用命令快速 Load、SQL 查询等。

集群连接凭证管理

可以看到连接这三个集群的凭证管理，目前都是有效的。

后台用户授权

可以添加用户以及修改 Console 管理界面的密码。目前设置了 admin 账号。

审计日志

追踪对集群的操作，捕获查看集群监控信息以及集群索引的操作。

结论

INFINI Console 的仪表盘页面集成了系统的关键信息和快捷操作入口，使用户可以高效地管理和监控系统。通过详细的概览信息、实时的告警通知、快速的功能入口和动态日志，用户能够对系统的运行状态一目了然，并快速响应各种管理需求。这个设计不仅提升了用户的工作效率，还确保了系统的安全和稳定运行。

INFINI Console 的集群管理页面提供了对系统集群的全面监控和管理功能。通过详细的集群信息展示、便捷的功能选项卡切换以及丰富的筛选和排序功能，用户可以高效地管理和监控系统中的集群状态。这不仅提升了运维效率，还确保了系统的稳定运行和高效管理。

INFINI Console 的节点管理页面提供了对集群节点的全面监控和管理功能。通过详细的节点信息展示、便捷的功能选项卡切换以及丰富的筛选和搜索功能，用户可以高效地管理和监控系统中的节点状态，从而提升运维效率，确保系统的稳定运行和高效管理。

INFINI Console 的监控报表页面提供了对集群运行状况的全面监控和分析功能。通过详细的概览信息和多个性能指标图表，用户可以高效地监控和管理集群的运行状态。这不仅提升了系统运维效率，还确保了集群的稳定运行和高效管理。

通过这些功能，INFINI Console 为用户提供了全面的系统管理工具，帮助他们高效地应对各种运维挑战，确保系统的高效、安全、稳定运行。

关于 Easysearch 有奖征文活动

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

作者：韩旭，亚马逊云技术支持，亚马逊云科技技领云博主，目前专注于云计算开发和大数据领域。

原文：https://blog.csdn.net/weixin_38781498/article/details/140077785

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个自主可控的轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

Easysearch 支持原生 Elasticsearch 的 DSL 查询语法，确保原业务代码无需调整即可无缝迁移。同时，极限科技还支持 SQL 查询，为熟悉 SQL 的开发人员提供更加便捷的数据分析方式。此外，Easysearch 兼容 Elasticsearch 的 SDK 和现有索引存储格式，支持冷热架构和索引生命周期管理，确保用户能够轻松实现数据的无缝衔接。

安装

安装脚本

无论是 Linux 还是 Mac 都是这个一键脚本

curl -sSL http://get.infini.cloud | bash -s -- -p easysearch

同时也提供了二进制的安装包：

如果不想整理 JAVA 环境问题，还可以使用这个 https://release.infinilabs.com/easysearch/stable/bundle/

docker 部署

官方提供了 Docker Compose 样例，包括三个服务：

• easysearch-node1
• easysearch-node2
• console

以下是详细说明：

版本控制：

• version: '3' 表示使用 Docker Compose 文件的第 3 版格式。

服务定义：

• easysearch-node1 和 easysearch-node2：

  • 这两个服务使用相同的 Docker 镜像 infinilabs/easysearch:latest 来组成双节点的集群。
  • 容器运行时使用用户和组 ID 602:602。
  • 设置了 ES_JAVA_OPTS 环境变量以配置 Java 虚拟机的内存。
  • ulimits 选项配置了内存锁定和文件描述符的限制，以提升性能。
  • 容器内的配置、数据和日志目录通过卷映射到主机目录中，以便于数据持久化。
  • 服务暴露特定端口，使外部能够访问容器中的服务。
  • 两个节点均加入名为 esnet 的自定义网络中。

• console：

  • 该服务使用镜像 infinilabs/console:1.26.0-1552（该镜像没有 latest，需要手动把 latest 更改位特定的版本号）。
  • 同样通过卷将数据和日志目录映射到主机。
  • 暴露 9000 端口用于 Web 界面访问。
  • 使用 links 功能链接到 easysearch-node1 和 easysearch-node2，简化容器之间的通信。
  • 设置了时区环境变量 TZ 为 Asia/Shanghai。

网络配置：

• esnet 网络使用 bridge 驱动，提供一个隔离的网络环境，配置了特定的子网 172.24.0.0/16，以确保服务之间的网络通信。

version: '3'
  services:
    easysearch-node1:
      user: "602:602"
      image: infinilabs/easysearch:latest
      container_name: easysearch-node1
      hostname: easysearch-node1
      environment:
        - "ES_JAVA_OPTS=-Xms1g -Xmx1g"
      ulimits:
        memlock:
          soft: -1
          hard: -1
        nofile:
          soft: 65536
          hard: 65536
      volumes:
        - $PWD/ezs1/config:/app/easysearch/config
        - $PWD/ezs1/data:/app/easysearch/data
        - $PWD/ezs1/logs:/app/easysearch/logs
      ports:
        - 9201:9200
        - 9301:9300
      networks:
        - esnet
    easysearch-node2:
      user: "602:602"
      image: infinilabs/easysearch:latest
      container_name: easysearch-node2
      hostname: easysearch-node2
      environment:
        - "ES_JAVA_OPTS=-Xms1g -Xmx1g"
      ulimits:
        memlock:
          soft: -1
          hard: -1
        nofile:
          soft: 65536
          hard: 65536
      volumes:
        - $PWD/ezs2/config:/app/easysearch/config
        - $PWD/ezs2/data:/app/easysearch/data
        - $PWD/ezs2/logs:/app/easysearch/logs
      ports:
        - 9202:9200
        - 9302:9300
      networks:
        - esnet
    console:
      image: infinilabs/console:1.26.0-1552
      container_name: console
      hostname: console
      volumes:
        - $PWD/console/data:/data
        - $PWD/console/log:/log
      networks:
        - esnet
      ports:
        - 9000:9000
      links:
        - easysearch-node1:es1
        - easysearch-node2:es2
      environment:
        - TZ=Asia/Shanghai

  networks:
    esnet:
      driver: bridge
      ipam:
        config:
          - subnet: 172.24.0.0/16

尽管在这里官方提供了详细的命令，完全可以使用这个 docker-compose up 来进行替代。其他的脚本解释如下：

init.sh

#!/bin/bash

# 获取当前脚本所在目录的绝对路径

CUR_DIR=$(cd $(dirname $0); pwd)

# 创建必要的目录结构

mkdir -p $CUR_DIR/console/{data,log}
mkdir -p $CUR_DIR/{ezs1,ezs2}/{data,logs}

# 设置目录的拥有者和权限

chown -R 1000:1000 $CUR_DIR/console
chown -R 602:602 $CUR_DIR/{ezs1,ezs2}
chmod -R 0600 $CUR_DIR/{ezs1,ezs2}/config

# 设置 config 目录的子目录权限

find $CUR_DIR/{ezs1,ezs2}/config -type d -print0 | xargs -0 chmod 750

reset.sh

#!/bin/bash

# 获取当前脚本所在目录的绝对路径

CUR_DIR=$(cd $(dirname $0); pwd)

# 定义确认函数
function confirm() {
  display_str=$1
  default_ans=$2
  if [[ $default_ans == 'y/N' ]]; then
     must_match='[yY]'
  else
     must_match='[nN]'
  fi
  read -p"${display_str} [${default_ans}]:" ans
  [[ $ans == $must_match ]]
}

# 提示用户确认删除所有数据
confirm "RISK WARN: Delete all data!!!" 'y/N' && echo || exit

# 删除 console、ezs1 和 ezs2 的数据和日志文件
rm -rvf $CUR_DIR/console/{data,log}/*
rm -rvf $CUR_DIR/{ezs1,ezs2}/{data,logs}/*

start.sh

#!/bin/bash

# 使用 Docker Compose 启动 ezs2 项目中的服务
docker-compose -p ezs2 up

stop.sh

#!/bin/bash

# 使用 Docker Compose 关闭并移除 ezs2 项目中的所有服务

docker-compose -p ezs2 down

在我的电脑中，可以看到成功启动的容器。

https://infinilabs.cn/docs/latest/easysearch/getting-started/install/docker-compose/

Console 连接

设置集群连接参数，比如域名端口，用户名密码。

初始化，这里会新建索引，写一些 sample 数据。

设置后台管理的密码，后期使用这个登录控制台。

检查配置，完成集群关联。

这个是后台管理界面，除了用户名密码之外，也支持单点登录：

跨引擎、跨版本、跨集群 独一份！

使用自带的面板进行查看节点数量：

同时也支持 REST 风格的 API 来进行查询。

接下来使用 Console 连接 Amazon 的 OpenSearch：

同样是输入集群的 URL，用户名和密码。

然后可以拿到集群的信息，比如地址，版本号，集群状态，节点数量。

最后看到连接成功的信息。

我们可以在集群管理中看到 Easysearch 的集群和我们刚刚添加的 OpenSearch 集群。

是否开源？目前还没有开放源代码。

关于 Easysearch 有奖征文活动

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

作者:韩旭，亚马逊云技术支持，亚马逊云科技技领云博主，目前专注于云计算开发和大数据领域。

原文：https://blog.csdn.net/weixin_38781498/article/details/140077785

一、OpenAI 停服事件背景

OpenAI 自 2020 年推出 GPT-3 以来，在全球范围内引起了极大的反响。其强大的自然语言处理能力使其成为许多企业和开发者的首选工具。然而，2024 年 6 月 25 日，许多中国用户收到了一封来自 OpenAI 的邮件，邮件中明确表示，自 2024 年 7 月 9 日起，OpenAI 将停止对中国内地和香港地区提供 API 服务。

这一事件引发了国内开发者和企业的广泛讨论，特别是在人工智能技术应用逐渐深入的背景下，OpenAI 的停服无疑会对中国市场产生一定的影响。在 AI 技术迅猛发展的当下，许多中国企业和开发者依赖 OpenAI 的 API 进行各种应用的开发。尤其是在大模型技术领域，不少初创公司通过“套壳”OpenAI 技术快速推向市场。所谓“OpenAI 套壳”，是指一些公司仅对 OpenAI 的技术进行表面包装和小改动，而未进行深度创新 。OpenAI CEO 山姆·奥特曼曾明确指出，简单包装 OpenAI 技术的公司难以长久生存。此次 API 服务的终止，意味着这些企业需要寻找新的技术支持，或者在短时间内加速自主研发 。

二、国产替代的挑战与机遇

OpenAI 停止对中国提供 API 服务将对国内 AI 行业带来短期冲击，但从长远来看，这也可能成为推动国内 AI 技术自主创新和研发的契机。国内企业将被迫加大自主研发力度，减少对外部技术的依赖，从而推动国产 AI 技术的发展 。虽然目前国内大模型企业在技术上与 OpenAI 存在一定差距，但已有不少公司在不断赶超。例如，百度的文心大模型、科大讯飞的星火大模型以及清华智谱的 ChatGLM 基础模型，都在性能上逐渐逼近甚至超过了 GPT-4 。从现状来看，国内大模型厂商已经逐步进入了性能提升的关键期，应用场景从办公、生活拓展到医疗、工业、教育等领域。

三、Elasticsearch 国产化替代的需求

Elasticsearch（简称 ES）作为一种开源的分布式搜索和分析引擎，以其强大的搜索能力和高效的数据处理能力，广泛应用于各种大数据和搜索相关业务场景。然而，随着国际政治环境的变化和技术壁垒的加剧，依赖国外技术的风险日益凸显。在这种背景下，推动 Elasticsearch 的国产化替代至关重要，既能保障国家信息安全，也能促进国内技术自主创新和产业发展。

首先，依赖国外技术可能带来技术封锁风险，一旦国外企业因政治或经济原因停止服务，中国企业的业务连续性和数据安全性将受到威胁。推动国产化替代有助于规避这些风险，保障数据安全和业务的稳定运行。国外搜索引擎和数据库系统通常为西方市场优化，未必适合中国市场。例如，Elasticsearch 在处理中文信息时需要额外的插件和调整，而国产替代方案可以更好地适应本地化需求，同时确保数据存储和处理符合国家法律法规。

其次，推动 Elasticsearch 的国产化替代有助于激发国内企业的创新活力，减少对国外技术的依赖，提升在搜索和大数据领域的核心竞争力。采用国产替代方案不仅能够降低企业的技术成本，还能构建自主的技术生态系统，减少对外部的依赖。与此同时国产化替代也有助于提升国内技术人才水平，通过自主研发和技术创新培养出高水平的技术人才，推动技术创新和产业升级。

在性能和安全方面，Elasticsearch 在数据保护和性能方面存在不足。开源版本不具备数据保护功能，用户必须付费获得相关的安全功能。2021 年 Elastic 公司将其开源软件许可证变更为双授权许可，可能带来安全风险。此外，Elasticsearch 在数据读写性能和集群扩展上也存在技术挑战，进一步推动了国产替代的需求。

四、Easysearch：国产替代的优秀范例

在 OpenAI 退出中国市场的背景下，国产技术的重要性日益凸显。作为国产搜索引擎技术的代表，Easysearch 展示了强大的替代潜力。

Easysearch 是一款基于国内自主研发的高性能搜索引擎，其核心引擎基于开源的 Apache Lucene。与 Elasticsearch 相比，Easysearch 不仅提供了相当的功能，还进行了更具针对性的优化。

• 轻量级：Easysearch 的安装包小于 50MB，部署安装简单，适合企业快速上手。

• 跨平台支持：Easysearch 支持主流操作系统和 CPU 架构，兼容国产信创环境，确保多样化环境下的稳定运行。

• 高性能：Easysearch 针对不同的使用场景进行了优化，以更低的硬件成本提供更高的服务性能，从而实现降本增效。

• 安全增强：Easysearch 默认提供完整的企业级安全功能，支持 LDAP/AD 集成，能够对索引、文档和字段级别进行粒度化权限管控，确保数据的安全性和隐私性。

• 稳定可靠：Easysearch 修复了大量内核问题，解决了内存泄露、集群卡顿和查询缓慢等问题，经过严苛的业务环境考验，保证了其稳定性和可靠性。

• 简单易用：Easysearch 提供了企业级管理后台，运营标准化和自动化，使用户能够通过简单的页面操作实现专家级的运维管理工作。

Easysearch 特别注重数据安全和隐私保护，所有数据都在国内处理和存储，符合数据主权要求。这对关注数据安全和隐私的企业尤为重要，能够有效保障数据的安全性和合规性。

Easysearch 致力于构建一个开放的技术生态，通过丰富的开发者资源和支持，为国内开发者提供了一个强大的技术平台。

• 兼容性：Easysearch 兼容 Elasticsearch 的语法，支持 Elasticsearch 原有的 Query DSL 和 SQL 语法，并且兼容现有的 Elasticsearch SDK。这样，企业和开发者可以平滑地迁移到 Easysearch，无需修改现有代码。

• 中文适配：Easysearch 在功能上进行了中文适配，能够更好地支持中文搜索和分析，满足本地化需求。

• 功能增强：Easysearch 不断完善和增强企业级功能，使其在搜索业务场景中保持简洁与易用性，同时提升功能的丰富度和深度。

• 信创适配：Easysearch 支持信创环境，确保在国产环境中也能平稳运行和使用。

• 平滑迁移：Easysearch 基于网关实现了无缝的跨版本迁移与升级，用户可以随时安全回退，确保系统的持续稳定性。

Easysearch 作为国产搜索引擎技术的代表，展示了国产替代的强大潜力。通过自主研发和技术创新，Easysearch 不仅提供了强大的功能和性能，还确保了数据安全和隐私保护。它为国内企业和开发者提供了一个可靠的技术平台，推动了国产技术的发展和应用。未来，随着更多国产技术的崛起，中国将在全球技术领域占据更加重要的地位。

五、结束语

随着 OpenAI 服务在国内的终止，中国 AI 市场迎来了自主创新的机遇。国内企业如百度、科大讯飞等正加速自主研发，缩小技术差距。同时，在搜索引擎领域，极限科技推出 Easysearch 搜索引擎为 Elasticsearch 国产替代提供了新的选择。展望未来，国产技术的持续创新将助力中国在全球技术领域占据更重要的地位。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn

作者：Muses

原文：https://infinilabs.cn/blog/2024/from-openai-service-discontinuation-to-the-chinese-market-opportunities-and-challenges-of-domestic-replacement-rising/

第一章：神秘的召唤

在一个普通的早晨，INFINI Labs 的办公室里，阳光透过窗户洒进来，给每个人带来了一天的好心情。就在这时，办公室的公告板上突然出现了一张神秘的海报，上面写着：

“天命人, 你在吗？快拿走你的《黑神话:悟空》游戏，去开启神话冒险！”

这张海报立刻吸引了小编的目光，心中升起了一股好奇心，这究竟是怎样的一个活动？而且，《黑神话:悟空》竟然作为奖品！这可是大家期待已久的国产大作！

第二章：拨开迷雾

《黑神话：悟空》 是一款基于《西游记》改编的中国神话动作角色扮演游戏，由中国游戏公司 Game Science 开发。游戏以其出色的画面和创新的玩法在全球范围内引起了广泛关注，是 2024 年最受期待的国产游戏大作，将于 8 月 20 日正式发售。

在游戏中，玩家将化身“天命之人”——孙悟空，踏上惊险刺激的西游冒险之旅。游戏不仅高度还原了《西游记》中的经典场景和角色，还融入了大量原创元素，带来全新的剧情体验。

第三章：踏上征途

作为“天命之人”，你将穿越重重险阻，挑战强大的妖魔鬼怪，探索神秘的古代遗迹，揭开传说背后的秘密。游戏中充满了紧张刺激的战斗场景和丰富多样的任务，让你能沉浸在这个神话般的世界中。

不要犹豫，加入我们，一起踏上征途，成为传说的一部分吧！

INFINI Labs 首期征文活动来袭！！！

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

征文主题：

1. 使用体验：分享你在学习和使用 Easysearch 的体验感受、反馈。
2. 案例实践：分享你在工作使用 Easysearch 的案例和实践经验。
3. 版本对比：对比不同版本的 Easysearch，聊聊各自的优劣和特点。
4. 性能测评：对 Easysearch 的性能进行详细测评，展示其在各种使用场景下的表现。
5. 功能解析：深入剖析 Easysearch 的独特功能，让更多人了解它的强大之处。
6. 国产替代：探讨 Easysearch 在 Elasticsearch 国产替代中的重要意义及实战经验。

为了帮助首次了解 Easysearch 的小伙伴，我们还会提供技术支持，让你轻松上手，畅快写作。

第四章：创作你的传奇

无论你是哪个领域的爱好者，这次活动都是你展示才华的绝佳机会。拿起笔，写下你的故事，分享你与 Easysearch 的点滴，畅谈你对《黑神话：悟空》的期待。

我们期待着每一个参与者的精彩作品，也期待着与你一起在《黑神话：悟空》的世界中共赴一场史诗级的冒险！

活动时间：即日起至 8 月 20 日

参与方式：微信联系 INFINI Labs 小编（INFINI-Labs），请在加好友时备注【Easysearch 征文】字样。

奖品设置：

• 一等奖：1 名，《黑神话：悟空》游戏数字豪华版
• 二等奖：2 名，《黑神话：悟空》游戏数字标准版
• 三等奖：若干名，INFINI Labs 定制礼品

拿起你的笔，登录 INFINI Labs 社区，开始你的征文之旅。你的故事，我们在这里等你！

活动补充说明

Easysearch 是什么？

Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个自主可控的轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。 官网文档：https://infinilabs.cn/docs/latest/easysearch

征文时间

文章征集：即日起 - 8 月 15 日

文章评审：2024 年 8 月 16 日 - 8 月 19 日

获奖公示：2024 年 8 月 20 日

参与方式

添加 INFINI Labs 小助手微信（INFINI-Labs），进行文章投稿（文章形式不限，如：开源中国、CSDN、微信公众号、掘金、知乎、Markdown、Word、在线文档等）。 使用过程中遇到任何问题，欢迎随时反馈给小助手。

征文要求

• 主题要求：围绕 Easysearch，包括但不限于使用心得、案例实践、功能解析、性能测评、数据迁移、容灾、安全、国产替代、我与 Easysearch 的故事等。
• 文章标题：需包含 Easysearch 关键词，如：Easysearch 入门指南 xxx、如何使用 Easysearch xxx、Easysearch 助力 xxx 等。
• 文章内容：正文字数建议 800 以上，且要求内容结构完整、文字通顺、代码规范、无错别字、尽量做到图文并茂。
• 原创要求：提交的稿件需为原创作品，不得侵犯他人知识产权。
• 加分项：有借鉴性、实用性、创新性。

所有提交投稿文章经由 INFINI Labs 征文组委会进行审核，最终分级别选出一批入围作品，并给予相应奖品。

评奖规则

入围文章排名，分为【组委会打分】和【互动拉票得分】

• 组委会打分：100 分值，权重 60 %
  • 内容质量（40%）：文章内容符合征文主题，具备原创性、独特性、高质量。
  • 创新性（20%）：文章内容的创新性，鼓励投稿者用 Easysearch 去完成创造性、有挑战性的任务，并拿到一定的结果。
  • 实用性（20%）：可以对社区其他用户来带来学习和帮助，获得实用的经验。
  • 清晰度（20%）：整篇文章是否清晰的被叙述出来，有重点，排版美观，图文并茂。
• 互动拉票得分：100 分值，权重 40%。根据阅读量、点赞量、收藏量三个指标聚合计算。
  • 阅读量：每 100 次阅读得 10 分，上限 50 分。
  • 点赞量：每个赞得 1 分，上限 30 分。
  • 收藏量：每个收藏得 2 分，上限 20 分。
• 加权分数相等时，组委会得分高者排名优先。

说明：

1. 征文将由参与者自行公开发布或提交 INFINI Labs 转发，发布后至评审前一天互动数据有效。
2. 严禁刷量和作弊，比如短时间内异常增长的阅读量或点赞量，组委会有权对刷量和作弊文章取消评奖资格。
3. 投稿者可以对评分规则提出疑问或建议，并根据反馈进行适当调整。

奖品设置

奖品分级别设置，根据文章综合评分由高到低排序，详细见下表。

其他说明

1. 文章文体不限，可以选择与 Easysearch 相关的任何内容。
2. 文章必须原创，凡发现转载、抄袭等侵权行为，取消活动参与资格。
3. 参加征文活动的文章作者拥有著作权，INFINI Labs 拥有使用权。
4. 本次活动每位用户可投递多篇文章，但同一用户最终只能获奖一次。
5. 本次活动最终解释权归 INFINI Labs 所有。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn

原文：https://infinilabs.cn/blog/2024/easysearch-essay-competition-wukong/

INFINI Labs 产品又更新啦~，包括 Easysearch v1.8.2、Gateway、Console、Agent、Loadgen v1.26.0。本次各产品更新了很多亮点功能，如 Easysearch 优化 CCR 同步性能；Gateway 增加了 HTTP 请求动态域名路由功能，移除了安全相关的 Filter，进一步提升 Gateway 稳定性；Console 修复了多个已知问题，如当文档数过亿时单位换算错误，修复了因采集延迟导致指标图表显示异常，修复了多行查询中包含 SQL 查询异常等问题。欢迎大家下载体验。

以下是本次更新的详细说明。

INFINI Easysearch v1.8.2

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Bug fix

• 修复 source_reuse 与 object 字段为 enable: false 时的冲突

Improvements

• 升级部分依赖包版本，Commons-collections to 3.2.2, Snakeyaml to 2.0
• 优化 CCR 同步性能及调整 CCR 全局配置参数
• 优化插件配置命名，去除"plugins."
• 优化配置文件目录获取命名

INFINI Console v1.26.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Bug fix

• 修复监控数据布局
• 修复命令存储权限
• 修复多行请求包含 SQL 语法
• 修复文档数过亿时换算错误
• 修复导入低版本 v1.6.0 告警规则缺少字段问题
• 修复当 buck_size 小于 60 秒时，因指标采集延迟导致指标显示异常问题

INFINI Gateway v1.26.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Improvements

• feat: add wildcard_domain filter
• chore: remove security filter and translog_viewer

INFINI Framework

INFINI Framework 是 INFINI Labs 各产品依赖的内部核心公共代码库。

Framework 本次更新如下：

Improvements

• feat: support dynamic app setting
• feat: add cluster settings query args
• feat: add gateway config
• feat: add http interceptor
• feat: return host info in info api
• feat: add util to convert string to float
• feat: use common app setting api to instead of auth setting api
• feat: crontab task support multi crontab expression
• fix: skip submit empty bulk requests
• feat: support ccr api
• fix: get latest offset should compare segment first
• fix: wrong use of zstd with vfs
• fix: prevent close closed channel
• fix: panic on error while saving keystore

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.cn/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn

引言

近日，Redis Labs 宣布其主导的开源项目 Redis 将采用双重源代码可用许可证（RSALv2）和服务器端公共许可证（SSPLv1）。这一重大决策标志着 Redis 从传统的 BSD 许可证向更加严格的控制权转变，同时也引发了广泛的社区和行业讨论。这不仅是一个关于许可证变更的故事，更是关于开源社区如何响应，以及这一变化如何激发对国产技术探索和发展的深刻思考。Redis，作为最受欢迎的开源键值存储数据库之一，其开源协议的变更反映了开源软件在商业化道路上的挑战和压力。Redis Labs 的 CEO Rowan Trollope 指出，这一变化旨在防止云服务提供商免费使用 Redis 代码，同时促进 Redis 社区的可持续发展和创新。

Redis 协议变更的深远影响

Redis 决定放弃 BSD 协议，转而采用双重源代码可用许可证（RSALv2 和 SSPLv1），标志着开源界的一个重要转折点。这一变化不仅影响了 Redis 本身，更引发了社区成员和技术行业的激烈讨论，许多人担心这将限制 Redis 的开源精神和广泛应用。然而，也有声音认为，这为其他开源项目，如 KeyDB、Dragonfly 和 Garnet 等，提供了发展的机遇，尤其是在提供与 Redis 兼容的替代解决方案方面。尽管 Redis 的这一变更在技术和法律上引发了争议，它也激发了开源社区对于如何在维护开源精神和寻求商业可持续性之间找到平衡的探索。此外，Redis 团队对于保持客户端库的开源许可和继续支持开源社区版的承诺，展示了一种尝试在新的许可模式下保持开放性和可接入性的方法。由于 Redis 的广泛应用，其协议变更对云服务商、Linux 发行版，甚至整个开源软件生态都产生了不小的冲击。一方面，云服务提供商需要重新评估其服务模型；另一方面，一些 Linux 发行版可能需要考虑将 Redis 从其软件仓库中移除。

ES 国产化的契机

Redis 开源协议的变更同时也让人们重新审视其他关键技术，特别是 Elasticsearch（ES）的依赖和发展。ES 作为一个强大的搜索和数据分析引擎，在全球范围内被广泛使用。随着对开源项目商业化模式的重新考量，中国开发者和企业开始寻求国产化的 ES 替代品，旨在减少对外部技术的依赖，同时推动国内技术生态的多元化和自主创新。但是国产化的探索并非没有挑战。从技术兼容性、性能优化到社区生态建设，每一步都需要深思熟虑和持续的努力。然而，Redis 的许可证变更为国内技术自主提供了一个独特的视角，鼓励开发者、企业乃至政府机构更加积极地参与到开源技术的本土化和创新中来。Redis 开源协议的变更引发的讨论和行动，凸显了开源社区对于自身未来发展方向的深刻反思。这一变革不仅关乎一个项目的许可模式转变，更触及到开源项目如何在保持开放和自由的同时，寻找到可持续发展的道路。此外，它也促使更多的开源项目和企业思考如何在全球化的技术生态中保持竞争力和影响力。

Easysearch：国产化的新选择

针对这一需求，极限科技 隆重推出了 Easysearch 搜索引擎软件，旨在提供一个与 Elasticsearch 兼容的国产化解决方案。Easysearch 不仅支持原生 Elasticsearch 的 DSL 查询语法，还提供了诸多企业级功能的增强，如更高的性能、稳定性和扩展性，以及更加丰富的安全管理和数据压缩功能。这表明，国产化技术的发展不仅是为了替代，更是在原有基础上进行创新和优化。ES 国产化解决方案 Easysearch 的推出，是响应国家对信创、自主可控战略布局的具体行动。通过提供兼容性强、功能丰富且稳定的国产技术替代品，不仅有助于减少对外部技术的依赖，也为国内技术生态的繁荣和创新贡献力量。这一过程中，既涵盖了对现有技术的深入理解和应用，也包含了对新技术、新方法的探索和实践。

结语

Redis 开源协议的变更和 Elasticsearch 国产化解决方案的兴起，共同反映了当前技术世界中开源与商业、国际与国产之间复杂而微妙的关系。这一趋势不仅仅是技术领域的变化，更是全球化背景下，各国在技术自主、安全与发展方面所做出的战略性调整。随着更多开源项目和技术面临类似的挑战，我们或许可以预见，技术自主和开源创新将成为推动未来技术发展的两大关键力量。

参考

• https://redis.com/blog/redis-adopts-dual-source-available-licensing
• https://www.elastic.co/cn/blog/licensing-change
• https://infinilabs.cn/products/easysearch
• https://infinilabs.cn/blog/2024/elasticsearch-alternative
• https://infinilabs.cn/blog/2023/the-first-to-complete-the-evaluation-of-search-database-products

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com

相信最近大家都已经听过Easysearch的名头，成功拿下了墨天轮搜索型数据库的榜首！什么？您不知道？那我再给您介绍下： INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。 相信看完了上面您已经对使用Easysearch有了想法，不要想，行动！我将带领您在windows环境中使用Easysearch，有几种安装方法可供选择！

方法一：使用Docker

对于已在Windows系统上安装了Docker的用户来说，通过Docker安装Easysearch是最直接高效的方法。接下来我将介绍Docker部署Easysearch的方法，如果没有安装Docker请跳过！

Docker 环境下使用 Easysearch

在使用 Docker 运行 Easysearch 之前，请确保已进行系统调优并安装好Docker服务，且Docker服务正常运行。

最快方式：启动临时的docker容器，可以从前台查看到admin的初始密码

```bash
docker run --name easysearch -p 9200:9200 dockerproxy.com/infinilabs/easysearch:latest

个性配置

从宿主机挂载数据目录及日志目录，并配置jvm内存为512m。

1. 在宿主机上创建目录

   bashCopy code
   sudo mkdir -p /data/easysearch/{data,logs}

2. 修改目录权限

   bashCopy code
   # 容器内es用户的uid为602，通过调整宿主机的目录权限，确保在容器内部es用户有权限读写挂载的数据卷
   sudo chown -R 602.602 /data/easysearch

3. 后台运行容器

   bashCopy code
   docker run -d --restart always -p 9200:9200 \
             -e ES_JAVA_OPTS="-Xms512m -Xmx512m" \
             -v /data/easysearch/data:/app/easysearch/data \
             -v /data/easysearch/logs:/app/easysearch/logs \
             --name easysearch --hostname easysearch \
             dockerproxy.com/infinilabs/easysearch:latest

4. 查看初始密码

   bashCopy code
   # 由于以上容器是后台启动，需要通过日志找出admin的初始密码
   docker logs easysearch 2>/dev/null | grep -w Usage

   容器启停

5. 启动容器

   bashCopy code
   docker start easysearch

6. 停止容器

   bashCopy code
   docker stop easysearch

   后续验证工作，请继续查看安装指南。

   方法二：不使用HTTPS安装Easysearch

   在某些情况下，您可能需要或者偏好不通过HTTPS方式进行安装。这种方法需要您手动下载并设置Easysearch及其依赖。

   步骤1：下载并安装Easysearch

   首先，手动下载 Easysearch 并将其解压到您希望的安装目录。

   步骤2：下载并安装JDK

7. 手动下载JDK安装包。
8. 将JDK解压到Easysearch安装目录下。

9. 将解压出来的JDK目录重命名为jdk。

   步骤3：修改Easysearch配置

   鉴于Windows默认不包含openssl，生成证书可能较为困难。您可以通过修改config/easysearch.yml文件来绕过证书验证：

   security.enabled: false

   方法三：通过git-for-windows安装

   对于喜欢使用命令行的用户，可以通过安装git-for-windows，利用bash环境来执行安装命令。

   步骤1：安装Easysearch

   通过以下在线脚本命令安装Easysearch：

   bashCopy code
   curl -sSL http://get.infini.cloud | bash -s -- -p easysearch -d /d/opt/easysearch

   步骤2：下载并安装JDK

10. 使用curl命令将JDK下载到指定目录：

    bashCopy code
    curl -# https://release.infinilabs.com/easysearch/jdk/zulu17.42.19-ca-jdk17.0.7-win_x64.zip -o /d/opt/jdk.zip

11. 解压JDK文件，并将解压后的目录重命名为jdk。

    bashCopy code
    cd /d/opt/easysearch && unzip -q /d/opt/jdk.zip
    mv zulu* jdk

    步骤3：设置JAVA_HOME环境变量

    配置JAVA_HOME环境变量，以确保Easysearch能正确找到JDK。

    bashCopy code
    export JAVA_HOME=/d/opt/easysearch/jdk

    步骤4：初始化证书、密码和插件

    执行以下命令，初始化所需的配置：

    bashCopy code
    bin/initialize.sh

    步骤5：运行Easysearch

    最后，使用以下命令启动Easysearch：

    bashCopy code
    bin/easysearch.bat

    通过以上任一方法，您都应该能够成功在Windows系统上安装并运行Easysearch。请选择最适合您的需求和环境的安装方法。 请根据Easysearch和JDK的最新版本，适时更新上述命令和下载链接。接下来，请继续完成验证工作。

    验证工作

    为了保证Easysearch数据安全，初始化脚本会为admin用户生成随机的密码，如果使用Docker运行Easysearch或执行初始化脚本时同意记录初始密码到日志文件，则可在Docker日志文件或logs/initialize.log中找到admin用户对应的初始化密码。 由于初始脚本会自动覆盖集群上次使用的证书及内置的admin用户密码，请勿多次运行！如果您忘记了初始密码，可以通过内置的证书来进行密码重置。

    bashCopy code
    # 根据初始化脚本生成的随机密码访问 Easysearch 的 REST API
    curl -ku admin:xxx https://localhost:9200

    也可以在浏览器中输入网址 https://localhost:9200/，即可验证Easysearch是否完成启动。推荐使用INFINI Console来进行集群管理，功能更加强大和方便。 注：各类客户端及周边工具，如 Logstash、Filebeat 请使用7.10.2 oss版本来连接Easysearch。并打开config/easysearch.yml中的配置项elasticsearch.api_compatibility: true

如果你已经按照上面的步骤完成了安装，那么接下来请尽情的使用Easysearch吧！如果在安装过程中出现了问题的请私聊我！对了，希望在其他环境中部署Easysearch的也可以查询我们的安装指南，上面有详细的安装步骤！祝你好运！

背景

Elasticsearch 这些年来在搜索领域一直是领头羊。国内也有非常多的企业在使用 Elasticsearch 来做查询搜索、数据分析、安全分析等等。甚至一些很重要的行业、系统都在使用 Elasticsearch。在使用 Elasticsearch 的道路上狂飙的时候，我们也观察到了一些问题：

1. Elasticsearch 不再是开源软件了。
2. Elastic 公司退出了中国直销市场，不提供本土化支持了。
3. 国家对信创、自主可控的战略化布局。
4. 国际形势从合作共赢到自闭对垒。
5. Elasticsearch 软件本身安全问题频发。
6. Elasticsearch 软件在性能、稳定性和扩展性方面存在很大的提升空间。

基于以上这些问题，推出一个 Elasticsearch 国产化解决方案就很有必要了。我们的解决方案是推出一款名为 Easysearch 的软件，作为 Elasticsearch 国产化替代 。
出发点是在兼容原 Elasticsearch 软件的基础之上，完善更多的企业级功能，同时提高产品的性能、稳定性和扩展性。
下面我将从几个方面简单介绍下 Easysearch 软件。

兼容性

支持原生 Elasticsearch 的 DSL 查询语法，原业务代码无需调整。 支持 SQL ，方便熟悉 SQL 的开发人员上手分析数据。 兼容 Elasticsearch 的 SDK。 兼容现有索引存储格式。 支持冷热架构和索引生命周期，真正做到无缝衔接。

功能增强

提供企业级的安全管理，可对接 LDAP、AD 认证。 重构分布式架构，保持稳定的同时，能支持更大规模的数据。 在不降低性能的同时，实现更高压缩比的数据压缩，直接节省磁盘 40% 以上。 支持 KNN、异步搜索、数据脱敏、可搜索快照、审计等企业级功能。

容灾

支持基于 CDC 的集群复制技术，实现同版本间的容灾。
支持基于请求双写的复制技术，实现跨版本容灾。

信创

全面适配国产 CPU、操作系统，并获得厂家认证。

迁移方案

支持原索引存储格式，可通过快照备份直接恢复到 Easysearch 集群。
提供迁移工具，直接可视化操作迁移数据。

简单的介绍就到这里了，更多信息请访问：https://www.infinilabs.com/products/easysearch

最后

如有需要请联系我，让我们一起位祖国的信创事业添砖加瓦。

最近某客户在使用 Easysearch 做聚合时，报出 OOM 导致掉节点的问题，当时直接让客户试着调整 indices.breaker.request.limit ，但是不起作用，于是又看了下 Easysearch 在断路器相关的代码，并自己测试了下。

断路器的种类和作用

Easysearch 内部有个 Circuit breaker 机制，目的是防止各种请求的负载过大导致 OutOfMemoryError，比较常用的断路器有 7 种，分别是：

• Parent circuit breaker 父断路器
• Field data circuit breaker fielddata 断路器
• Request circuit breaker 请求断路器
• In flight requests circuit breaker 传输请求断路器
• Accounting requests circuit breaker lucene 内存占用断路器
• Script compilation circuit breaker 脚本编译断路器
• Regex circuit breaker 正则表达式断路器

其中在执行消耗内存较多的聚合查询时，Request circuit breaker 用得最多。

复现测试

我在模拟客户场景测试聚合查询时，发现断路器并没有覆盖查询的整个流程，仍然会有 OOM 的风险。我测试了一个高基数 5 百万的 Terms aggregation，就没有触发断路，而是在等待了 1 分多钟后直接 OOM 了。我的测试环境是单节点 内存配置为 -Xmx1g，测试索引只有 1 个 shard。

测试语句如下：

curl -X GET "localhost:9211/leader-01/_search?pretty" -H 'Content-Type: application/json' -d'
{
"size": 1,
  "aggs": {
    "a": {
      "terms": { "field": "agent.id.keyword", "size": 5000000 }
    }
  }
}' > a.txt

Easysearch OOM 日志：

内存泄漏分析

使用 MemoryAnalyzer 分析生成的 jvm 堆转储文件：

最大的内存占用来自 Java 线程java.lang.Thread @ 0x7c8bb1d00。这个线程浅层(Shallow)保留的对象占用了 112.8MB 内存。但该线程实际保留(Retained)的对象内存占用高达 851 MB，成为整个内存占用的绝对大头。

进一步查看 Leak Suspects：

非常明确的给出了具体的内存泄露的对象：StringTerms$Bucket[7500010]

数组长度达到了七百五十万，占用内存：731,001,720 字节（占总内存的 68.65%）。

按照提示的GlobalOrdinalsStringTermsAggregator.java:586 行，去查看代码，实际上是将收集完的OrdBucket 转换为 StringTerms.Bucket，并且有一个 copy BytesRef的操作。

至此，原因和解决办法都清楚了，只要在转换之前预估一下将要增长的内存并调用断路器检测一下内存，一旦超出允许范围就快速触发 CircuitBreakingException，避免长时间等待后 OOM 引起的节点宕机了。

最新版 Elasticsearch 对比

作为对比，我又测试了下 Elasticsearch 最新版本 8.12.2，同样的测试环境和测试方法，结果依然是 OOM：

从这里可以看出 Elasticsearch 即使是最新版的断路器机制也还有很多改进的余地，比如增加对有 OOM 风险查询的覆盖率，还有就是在触发 GC 时，对 GC 堆内存回收的判断过于简单。

Easysearch 最新版本的改进

Easysearch 刚刚发布的 1.7.1 版本已经增加了上面的改进，后面也会持续改进查询聚合操作的内存控制，最新版本的跨集群复制（CCR）也增加了对 source_reuse 索引的支持，能更好的满足客户降本增效的需求，欢迎大家下载试用。

附官网下载链接：https://www.infinilabs.com/download/?product=easysearch

关于 Easysearch

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

官网文档：https://www.infinilabs.com/docs/latest/easysearch

作者：张磊，原文：https://www.infinilabs.com/blog/2024/easysearch-kernel-improvement-case-study-on-oom-memory-overflow-optmization/

INFINI Labs 产品又更新啦~，包括 Console，Gateway，Agent 1.23.0 和 Easysearch 1.7.1。本次各产品更新了很多亮点功能，如 Console 优化实例管理中增加磁盘空闲空间显示，Easysearch 改进 HierarchyCircuitBreakerService 并添加断路器、改进跨集群复制的数据加载，增加对 source_reuse 索引的支持等。欢迎大家下载体验。

以下是本次更新的详细说明。

INFINI Easysearch v1.7.1

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Bug fix

• 修复 source_reuse 与字段别名冲突
• 改进 HierarchyCircuitBreakerService 并添加断路器
• 修复 _meta 不为空且 启用 source_reuse 时的映射解析错误
• 修复 source_reuse 下对多值还原不正确的问题

Improvements

• 改进 HierarchyCircuitBreakerService 并添加断路器
• 改进跨集群复制的数据加载，增加对 source_reuse 索引的支持

INFINI Console v1.23.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Bug fix

• 修复数据迁移中数据分片范围因精度导致数据溢出显示为负数
• 修复删除实例队列后消费的 Offset 未重置问题
• 修复网友提出的各种问题，如集群设置默认打开节点、索引采集等

Improvements

• 优化初始化配置向导，分步骤执行
• 优化实例管理中增加磁盘空闲空间显示
• 优化实例队列名称显示

INFINI Gateway v1.23.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Bug fix

• 修复删除实例队列后消费的 Offset 未重置问题

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.com/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com

Elasticsearch（简称：ES） 和传统关系型数据库有很多区别， 比如传统数据中普遍都有一个叫“最大连接数”的设置。目的是使数据库系统工作在可控的负载下，避免出现负载过高，资源耗尽，谁也无法登录的局面。

那 ES 在这方面有类似参数吗？答案是没有，这也是为何 ES 会被流量打爆的原因之一。

针对大并发访问 ES 服务，造成 ES 节点 OOM，服务中断的情况，极限科技旗下的 INFINI Gateway 产品（以下简称 “极限网关”）可从两个方面入手，保障 ES 服务的可用性。

1. 限制最大并发访问连接数。
2. 限制非重要索引的请求速度，保障重要业务索引的访问速度。

下面我们来详细聊聊。

架构图

所有访问 ES 的请求都发给网关，可部署多个网关。

限制最大连接数

在网关配置文件中，默认有最大并发连接数限制，默认最大 10000。

entry:
  - name: my_es_entry
    enabled: true
    router: my_router
    max_concurrency: 10000
    network:
      binding: $[[env.GW_BINDING]]
      # See `gateway.disable_reuse_port_by_default` for more information.
      reuse_port: true

使用压测程序测试，看看到达10000个连接后，能否限制新的连接。 超过的连接请求，被丢弃。更多信息参考官方文档。

限制索引写入速度

我们先看看不做限制的时候，测试环境的写入速度，在 9w - 15w docs/s 之间波动。虽然峰值很高，但不稳定。 接下来，我们通过网关把写入速度控制在最大 1w docs/s 。 对网关的配置文件 gateway.yml ，做以下修改。

env: # env 下添加
    THROTTLE_BULK_INDEXING_MAX_BYTES: 40485760 #40MB/s
    THROTTLE_BULK_INDEXING_MAX_REQUESTS: 10000 #10k docs/s
    THROTTLE_BULK_INDEXING_ACTION: retry #retry,drop
    THROTTLE_BULK_INDEXING_MAX_RETRY_TIMES: 10 #1000
    THROTTLE_BULK_INDEXING_RETRY_DELAY_IN_MS: 100 #10

router: # route 部分修改 flow
  - name: my_router
    default_flow: default_flow
    tracing_flow: logging_flow
    rules:
      - method:
          - "*"
        pattern:
          - "/_bulk"
          - "/{any_index}/_bulk"
        flow:
          - write_flow

flow: #flow 部分增加下面两段    
  - name: write_flow
    filter:
      - flow:
          flows:
            - bulking_indexing_limit
      - elasticsearch:
          elasticsearch: prod
          max_connection_per_node: 1000
  - name: bulking_indexing_limit
    filter:
      - bulk_request_throttle:
          indices:
            "test-index":
              max_bytes: $[[env.THROTTLE_BULK_INDEXING_MAX_BYTES]]
              max_requests: $[[env.THROTTLE_BULK_INDEXING_MAX_REQUESTS]]
              action: $[[env.THROTTLE_BULK_INDEXING_ACTION]]
              retry_delay_in_ms: $[[env.THROTTLE_BULK_INDEXING_RETRY_DELAY_IN_MS]]
              max_retry_times: $[[env.THROTTLE_BULK_INDEXING_MAX_RETRY_TIMES]]
              message: "bulk writing too fast" #触发限流告警message自定义
              log_warn_message: true

再次压测，test-index 索引写入速度被限制在了 1w docs/s 。

限制多个索引写入速度

上面的配置是针对 test-index 索引的写入速度控制。如果想添加其他的索引，新增一段配置即可。 比如，我允许 abc 索引写入达到 2w docs/s，test-index 索引最多不超过 1w docs/s ，可配置如下。

  - name: bulking_indexing_limit
    filter:
      - bulk_request_throttle:
          indices:
            "abc":
              max_requests: 20000
              action: drop
              message: "abc doc写入超阈值" #触发限流告警message自定义
              log_warn_message: true
            "test-index":
              max_bytes: $[[env.THROTTLE_BULK_INDEXING_MAX_BYTES]]
              max_requests: $[[env.THROTTLE_BULK_INDEXING_MAX_REQUESTS]]
              action: $[[env.THROTTLE_BULK_INDEXING_ACTION]]
              retry_delay_in_ms: $[[env.THROTTLE_BULK_INDEXING_RETRY_DELAY_IN_MS]]
              max_retry_times: $[[env.THROTTLE_BULK_INDEXING_MAX_RETRY_TIMES]]
              message: "bulk writing too fast" #触发限流告警message自定义
              log_warn_message: true

限速效果如下

限制读请求速度

我们先看看不做限制的时候，测试环境的读取速度，7w qps 。 接下来我们通过网关把读取速度控制在最大 1w qps 。 继续对网关的配置文件 gateway.yml 做以下修改。

  - name: default_flow
    filter:
      - request_path_limiter:
          message: "Hey, You just reached our request limit!"                                      rules:      
            - pattern: "/(?P<index_name>abc)/_search"                          
              max_qps: 10000
              group: index_name                                    
      - elasticsearch: 
          elasticsearch: prod                            
          max_connection_per_node: 1000

再次进行测试，读取速度被限制在了 1w qps 。

限制多个索引读取速度

上面的配置是针对 abc 索引的写入速度控制。如果想添加其他的索引，新增一段配置即可。 比如，我允许 abc 索引读取达到 1w qps，test-index 索引最多不超过 2w qps ，可配置如下。

  - name: default_flow
    filter:
      - request_path_limiter:
          message: "Hey, You just reached our request limit!"
          rules:
            - pattern: "/(?P<index_name>abc)/_search"
              max_qps: 10000
              group: index_name
            - pattern: "/(?P<index_name>test-index)/_search"
              max_qps: 20000
              group: index_name
      - elasticsearch:
          elasticsearch: prod
          max_connection_per_node: 1000

多个网关限速

限速是每个网关自身的控制，如果有多个网关，那么后端 ES 集群收到的请求数等于多个网关限速的总和。 本次介绍就到这里了。相信大家在使用 ES 的过程中也遇到过各种各样的问题。欢迎大家来我们这个平台分享自己的问题、解决方案等。如有任何问题，请随时联系我，期待与您交流！

最近某头部汽车集团需要针对当前 ES 集群进行优化，背景如下： ES 用于支撑包括核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用，合计超 50 余套集群，累计数据超 1.5PB 。 本文针对其中一个 ES 集群进行分享，该集群原本使用的是 ES 7.3.2 免费版，数据已经 130TB 了，14 个节点。写入数据时经常掉节点，写入性能也不稳定，当天的数据写不完。迫切需要新的解决方案。 分析业务场景后总结需求要点：主要是写，很少查。审计需求，数据需要长期保存。 这个需求比较普遍，处理起来也很简单：

• 使用 Easysearch 软件，只需少量节点存储近两天的数据。
• 索引设置开启 ZSTD 压缩功能，节省磁盘空间。
• 每天索引数据写完后，第二天执行快照备份存放到 S3 存储。
• 备份成功后，删除索引释放磁盘空间。
• 需要搜索数据时，直接从快照搜索。

将近期的数据，存放到本地磁盘，保障写入速度。写入完毕的索引，在执行快照备份后，可删除索引，释放本地磁盘空间。

Easysearch 配置要点

path.repo: ["/S3-path"]
node.roles: ["data","search"]
node.search.cache.size: 500mb

• path.repo : 指定 S3 存储路径，上传快照用。
• node.roles : 只有 search 角色的节点，才能去搜索快照中的数据。
• node.search.cache.size : 执行快照搜索时的，缓存大小。

更多信息请参考官方文档。

旧数据迁移

通过 Console 将原 ES 集群的数据，迁移到新 Easysearch 集群。迁移时，复制 mapping 和 setting，并在 setting 中添加如下设置。

"codec": "ZSTD",
"source_reuse": true,

原索引数据量大，可拆分成多个小任务。 迁移完，索引存储空间一般节省 50% 左右。 原索引 279GB ，迁移完后 138GB。

搜索快照数据

挂载快照后，搜索快照里的索引和搜索本地的索引，语法完全一样。 如何判断一个索引是在快照还是本地磁盘呢？可以查看索引设置里的 settings.index.store.type 如果是 remote_snapshot ，说明是快照中的数据。如果是空值，则是集群本地的数据。
这次迁移，节省了 6 台主机资源。更重要的是，用上对象存储后，主机磁盘空间压力骤减。
这次介绍就到这里了，有问题联系我。

关于 Easysearch

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

官网文档：https://infinilabs.com/docs/latest/easysearch

什么是语义搜索？

语义搜索是一种使用自然语言处理算法来理解单词和短语的含义和上下文以提供更准确的搜索结果的搜索技术。旨在更好地理解用户的意图和查询内容，而不仅仅是根据关键词匹配，还通过分析查询的语义和上下文来提供更准确和相关的搜索结果。

传统的关键词搜索主要依赖于对关键词的匹配，而忽略了查询的含义和语境。但语义搜索的优点在于它可以更好地满足用户的意图，尤其是对于复杂的查询和问题。它能够理解查询的上下文，处理模糊或不完整的查询，并提供更相关和有用的搜索结果。例如，当用户搜索"最近的餐厅"时，语义搜索可以根据用户的位置信息和上下文，提供附近的餐厅列表，而不仅仅是简单地匹配关键词"最近"和"餐厅"。

语义搜索的历史

语义搜索的概念可以追溯到计算机科学的早期，在 20 世纪 50 年代和 1960 年代就有人尝试开发自然语言处理系统。然而，直到 20 世纪 90 年代和 2000 年代，语义搜索领域才取得了重大进展，这在一定程度上要归功于机器学习和人工智能的进步。

语义搜索最早的例子之一是 Douglas Lenat 在 1984 年创建的 Cyc 项目。该项目旨在建立一个全面的常识知识本体或知识库，可用于理解自然语言查询。虽然 Cyc 项目面临诸多挑战，最终没有实现其目标，但它为未来语义搜索的研究奠定了基础。

20 世纪 90 年代末，Ask Jeeves（现称为 Ask.com）等搜索引擎开始尝试自然语言查询和语义搜索技术。这些早期的努力受到当时技术的限制，但它们展示了更复杂的搜索算法的潜力。

2000 年代初 Web 本体语言 (OWL) 的发展提供了一种以机器可读格式表示知识和关系的标准化方法，使得开发语义搜索算法变得更加容易。2008 年被微软收购的 Powerset 和 2007 年推出的 Hakia 等公司开始使用语义搜索技术来提供更相关的搜索结果。

如今，许多搜索引擎和公司正在使用语义搜索来提高搜索结果的准确性和相关性。其中包括于 2012 年推出知识图谱的谷歌，以及使用语义搜索为其 Alexa 虚拟助手提供支持的亚马逊。随着人工智能领域的不断发展，语义搜索可能会变得更加复杂且适用于广泛的应用。

语义搜索的最新改进

语义搜索的最新改进有助于进一步推动该领域的发展。一些最值得注意的包括：

基于 Transformer 的模型：基于 Transformer 的模型，例如 BERT（来自 Transformers 的双向编码器表示），彻底改变了自然语言处理和语义搜索。这些模型能够更好地理解单词和短语的上下文，从而更容易提供更相关的搜索结果。

多模态搜索：多模态搜索是指跨文本、图像、视频等多种模式搜索信息的能力。机器学习的最新进展使得开发更准确、更复杂的多模态搜索算法成为可能。

对话式搜索：对话式搜索涉及使用自然语言处理和机器学习来为用户查询提供更准确、更人性化的响应。这项技术已经被用于虚拟助手，例如亚马逊的 Alexa 和苹果的 Siri。

个性化：个性化是指根据用户的偏好和之前的搜索历史来定制搜索结果的能力。随着在线可用数据量的不断增长，这一点变得越来越重要。

特定领域搜索：特定领域搜索涉及使用语义搜索技术在特定领域或行业（例如医疗保健或金融）内进行搜索。这有助于为这些行业的用户提供更准确、更相关的搜索结果。

总体而言，语义搜索的最新进展使得在线查找信息变得更加容易，并为未来更复杂的搜索算法铺平了道路。

语义搜索和知识图谱有什么关系？

语义搜索和知识图（knowledge graph）密切相关，因为两者都涉及使用语义技术来改进搜索结果。

知识图是一种用于组织和表示知识的图形结构，通过节点和边的连接展示实体和关系之间的语义关联性。例如，知识图可能包含有关特定公司的信息，包括其位置、产品和员工以及这些实体之间的关系。

另一方面，语义搜索是一种使用自然语言处理和机器学习来更好地理解搜索查询中单词和短语的含义的搜索技术。语义搜索算法使用知识图和其他语义技术来分析实体和概念之间的关系，并基于此分析提供更相关的搜索结果。

换句话说，知识图谱为语义搜索提供了丰富的知识背景，帮助理解查询意图和提供准确的搜索结果。同时，语义搜索可以帮助构建和扩展知识图谱，提高搜索的准确性和语义理解能力。

例如，谷歌的知识图使用庞大的结构化数据数据库来支持其搜索结果，并提供有关搜索结果中出现的实体（例如人物、地点和事物）的附加信息。这使得用户更容易找到他们正在寻找的信息并探索相关的概念和实体。

向量数据库、知识图谱和语义搜索

向量数据库是另一种可以与语义搜索和知识图相结合使用以改进搜索结果的技术。它主要用于处理和分析具有向量特征的数据，如图像、音频、文本、时间序列等。

传统的关系型数据库主要用于存储结构化的数据，而向量数据库则专注于存储和处理高维向量。它的设计目标是能够高效地进行向量相似性搜索和聚类等操作，以支持复杂的数据分析和机器学习任务。向量数据库使用机器学习算法将数据表示为向量，向量是数据的数学表示，可用于各种计算任务，例如，向量可用于表示人、地点和事物等实体以及它们之间的关系。通过比较这些向量，搜索算法可以识别数据本身可能无法立即显现的关系和模式。

在语义搜索和知识图的背景下，向量数据库可以通过更好地理解实体和概念之间的关系来提高搜索结果的准确性。

例如，当用户搜索“ London ”时，语义搜索算法可以使用知识图和向量数据库来了解用户可能指的是英国伦敦市，而不是其他同名实体。

通过使用向量数据库来表示和比较实体和概念，搜索算法可以提供更相关和更准确的搜索结果。

总体而言，向量数据库、语义搜索和知识图谱都是共同提高搜索算法的准确性和效率的技术。通过利用这些技术，搜索引擎和其他应用程序可以更好地理解实体和概念之间的关系，从而更轻松地找到用户正在寻找的信息。

关于 Easysearch

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

官网文档：https://infinilabs.com/docs/latest/easysearch

参考资料

• 给 ES 插上向量检索的翅膀