INFINI Console 纳管 Elasticsearch 9（二）：日志监控

Elasticsearch • INFINI Labs 小助手发表了文章 • 0 个评论 • 3352 次浏览 • 2025-05-11 22:36 • 来自相关话题

前面介绍过 INFINI Console 纳管 Elasticsearch 9（一），进行指标监控、数据管理、DSL 语句执行，但日志监控功能需要结合 [Agent](https://docs.infinilabs.com/agent/main/zh/) 才能使用。现在来实现一下：

Agent 需要和 ES 部署到同一机器上，这里是在我本地电脑上进行安装。

安装 Elastisearch

bash curl -O <a href="https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-9.0.0-darwin-x86_64.tar.gz" rel="nofollow" target="_blank">https://artifacts.elastic.co/d ... ar.gz</a> curl <a href="https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-9.0.0-darwin-x86_64.tar.gz.sha512" rel="nofollow" target="_blank">https://artifacts.elastic.co/d ... ha512</a> | shasum -a 512 -c - tar -xzf elasticsearch-9.0.0-darwin-x86_64.tar.gz cd elasticsearch-9.0.0/ ./bin/elasticsearch 

![](https://infinilabs.cn/img/blog ... 01.png)

将 ES 注册到 Console 中。

![](https://infinilabs.cn/img/blog ... 02.png)

![](https://infinilabs.cn/img/blog ... 03.png)

安装 Agent

bash curl -O <a href="https://release.infinilabs.com/agent/stable/agent-1.29.2-2008-mac-amd64.zip" rel="nofollow" target="_blank">https://release.infinilabs.com ... 4.zip</a> mkdir agent unzip agent-1.29.2-2008-mac-amd64.zip -d agent/ cd agent 

修改配置文件 agent.yml，填写正确的 Console 地址。

![](https://infinilabs.cn/img/blog ... 04.png)

启动 Agent，成功注册到 Console，获取到相关配置，但连接 Console 系统集群出现异常，这是因为 Console 系统集群是 Docker 部署的（172.17.0.2 是 Docker 内部 IP）。

![](https://infinilabs.cn/img/blog ... 05.png)

通过 Console 修改 Agent 配置。

![](https://infinilabs.cn/img/blog ... 06.png)

![](https://infinilabs.cn/img/blog ... 07.png)

注：Console 系统集群地址需调整为 Agent 可以访问的地址；配置版本号需要增大。

Agent 运行无异常。

![](https://infinilabs.cn/img/blog ... 08.png)

Agent 注册 Console 成功后，在 Console 页面“资源管理”-“探针管理”中可以看到注册的 Agent 实例。

![](https://infinilabs.cn/img/blog ... 09.png)

关联操作

Agent 关联到需要采集数据的 ES 集群。

![](https://infinilabs.cn/img/blog ... 10.png)

![](https://infinilabs.cn/img/blog ... 11.png)

![](https://infinilabs.cn/img/blog ... 12.png)

![](https://infinilabs.cn/img/blog ... 13.png)

调整监控模式

关联成功后，将 ES 集群的监控模式改为 Agent。

![](https://infinilabs.cn/img/blog ... 14.png)

可在监控报表中，查看采集状态。

![](https://infinilabs.cn/img/blog ... 15.png)

查看日志

![](https://infinilabs.cn/img/blog ... 16.png)

至此日志功能已可以使用。

关于 INFINI Console

![](https://infinilabs.cn/img/blog ... 2x.png)

INFINI Console 是一款开源的非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管，企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。INFINI Console 还可以对集群内的索引及数据进行操作管理，可以配置灵活的告警规则，可以指定统一的安全策略，可以查看各个维度的日志和审计信息，真正实现企业级的搜索服务平台化建设和运营。

官网文档：<https://docs.infinilabs.com/console>;
开源地址：<https://github.com/infinilabs/console>;

原文：https://infinilabs.cn/blog/202 ... arch/

谈谈 ES 6.8 到 7.10 的功能变迁（4）- 聚合功能篇

Elasticsearch • INFINI Labs 小助手发表了文章 • 0 个评论 • 2943 次浏览 • 2025-05-11 22:28 • 来自相关话题

这一篇我们继续了解 ES 7.10 相较于 ES 6.8 新增的聚合方法。

Rare Terms 聚合

功能说明

用于聚合查询出字段中的稀有项。ES 常见的统计方法是使用 term 查询的正向排序，但是在大数据量和高基数的数据分布场景下会出现 unbounded 错误。Rare 聚合弥补了这个场景的查询方法。注意的是，这个聚合计算出来的是一个近似值。

注意事项

使用限制

只能用于 keyword、numeric、ip 或 boolean 类型字段
max_doc_count 参数限制文档数量（默认为 1）
precision_threshold 参数控制精度（默认为 3000）

性能考虑
在高基数(数据集中不同值的数量非常多)字段上性能较好
内存消耗相对较大
聚合是在 shard 层做的统计，建议使用合适的 shard 大小

精度控制
结果是近似值，具体说明[见此](https://www.elastic.co/guide/e ... cision)
可以通过 precision_threshold 调整精度，精度越高，内存消耗越大

Cumulative Cardinality 聚合

功能说明

一个管道聚合，计算 histogram（或 date_histogram）聚合中的累积基数。
Cumulative_cardinality 聚合对于查找几个时间段内的"新项目"很有用，比如每天网站的新访客数量。常规 Cardinaity 聚合会告诉你每天有多少独立访客，但不会区分"新"或"重复"访客。Cumulative_cardinality 聚合可以用来确定每天有多少独立访问者是"新"的。

可以通过 precision_threshold 参数调整精度，内存消耗随精度增加而增加。建议根据实际需求调整精度，避免不必要的高精度设置。

使用要求
需要一个 date_histogram 或 histogram 聚合
需要一个 cardinality 度量聚合
buckets_path 必须指向一个有效的 cardinality 聚合

代码样例

 GET /user_hits/_search { "size": 0, "aggs": { "users_per_day": { "date_histogram": { "field": "timestamp", "calendar_interval": "day" }, "aggs": { "distinct_users": { "cardinality": { "field": "user_id" } }, "total_new_users": { "cumulative_cardinality": { "buckets_path": "distinct_users" } } } } } } 

Geotile Grid 聚合

功能说明

基于 geo_point 字段的地理位置多桶聚合。将地理空间数据按照网格划分，便于可视化和分析。

注意要点
1. 网格设置： precision 参数控制网格精度（0-29），精度越高，网格越小，桶数越多。
2. 高精度会产生大量桶，内存消耗随精度增加而增加。
3. 只支持 geo_point 类型字段。
 
 代码样例
 
 json POST /museums/_search?size=0 { "aggregations": { "tiles-in-bounds": { "geotile_grid": { "field": "location", "precision": 22, "bounds": { "top_left": "52.4, 4.9", "bottom_right": "52.3, 5.0" } } } } } 
 
 T-test 聚合
 
 功能说明
 
 T_test 是一种统计假设检验，用于判断测试统计量在零假设下是否服从学生 t 分布（Student’s t-distribution）。它适用于从聚合文档中提取的数值或通过提供的脚本生成的数值。
 该聚合将会返回该检验的 p 值（概率值）。它是在零假设正确的情况下（这意味着总体均值之间没有差异），获得至少与聚合所处理结果一样极端结果的概率。p 值越小，意味着零假设越有可能不正确，总体均值实际上是存在差异的。
 
 关于 Student’s t-distribution
 
 Student's t - distribution（学生 t - 分布），简称 t - 分布，是一种概率分布。它在统计学中具有重要地位，特别是在样本量较小且总体标准差未知的情况下用于对总体均值进行估计和假设检验。
 它的形状类似于正态分布，呈钟形曲线，但比正态分布的 “尾部” 更厚。也就是说，t - 分布在均值两侧的极端值出现的概率比正态分布更高。
 
 测试代码
 
 json GET node_upgrade/_search { "size": 0, "aggs": { "startup_time_ttest": { "t_test": { "a": { "field": "startup_time_before" }, "b": { "field": "startup_time_after" }, "type": "paired" } } } } 
 
 Variable Width Histogram 可变直方图聚合
 
 功能说明
 
 类似于 histogram 的多桶聚合。但与 histogram 不同，每个桶的宽度不是预先指定的，而是根据目标桶数量动态确定间隔。
 
 参数设置
field 必须是数值类型
buckets 参数指定目标桶数
实际桶数可能少于指定值

性能考虑
比固定宽度直方图更耗资源，大数据集上可能较慢
建议限制目标桶数量

使用场景
数据分布不均匀时特别有用
适合探索性数据分析
可以避免空桶或过密桶

Normalize 归一化聚合

功能说明

一个管道聚合，用于计算特定桶值的归一化或重新缩放后的值。

方法选择

可以归一化处理的方法有：
rescale_0_1：0 到 1 重缩放，这种方法对数据进行重新缩放，使得最小值变为 0，最大值变为 1，其余数值则在两者之间进行线性归一化。
rescale_0_100：0 到 100 重缩放，该方法对数据进行重新缩放，让最小值变为 0，最大值变为 100，其余数值在它们之间按线性方式进行归一化。
percent_of_sum：占总和的百分比，此方法对每个值进行归一化，使其表示为占总值的百分比。
mean：均值归一化，这种方法进行归一化时，每个值依据其与平均值的差异程度来进行归一化。
zscore：Z 分数归一化，该方法进行归一化时，每个值表示的是其相对于标准差偏离均值的程度。
softmax：软最大化归一化，这种方法进行归一化时，先对每个值取指数，然后相对于原始值指数之和来进行归一化。

参数配置
method 参数指定归一化方法
buckets_path 指定数据来源
可以设置缺失值处理

Moving Percentiles 聚合

功能介绍

一个管道聚合，对于一组有序的百分位数，移动百分位数聚合（Moving Percentile Aggregation）会在这些百分位数上滑动一个窗口，并计算累积百分位数。

关于 shift 偏移参数

默认情况下（偏移量 shift = 0 时），用于计算的窗口是除当前桶之外的最后 n 个值。将偏移量增加 1 会使起始窗口位置向右移动 1 个单位。
若要将当前桶包含在窗口内，请使用 shift = 1。
对于居中对齐（当前桶前后各有 n / 2 个值），使用 shift = window / 2。
对于右对齐（当前桶之后有 n 个值），使用 shift = window。

如果窗口的任一边缘移动到数据序列边界之外，窗口将会收缩，仅包含可用的值。

Rate 聚合

功能说明

在 date_histogram 的聚合上使用，用于计算每个 date_histogram 桶中的文档速率或字段速率。

rare 聚合支持多种时间单位（如秒、分、时），使用时需要明确指定单位。可以用来计算文档数或字段值，但必须与 date_histogram 一起使用。

小结

这一篇粗略的列举了 ES 7.10 版本中新增的聚合方法。相较于查询方法的高使用频率和低资源占用，聚合方法的使用频率相对较少，内存也会有一定的占用，大家可以根据实际场景选择使用。

推荐阅读
[谈谈 ES 6.8 到 7.10 的功能变迁（1）- 性能优化篇](https://infinilabs.cn/blog/202 ... part-1)
[谈谈 ES 6.8 到 7.10 的功能变迁（2）- 字段类型篇](https://infinilabs.cn/blog/202 ... part-2)
[谈谈 ES 6.8 到 7.10 的功能变迁（3）- 查询方法篇](https://infinilabs.cn/blog/202 ... part-3)
[谈谈 ES 6.8 到 7.10 的功能变迁（5）- 任务和集群管理](https://infinilabs.cn/blog/202 ... part-5)
[谈谈 ES 6.8 到 7.10 的功能变迁（6）- 其他](https://infinilabs.cn/blog/202 ... part-6)

关于极限科技（INFINI Labs）

![INFINI Labs](https://infinilabs.cn/img/blog ... bs.png)

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：<https://infinilabs.cn>;

作者：金多安，极限科技（INFINI Labs）搜索运维专家，Elastic 认证专家，搜索客社区日报责任编辑。一直从事与搜索运维相关的工作，日常会去挖掘 ES / Lucene 方向的搜索技术原理，保持搜索相关技术发展的关注。
原文：https://infinilabs.cn/blog/202 ... rt-4/

【搜索客社区日报】第2034期 (2025-05-09）

社区日报 • Fred2000 发表了文章 • 0 个评论 • 1919 次浏览 • 2025-05-11 08:24 • 来自相关话题

INFINI Console 纳管 Elasticsearch 9（一）：指标监控、数据管理、DSL 语句执行

Elasticsearch • INFINI Labs 小助手发表了文章 • 0 个评论 • 2673 次浏览 • 2025-05-09 00:35 • 来自相关话题

Elasticsearch v9.0 版本最近已发布，而 [INFINI Console](https://docs.infinilabs.com/console) 作为一款开源的非常轻量级的多集群、跨版本的搜索基础设施统一管控平台，是否支持最新的 Elasticsearch v9.0 集群管理呢？本文以 INFINI Console v1.29.2 为例，从指标监控、数据管理、DSL 语句执行等方面进行测试。

部署注册

使用 Docker 快速部署 ES9。

bash docker run --name es9 -p 9201:9200 -it -m 1GB docker.elastic.co/elasticsearch/elasticsearch:9.0.0 

使用 Docker 部署 Console，请参考[文档](https://docs.infinilabs.com/co ... ocker/)。

bash docker run -d --name console -p 9001:9000 infinilabs/console:1.29.2-2008 

将 ES9 注册到 Console，默认采集模式为 Agentless。

![](https://infinilabs.cn/img/blog ... 01.png)

![](https://infinilabs.cn/img/blog ... 02.png)

请求模拟

使用 [Loadgen](https://release.infinilabs.com/loadgen/stable/) 模拟数据写入和查询。

```bash
env:
ES_USERNAME: elastic
ES_PASSWORD: CZ-FHm+M5cbfee_yMPZp
ES_ENDPOINT: https://192.168.0.101:9201

runner:

total_rounds: 1

no_warm: true
valid_status_codes_during_warmup: [ 200,201,404 ]

Whether to log all requests

log_requests: false

Whether to log all requests with the specified response status

log_status_codes:

0
500
assert_invalid: false
assert_error: false

Whether to reset the context, including variables, runtime KV pairs, etc.,

before this test run.

reset_context: false
default_endpoint: $[[env.ES_ENDPOINT]]
default_basic_auth:
username: $[[env.ES_USERNAME]]
password: $[[env.ES_PASSWORD]]

variables:
- name: id
 type: sequence
- name: uuid
 type: uuid
- name: now_local
 type: now_local
- name: now_unix
 type: now_unix
- name: list
 type: list
 data:
 - "medcl"
 - "abc"
 - "efg"
 - "xyz"
 
 requests:
- request: #prepare some docs
 method: POST
 url: /_bulk
 body_repeat_times: 5000
 body: |
 {"index": {"_index": "infinilabs", "_id": "$[[uuid]]"}}
 {"id": "$[[id]]", "field1": "$[[list]]", "now_local": "$[[now_local]]", "now_unix": "$[[now_unix]]"}
- request:
 method: GET
 url: infinilabs/_search
 body: |
 {"query":{"term":{"id":"$[[id]]"}}}
   bash
 ./loadgen-mac-amd64 -d 300
```

平台管理

平台概览

![](https://infinilabs.cn/img/blog ... 03.png)

![](https://infinilabs.cn/img/blog ... 04.png)

监控报表
- 指标概览
 
 ![](https://infinilabs.cn/img/blog ... 05.png)
- 集群指标
 
 ![](https://infinilabs.cn/img/blog ... 06.png)
- 节点指标
 
 ![](https://infinilabs.cn/img/blog ... 07.png)
- 索引指标
 
 ![](https://infinilabs.cn/img/blog ... 08.png)
- 节点线程指标
 
 ![](https://infinilabs.cn/img/blog ... 09.png)
- 节点热力图
 
 ![](https://infinilabs.cn/img/blog ... 10.png)
- 索引热力图
 
 ![](https://infinilabs.cn/img/blog ... 11.png)
- 查看日志
 
 ![](https://infinilabs.cn/img/blog ... 12.png)
 
 日志采集需要安装 Agent，关于这块功能后续会进行介绍。
- 节点实时指标
 
 ![](https://infinilabs.cn/img/blog ... 13.png)
- 索引实时指标
 
 ![](https://infinilabs.cn/img/blog ... 14.png)
 
 数据管理
 
 ![](https://infinilabs.cn/img/blog ... 15.png)
 
 开发工具
 
 ![](https://infinilabs.cn/img/blog ... 16.png)
 
 总结
 
 经过测试，INFINI Console 可以支持 Elasticsearch 9 集群纳管，大家可以下载体验使用。
 
 关于 INFINI Console
 
 ![](https://infinilabs.cn/img/blog ... 2x.png)
 
 INFINI Console 是一款开源的非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管，企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。INFINI Console 还可以对集群内的索引及数据进行操作管理，可以配置灵活的告警规则，可以指定统一的安全策略，可以查看各个维度的日志和审计信息，真正实现企业级的搜索服务平台化建设和运营。
 
 官网文档：<https://docs.infinilabs.com/console>;
 开源地址：<https://github.com/infinilabs/console>;
 
 原文：https://infinilabs.cn/blog/202 ... arch/

【搜索客社区日报】第2033期 (2025-05-08）

社区日报 • Se7en 发表了文章 • 0 个评论 • 2089 次浏览 • 2025-05-08 22:48 • 来自相关话题

Easysearch 时序数据的基于时间范围的合并策略

Easysearch • INFINI Labs 小助手发表了文章 • 0 个评论 • 2285 次浏览 • 2025-05-07 16:44 • 来自相关话题

如果你正在使用 [Easysearch](https://docs.infinilabs.com/easysearch/main/) 处理日志、监控指标、事件流或其他任何具有时间顺序的数据，那么你一定知道索引的性能和效率至关重要。Easysearch 底层的 Lucene Segment 合并是保持搜索和索引性能的关键后台任务。然而，你是否意识到，默认的合并策略可能并不是处理时序数据的最佳选择？

![](https://infinilabs.cn/img/blog ... er.png)

今天，我们就来介绍 Easysearch 1.12.1 版本起引入的一个重要优化：基于时间范围的合并策略 (TimeRangeMergePolicy) ，它专门为优化时序数据的 Segment 合并而生。

时序数据的合并挑战：默认策略的局限性

Easysearch 默认使用的合并策略（如 TieredMergePolicy）非常智能，它会根据 Segment 的大小、文档删除比例等因素来决定合并哪些 Segment，以平衡查询性能和资源使用。

但在时序数据场景下，这种通用策略可能会遇到一些问题：

冷热数据混合： 想象一下，几个月前的旧日志数据（冷数据）可能因为大小合适而被选中，与最近几小时内产生的新数据（热数据）进行合并。这会带来不必要的 I/O 和 CPU 开销，因为冷数据通常访问很少，合并它们对查询性能的提升有限，反而消耗了宝贵的资源。
查询性能影响： 合并可能产生覆盖时间跨度非常大的 Segment。当你执行按时间范围过滤的查询时（这在时序场景中非常常见），查询可能需要扫描这些巨大的 Segment，即使其中大部分数据都不在你的目标时间范围内，从而降低查询效率。

解决方案：TimeRangeMergePolicy 登场！

为了解决上述痛点，Easysearch 引入了 TimeRangeMergePolicy。顾名思义，这种策略在做合并决策时，将时间维度纳入了核心考量。

它的核心思想很简单，但非常有效：
- 时间优先： 倾向于合并那些时间上相邻或接近的 Segment。比如，属于同一天或同一小时的 Segment 更有可能被一起合并。
- 保留时间分区： 尽量避免将时间跨度极大的 Segment 合并在一起。这有助于保持数据的“时间局部性”，使得按时间范围查询时能更快地排除不相关的 Segment。
- 优先合并新数据： 通常，新产生的数据（热数据）更新和删除操作更频繁。优先合并包含较新数据的 Segment，有助于更快地回收被删除文档占用的空间，并优化对最新数据的查询性能。
  
  如何为你的时序索引启用 TimeRangeMergePolicy？
  
  启用这个功能非常简单，只需要两步：
确认日期字段： 首先，确保你的索引 Mapping 中有一个能准确代表数据时间的字段，通常是日期（date）或时间戳（date_nanos）类型，例如 @timestamp、event_time 等。这个字段的值应该反映数据产生的实际时间。
更新索引设置： 使用 Index Settings API，为你的索引指定 index.merge.policy.time_range_field 参数，并将其值设置为你的时间字段名。

示例：

假设你的时间字段是 timestamp，索引名称是 my-timeseries-index，你可以执行以下请求：

auto PUT /my-timeseries-index/_settings { "index": { "merge.policy.time_range_field": "timestamp" } } 

搞定！设置之后，my-timeseries-index 后续的 Segment 合并就会自动采用 TimeRangeMergePolicy 了。

专家提示： 如果你想让所有新创建的时序索引默认就使用这个策略，可以将这个设置添加到你的索引模板 (Index Template) 中。

TimeRangeMergePolicy 的优势

启用时间范围合并策略能带来哪些好处呢？
- 降低合并开销： 显著减少冷热数据的无效合并，节省 I/O 和 CPU 资源。
- 提高资源效率： 更智能的合并有助于更快地回收已删除文档的空间，并可能降低整体计算资源的使用。
- 优化查询性能： 保持 Segment 的时间局部性，对于按时间范围过滤的查询（例如，“查询过去一小时的日志”）可能会有明显的性能提升。
- 对时序数据更友好： 该策略的设计初衷就是为了更好地服务于日志、指标这类严格按时间增长的数据模式。
 
 注意事项
 
 在使用 TimeRangeMergePolicy 时，有几点需要注意：
- 时间字段是关键： 策略的效果高度依赖于你所指定的 time_range_field。如果该字段不存在，或者字段中的时间值混乱、不准确，策略可能无法发挥预期效果，甚至适得其反。
- 并非万能丹： 这个策略最适合具有明确时间序列特征的数据。对于非时序数据（例如，商品信息、用户信息索引），默认的 TieredMergePolicy 可能仍然是更好的选择。
- 版本要求： 请确保你的 Easysearch 集群版本至少为 1.12.1。
 
 总结
 
 对于处理大量时序数据的 Easysearch 用户来说，TimeRangeMergePolicy 是一个非常有价值的优化工具。通过感知数据的时间属性，它可以让 Segment 合并操作更加智能和高效，从而降低资源消耗、提升查询性能。如果你的索引符合时序数据的特征，并且正在运行 Easysearch 1.12.1 或更高版本，不妨尝试启用这个策略，看看它能否为你的集群带来改善！
 
 关于 Easysearch
 
 INFINI Easysearch 是一个分布式的搜索型数据库，实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。Easysearch 可以完美替代 Elasticsearch，同时添加和完善多项企业级功能。Easysearch 助您拥有简洁、高效、易用的搜索体验。
 
 官网文档：<https://docs.infinilabs.com/easysearch>;
 
 作者：张磊，极限科技（INFINI Labs）搜索引擎研发负责人，对 Elasticsearch 和 Lucene 源码比较熟悉，目前主要负责公司的 Easysearch 产品的研发以及客户服务工作。
 原文：https://infinilabs.cn/blog/202 ... arch/

【搜索客社区日报】第2032期 (2025-05-07）

社区日报 • kin122 发表了文章 • 0 个评论 • 2104 次浏览 • 2025-05-07 11:06 • 来自相关话题

【搜索客社区日报】第2031期 (2025-05-06）

社区日报 • God_lockin 发表了文章 • 0 个评论 • 1804 次浏览 • 2025-05-06 14:57 • 来自相关话题

【搜索客社区日报】第2030期 (2025-04-29）

社区日报 • God_lockin 发表了文章 • 0 个评论 • 2833 次浏览 • 2025-04-29 11:04 • 来自相关话题

INFINI Labs 产品更新 | Coco AI 0.4 发布 – 完善小助手设置，添加MCP支持

资讯动态 • INFINI Labs 小助手发表了文章 • 0 个评论 • 2790 次浏览 • 2025-04-29 00:10 • 来自相关话题

![release](https://infinilabs.cn/img/blog/release/banner.png)

INFINI Labs 产品更新发布！此次更新涵盖 Coco AI 、Easysearch 等产品多项重要升级，重点提升 AI 搜索能力、易用性及企业级优化。

Coco AI v0.4 作为开源、跨平台的 AI 搜索工具，完善小助手设置，添加 MCP 支持。
Coco AI Server 新增模型提供商管理，AI 助手设置和大量优化改进。
INFINI Easysearch v1.12.1 修复上个版本引入的数个问题。
INFINI Console、Gateway、Agent、Loadgen、Framework 关键问题修复，优化 HTTP 请求压缩，修复一些界面问题。

Coco AI v0.4

Coco AI 是一个完全开源、跨平台的统一 AI 搜索与效率工具，能够连接并搜索多种数据源，包括应用程序、文件、谷歌网盘、Notion、语雀、Hugo 等本地与云端数据。通过接入 DeepSeek 等大模型，Coco AI 实现了智能化的个人知识库管理，注重隐私，支持私有部署，帮助用户快速、智能地访问信息。

Coco AI 本次详细更新记录如下：

Coco AI 客户端 v0.4.0

![](https://infinilabs.cn/img/blog ... at.gif)

![](https://infinilabs.cn/img/blog ... ch.gif)

Coco AI 服务端 v0.4.0

功能更新
新增聊天会话管理 API
支持字体图标
新增 AI 助手设置
![](https://infinilabs.cn/img/blog ... /2.png)
新增 MCP 服务器管理
![](https://infinilabs.cn/img/blog ... /7.png)
新增模型提供商管理
![](https://infinilabs.cn/img/blog ... /3.png)
![](https://infinilabs.cn/img/blog ... /4.png)
![](https://infinilabs.cn/img/blog ... /5.png)
新增版本及授权信息
![](https://infinilabs.cn/img/blog ... /6.png)

问题修复
修复了语雀连接器对个人令牌支持不完善的问题
修复嵌入组件包装器中的 Content-Type 头错误问题
修复默认登录 URL 不可更改的问题

优化改进
内置连接器图标资源设置为只读
支持设置嵌入组件的图标和占位符
优化嵌入组件搜索框 UI
重构优化安全插件
嵌入组件主题样式设置为 auto 时搜索框主题样式跟随系统
嵌入组件支持设置推荐话题
跳过处理已禁用的嵌入组件包装器
创建 google drive 类型数据源时，如果缺少必要设置，引导用户去设置
默认使用 Go Module 管理模块依赖
图标组件支持用户输入 URL 地址配置图标
更新默认查询模版

INFINI Easysearch v1.12.1

INFINI Easysearch 是一个分布式的搜索型数据库，实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。Easysearch 可以完美替代 Elasticsearch，同时添加和完善多项企业级功能。Easysearch 助您拥有简洁、高效、易用的搜索体验。

Easysearch 本次更新如下：

问题修复
修复 ollama_url 不能动态更新的错误
修复 ollama api 未正确兼容单个文本请求
索引生命周期管理 delete action 按文档最新时间删除时修正为按降序排序

INFINI Console v1.29.3

INFINI Console 是一款开源的非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管，企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验：

<http://demo.infini.cloud>; (用户名/密码：readonly/readonly)。

Console 本次更新如下：

问题修复
修复删除索引后重建索引缓存问题
修复 qps 相关指标展示时的小数位数
修复队列数据查看不弹窗问题
修复索引管理别名跳转 404 问题
修复初始化界面集群地址不正确问题

优化改进
http 处理器开启压缩默认配置
增加初始化模板，对于 Easysearch >= 1.12.1 开启新的模板

INFINI Gateway v1.29.3

INFINI Gateway 是一个开源的面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

优化改进
同步更新 [Framework v1.1.6](https://docs.infinilabs.com/fr ... notes/) 优化了一些已知问题
实现 HTTP 处理器请求压缩支持

INFINI Agent v1.29.2

INFINI Agent 负责采集和上传 Elasticsearch, Easysearch, Opensearch 集群的日志和指标信息，通过 INFINI Console 管理，支持主流操作系统和平台，安装包轻量且无任何外部依赖，可以快速方便地安装。

Agent 本次更新如下：

优化改进
同步更新 [Framework v1.1.6](https://docs.infinilabs.com/fr ... notes/) 优化了一些已知问题
优化节点发现日志输出

INFINI Loadgen v1.29.3

INFINI Loadgen 是一款开源的专为 Easysearch、Elasticsearch、OpenSearch 设计的轻量级性能测试工具。

Loadgen 本次更新如下：

优化改进
同步更新 [Framework v1.1.6](https://docs.infinilabs.com/fr ... notes/) 优化了一些已知问题

INFINI Framework v1.1.6

INFINI Framework 是 INFINI Labs 基于 Golang 的产品的核心基础，已开源。该框架以开发者为中心设计，简化了构建高性能、可扩展且可靠的应用程序的过程。

Framework 本次更新如下：

重大变更
添加 Elasticsearch v9 的适配器

功能更新
在 ORM 模块中添加对 query_string 和 prefix 查询的支持
为 HTTP 处理器添加压缩支持
允许在设置（setup）完成后注册回调函数

问题修复
修复 WriteHeader 函数，防止重复写入状态码
确保在 HTTP 处理器中写入响应前，先设置 200 状态码
检测到管道配置变化时，重新加载并通知相关模块
修正默认设置为绿色时，不记录集群状态丢失的问题

优化改进
添加获取实例 ID 的工具函数
添加删除会话键的工具函数
更新 Profile 结构体
设置服务重启策略为 "always"
添加针对“未找到记录”场景写入响应的工具函数
默认支持 Go Modules

更多详情请查看以下详细的 Release Notes 或联系我们的技术支持团队！
[INFINI Easysearch](https://docs.infinilabs.com/ea ... earch/)
[INFINI Console](https://docs.infinilabs.com/co ... notes/)
[INFINI Gateway](https://docs.infinilabs.com/ga ... notes/)
[INFINI Agent](https://docs.infinilabs.com/ag ... notes/)
[INFINI Loadgen](https://docs.infinilabs.com/lo ... notes/)
[INFINI Framework](https://docs.infinilabs.com/fr ... notes/)
[Coco AI App](https://docs.infinilabs.com/co ... notes/)
[Coco AI Server](https://docs.infinilabs.com/co ... notes/)

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;）中的对应项目中提交 Feature Request 或提交 Bug。

下载地址： <https://infinilabs.cn/download>;

邮件：hello@infini.ltd

电话：(+86) 400-139-9200

Discord：<https://discord.gg/4tKTMkkvVX>;

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

![](https://infinilabs.cn/img/blog ... us.png)

关于极限科技（INFINI Labs）

![INFINI Labs](https://infinilabs.cn/img/blog ... bs.png)

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：<https://infinilabs.cn>;

【搜索客社区日报】第2029期 (2025-04-28）

社区日报 • Muses 发表了文章 • 0 个评论 • 2568 次浏览 • 2025-04-28 14:36 • 来自相关话题

谈谈 ES 6.8 到 7.10 的功能变迁（3）- 查询方法篇

Elasticsearch • INFINI Labs 小助手发表了文章 • 0 个评论 • 3413 次浏览 • 2025-04-28 12:17 • 来自相关话题

上一篇咱们了解了 ES 7.10 相较于 ES 6.8 新增的字段类型，这一篇我们继续了解新增的查询方法。

Interval 间隔查询：

功能介绍

Interval 查询，词项间距查询，可以根据匹配词项的顺序、间距和接近度对文档进行排名。主要解决的查询场景“创建一个多搜索词匹配的查询，同时保留搜索词的顺序”，比 match phrase 更加符合需求场景，查询方法使用比 span 查询更简单。ES 后续版本想用 interval 查询逐步替代 span 查询。

注意事项

规则组合

可以使用 prefix、wildcard、fuzzy 等规则
通过设置 max_gaps 和 ordered 参数，可以控制词项间的最大间隙和顺序要求。

性能考虑
间隔查询比简单的词项匹配更消耗资源
嵌套规则越多，性能开销越大
建议合理使用 maxGaps 参数限制间距

使用限制
只能用于 text 字段
不支持跨字段查询
不支持对数值类型字段使用

Distance feature 查询

功能说明

时间/地理距离特性查询，该查询用于查找更接近被查询日期和地理位置的结果。日期和位置分别是声明为 date 和 geo_point 数据类型的字段。返回结果的字段值不需要完全等于被查询值，而是按照给定日期或给定位置的进度算分，越是接近被查询值，在相关性得分中被评为更高。

字段类型要求
日期字段必须是 date 类型，地理位置字段必须是 geo_point 类型
不支持其他类型的距离计算

评分机制
距离越近，得分越高
使用 boost 参数调整权重
可以与其他查询组合使用

性能考虑
地理距离计算较为耗费资源，建议使用合适的索引优化地理查询，比如：考虑使用地理网格索引提升性能

Pinned 查询

功能说明

实现对某些文档的置顶功能，使用存储在_id 字段中的文档 ID 来标识升级或“固定”的文档。
此功能通常用于引导搜索者查找精选的文档，这些文档在搜索的任何 “organic” 匹配项之上被提升。当查询中有排序时，pinned 查询失效。

使用限制
不能与自定义排序一起使用
置顶文档必须存在于索引中
最多支持 100 个置顶文档

排序规则
置顶文档按照 ids 数组中的顺序排序
organic 查询结果按照相关性得分排序
置顶文档始终在 organic 结果之前

PIT 查询

功能说明

Point in time 查询是一个轻量级的视图，根据保留周期保留 PIT 查询发生时数据的状态，用于不同条件的深度分页查询。

scroll 滚动搜索及其上下文与查询内容绑定。这意味着编写一个查询，添加一个滚动参数，来自这个查询的响应数据就会保持一致。不同的查询内容则会产生不同的 scroll 上下文，资源使用就会相对紧张。有时想对同一固定数据集适时运行不同的查询，就需要 PIT 查询。

如果对于一个不断变化的索引有着很高的搜索负载，那么为每个请求创建一个新的时间点查询会使用相当多的资源。可以通过使用一个后台进程每隔几分钟创建一个时间点 id 并将其用于所有搜索请求的方式来优化资源使用

更多内容可以[参照这里](https://blog.csdn.net/UbuntuTo ... 925187)

注意事项

资源管理
PIT 会占用系统资源，需要及时释放
建议设置合理的保留时间
监控 open context 数量

使用场景
适合需要一致性视图的场景
适合需要深度分页的场景
适合需要在固定数据集上执行多次查询的场景

性能优化
避免过长的保留时间,合理设置批次大小
建议查询的时候带 sort 参数排序

测试代码

 // 1. 使用 product_test 索引，创建 PIT POST /product_test/_pit?keep_alive=1m 

![](https://infinilabs.cn/img/blog ... .1.png)

 GET /_search { "size": 1, "query": { "match": { "model": "iphone" } }, "pit": { "id": "i6-xAwEMcHJvZHVjdF90ZXN0FmRObXltV3ZDU1VTTnllYjNoR0ZtamcAFk1GQklTWXBaUkllb2h1cGl1VVFsdUEAAAAAAAABZk8WOFVoUHBhN3BSVVN5TWVmeTh4d3JpdwEWZE5teW1XdkNTVVNOeWViM2hHRm1qZwAA", "keep_alive": "1m" }, "sort": [ {"_score": "desc"}, {"_id": "asc"} ] } 

![](https://infinilabs.cn/img/blog ... .2.png)

 DELETE /_pit {"id":"i6-xAwEMcHJvZHVjdF90ZXN0FmRObXltV3ZDU1VTTnllYjNoR0ZtamcAFk1GQklTWXBaUkllb2h1cGl1VVFsdUEAAAAAAAABZk8WOFVoUHBhN3BSVVN5TWVmeTh4d3JpdwEWZE5teW1XdkNTVVNOeWViM2hHRm1qZwAA"} 

![](https://infinilabs.cn/img/blog ... .3.png)

小结

作为查询方法，Elasticsearch 新增的几个功能面对的场景更加具象且方便，大家可以根据业务的场景特性可以优化使用。其中深度分页查询是 ES 使用者几乎避免不了的场景，PIT 查询也是提供了一个更为优质的方法。

推荐阅读
[谈谈 ES 6.8 到 7.10 的功能变迁（1）- 性能优化篇](https://infinilabs.cn/blog/202 ... part-1)
[谈谈 ES 6.8 到 7.10 的功能变迁（2）- 字段类型篇](https://infinilabs.cn/blog/202 ... part-2)
[谈谈 ES 6.8 到 7.10 的功能变迁（4）- 聚合功能篇](https://infinilabs.cn/blog/202 ... part-4)
[谈谈 ES 6.8 到 7.10 的功能变迁（5）- 任务和集群管理](https://infinilabs.cn/blog/202 ... part-5)
[谈谈 ES 6.8 到 7.10 的功能变迁（6）- 其他](https://infinilabs.cn/blog/202 ... part-6)

关于极限科技（INFINI Labs）

![INFINI Labs](https://infinilabs.cn/img/blog ... bs.png)

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：<https://infinilabs.cn>;

作者：金多安，极限科技（INFINI Labs）搜索运维专家，Elastic 认证专家，搜索客社区日报责任编辑。一直从事与搜索运维相关的工作，日常会去挖掘 ES / Lucene 方向的搜索技术原理，保持搜索相关技术发展的关注。
原文：https://infinilabs.cn/blog/202 ... rt-3/

【直播预告】开源智能搜索与知识管理革新 —— Coco AI 全景解读

活动 • INFINI Labs 小助手发表了文章 • 0 个评论 • 3280 次浏览 • 2025-04-25 19:43 • 来自相关话题

4 月 28 日（周一）19:00，INFINI Labs 与 GitCode 联合为您带来 Coco AI 专场直播！本次直播将深度剖析 Coco AI 的核心功能、技术架构及其在实际场景中的应用，带您领略智能搜索与知识管理的全新变革。精彩不容错过，快来预约观看吧！👇

![](https://infinilabs.cn/img/blog ... er.jpg)

直播时间： 2025-04-28 19:00
直播平台： GitCode 视频号、CSDN 双端、极限实验室视频号

CSDN 直播间地址 👇
https://live.csdn.net/room/csdnedu/q6BD0Kui

直播主题

开源智能搜索与知识管理革新 —— Coco AI 全景解读

直播简介

在人工智能技术飞速发展的今天，如何高效管理海量信息、实现智能搜索与知识共享，已成为个人与企业共同面临的挑战。本次直播将全面解析 Coco AI —— 由极限科技（INFINI Labs）推出的开源、跨平台智能搜索与知识库管理工具，带您探索其核心功能、技术架构及实际应用场景。

无论您是希望优化知识管理的个人，还是期望建立高效信息生态的企业，亦或是对技术实现感兴趣的开发者，本次直播都将是您不可错过的学习与交流机会。

直播主题及嘉宾介绍

主题一：《下一代 AI 搜索工具 - Coco AI 介绍》

主题摘要：
Coco AI 是由极限科技推出的一款完全开源且免费的智能搜索与 AI 知识库工具。本次分享将深入介绍 Coco AI 的核心功能，并探讨如何融合人工智能与搜索技术，实现智能化搜索与知识管理的全面优化，从而有效提升企业协作效率与个人生产力。

分享嘉宾：
曾勇，极限科技 / INFINI Labs 创始人兼 CEO，现正带领团队专注于下一代实时搜索引擎与 AI 智能搜索相关技术的研发与创新。

主题二：《使用 Coco AI 打造 ES 专用工具箱》

主题摘要：
基于 Coco AI 打造了专门针对 ES 的工具箱，旨在通过快速、高效、准确的数据检索，解决 ES 使用过程中常见的问题，提升工作效率。

分享嘉宾：
杨帆，极限科技（INFINI Labs）高级解决方案架构师、《老杨玩搜索》栏目 B 站 UP 主，拥有十余年金融行业服务工作经验，熟悉 Linux、数据库、网络等领域。目前主要从事 Easysearch、Elasticsearch 等搜索引擎的技术支持工作，服务国内私有化部署的客户。

主题三：《Coco AI 技术选型-Tauri v2 的优劣》

主题摘要：
Tauri v2 是一款基于 Rust 的跨平台应用开发框架，凭借其轻量化、高性能和扩展性，成为近年来替代 Electron 的热门选择。尤其在 AI 应用开发中，Tauri v2 凭借其独特优势吸引了开发者关注，但也存在一些局限性需权衡。

分享嘉宾：
张斌，极限科技（INFINI Labs）Coco AI 前端研发负责人，拥有丰富的全栈开发经验，专注于 Web 技术与系统架构设计，致力于构建高效、可扩展的应用系统。擅长 JavaScript/TypeScript 生态，熟悉大数据处理和人工智能等前沿技术，具备深厚的工程实践背景，持续探索技术的边界与创新的可能。

关于 Gitcode

![](https://infinilabs.cn/img/blog ... de.gif)

[GitCode](https://gitcode.com/) 新一代由 AI 驱动的开源开发者平台，依托 CSDN 开发者社区，通过集成代码托管服务、代码仓库和可信赖的开源组件库，使开发者能够在云端进行代码托管和开发，平台提供了丰富的功能支持和完善的生态体系，帮助开发者轻松管理和分享代码，为开源项目提供强有力的支持。

关于 Coco AI

![](https://infinilabs.cn/img/blog/banner/coco.png)

Coco AI 是一个完全开源、跨平台的统一搜索与效率工具，能够连接并搜索多种数据源，包括应用程序、文件、谷歌网盘、Notion、语雀、Hugo 等本地与云端数据。通过接入 DeepSeek 等大模型，Coco AI 实现了智能化的个人知识库管理，注重隐私，支持私有部署，帮助用户快速、智能地访问信息。

官网：<https://coco.rs>;

GitCode：<https://gitcode.com/infinilabs/coco-app>;
Github：<https://github.com/infinilabs/coco-app>;

快来 ⭐️ Star 支持 Coco AI 吧 ~

Coco AI 入驻 GitCode：打破数据孤岛，解锁智能协作新可能

开源项目 • INFINI Labs 小助手发表了文章 • 0 个评论 • 2964 次浏览 • 2025-04-25 19:42 • 来自相关话题

在信息爆炸时代，企业正面临前所未有的挑战：

企业数据和信息分散，数据孤岛现象严重，员工往往浪费大量时间跨平台检索；
跨部门协作困难，团队因信息隔阂导致项目延期；
数据安全问题严峻，迫使企业对数据管理提出高要求；
传统搜索准确率不足，无法满足用户深层次需求；

这正是 [Coco AI](https://coco.rs/) 诞生的契机——一款重新定义企业效率的智能中枢。

Coco AI 是一个完全开源、跨平台的统一搜索与效率工具，深度融合大语言模型技术，实现从"人找信息"到"信息追人"的范式革命。目前已加入 GitCode 平台成为 G-Star 优秀毕业项目。通过连接 Google Workspace、Notion、语雀等 200+ 数据源，接入 DeepSeek 等大模型，构建企业级智能知识图谱，让数据真正流动起来，帮助企业高效管理和利用内外部数据资源。

![](https://infinilabs.cn/img/blog ... co.png)

多种功能一次集合

全域智能搜索
Coco AI 支持整合企业内部和外部的多种数据源，包括 Google Workspace、Dropbox、GitHub、本地文件系统等。
提供统一的搜索界面，用户无需切换多个平台即可快速检索所需信息。

AI 知识管家
内置基于生成式 AI 的聊天助手，能够理解企业内部的文档、对话记录和工作流程。
支持从互联网、内部知识库和指定数据源中提取信息，提供与组织相关的智能回答。
支持在搜索模式和聊天模式之间快速切换。

企业安全中枢
遵循企业级权限管理规范，确保数据访问的安全性。
支持私有化部署，满足企业对数据隐私的高要求。
允许开发者根据需求进行定制和扩展，支持企业自行部署，确保数据隐私和安全。

协作生态集成
用户可以直接与单个文件或数据源进行交互，例如对文档内容提问或生成摘要。
通过整合团队常用的工具和数据源，提升团队协作效率。
支持基于上下文的多轮对话，帮助团队成员快速获取所需信息。
在 1 分钟内轻松将 Coco AI 功能嵌入到您的网站中。

架构设计图

![](https://infinilabs.cn/img/blog ... re.png)

核心模块 “Coco Server” 提供搜索、聊天、附件管理、索引、嵌入、安全等功能，并通过 API 实现与外部系统的交互。同时，系统支持自定义 UI，为用户提供个性化的搜索和任务管理体验，并通过 AI 助手提供智能化的信息交互体验。

从 V0.3 到行业标准，Coco AI 持续进化，致力于推动知识管理和信息检索的变革，加速企业数字化转型。

立即访问

来 GitCode 了解 Coco AI，让您的企业获得：
每年节省百万级人力成本
打造永不遗忘的组织和大脑
激活数据资产的复合价值

开源可许：

MIT License

项目地址：

<https://gitcode.com/infinilabs/coco-app>;

快来 ⭐️ Star 支持 Coco AI 吧 ~

直播预告

4 月 28 日星期一 19:00 极限科技（INFINI Labs）团队带您全面解析 Coco AI，探索其核心功能、技术架构及实际应用场景，领略智能搜索与知识管理的革新。

![](https://infinilabs.cn/img/blog ... er.jpg)

CSDN 直播间地址 👇

https://live.csdn.net/room/csdnedu/q6BD0Kui

关于 Gitcode

![](https://infinilabs.cn/img/blog ... de.gif)

[GitCode](https://gitcode.com/) 新一代由 AI 驱动的开源开发者平台，依托 CSDN 开发者社区，通过集成代码托管服务、代码仓库和可信赖的开源组件库，使开发者能够在云端进行代码托管和开发，平台提供了丰富的功能支持和完善的生态体系，帮助开发者轻松管理和分享代码，为开源项目提供强有力的支持。

作者：GitCode
原文：https://mp.weixin.qq.com/s/03VTrmVXzflO6QTcZaCLTA

谈谈 ES 6.8 到 7.10 的功能变迁（2）- 字段类型篇

Elasticsearch • INFINI Labs 小助手发表了文章 • 0 个评论 • 3624 次浏览 • 2025-04-25 19:41 • 来自相关话题

我们继续来了解一下从 ES 6.8 到 ES 7.10 新增的功能。本篇主要介绍新增的字段类型，会简要概述一下新增字段类型的使用场景和限制，提供简单的测试代码。

Flattened 扁平化对象字段

功能说明

解决场景

该功能主要用于处理具有大量不确定键的 JSON 对象，避免字段映射爆炸问题，特别适用于不需要对对象内部字段进行单独分析和聚合的场景，以及当对象结构不固定，字段名称动态变化时。

使用注意点

整个对象被视为单个字段，无法对内部单个字段进行分析或聚合
只支持 keyword 类型的操作，如 term、prefix 查询等。因为它的每个解析出的字段都值为 keyword 字段
默认最大字段深度为 20，可以通过 depth_limit 来设置。
不支持数字范围查询，高亮显示
查询时，无法使用通配符引用字段键，比如 { "term": {"labels.time*": 1541457010}}
split_queries_on_whitespace 为 true 时，这个字段的全文查询（match，query_string，simple_query_string）等于是用了空格分词器。

支持的查询方法
term 查询：精确匹配某个字段的值
terms/terms_set 查询：匹配多个值中的任意一个或者多个
prefix 查询：前缀匹配
exists 查询：检查字段是否存在
match 查询：分词后的全文检索（但因为是 keyword，所以实际上是精确匹配）
query_string 和 simple_query_string

Shape 字段

功能说明

该功能主要用于存储和查询任意几何图形数据，支持点、线、圆、矩形、多边形等几何形状，特别适用于地理空间分析和基于形状的搜索场景，以及相比于 geo_shape 专门用于地理空间数据（坐标系统固定为 WGS84 经纬度），shape 字段可以用于任意坐标系统的几何形状，比如虚拟世界或者保密空间。

使用要点
形状数据使用 [GeoJSON](https://geojson.org/) 或[Well-Known Text (WKT)](https://docs.ogc.org/is/12-063r5/12-063r5.html)格式表示
支持的空间关系操作包括：INTERSECTS（相交）、DISJOINT（不相交）、WITHIN（内部）和 CONTAINS（包含）
由于 shape 字段的复杂输入结构和索引表示，目前无法对 shape 字段进行排序，也无法直接检索其字段值（只能通过 _source 字段获取）
orientation 参数用于定义多边形顶点读取的顺序：默认逆时针（counterclockwise），可选顺时针（clockwise）

Wildcard 字段

功能说明

解决的场景

用于优化通配符和正则表达式查询性能。特别适用于需要进行暴力模糊匹配的文本字段。
wildcard 字段在 keyword 字段和 ngrams 分词器之间找到了性能和存储成本的均衡。

原理说明

wildcard 字段采用了一种独特的索引策略，使用这种数据类型自动加速通配符和正则表达式搜索：
1. n-gram 索引：存储字符串中所有 3 个字符的序列。可以理解为 ngram 分词器取长度为 3 的子串.
2. 二进制 doc value：存储完整的原始文档值
  
  这种方式与传统的 keyword 字段（完全不分词）和 text 字段（基于分词器分词）有很大不同。在查询时，系统首先使用这些 ngrams 构建的索引进行初步筛选，快速定位可能匹配的文档。这个过程类似于数据库中的索引过滤，可以大大减少需要详细检查的文档数量。然后，系统会从二进制 doc value 中取出这些候选文档的完整字段值，进行精确的模式匹配，确保最终结果的准确性。
  
  这种策略在性能和存储空间上取得了很好的平衡：
相比 keyword 字段，在精确匹配查询时性能稍差
相比 ngrams 分词，它避免了过度的 token 生成，既节省存储空间，又保持了不错的查询性能
特别适合对日志数据进行类似 grep 的模式匹配查询，如通配符查询和正则表达式查询

使用注意点
比 keyword 类型更适合做通配符搜索，但会占用更多磁盘空间
建议仅在确实需要频繁进行通配符查询的字段上使用
与 keyword 字段一样是非分词(untokenized)的，所以不支持依赖词项位置的查询（如短语查询）

更多原理说明可以[参照这里](https://blog.csdn.net/UbuntuTo ... 120879)

Version 字段类型

功能说明

该功能主要用于存储和比较软件版本号，提供版本号的自然排序和比较功能，支持标准的版本号格式（如 1.0.0, 2.1.3-alpha 等）。

使用说明
版本号必须符合标准格式:主版本号、次版本号、修订号
支持带有预发布标识符的版本号（如 alpha, beta, rc 等）
可以进行版本号的大小比较和范围查询，比如可以在 1.0.0 和 2.0.0 之间查找所有版本
底层存储的是 keyword 类型，虽然可以正则匹配或者模糊查询，但是在大数据量下注意性能问题。

Histogram 直方图字段

功能说明

解决的场景

Histogram 字段专门用于存储预先计算好的直方图数据，这种数据结构在需要频繁进行统计分析的场景下特别有用。通过预先聚合数据并以直方图形式存储，可以显著减少查询时的实时计算开销，提高查询性能。对大规模数据集的统计分析很有利，比如系统监控指标、用户行为分析等需要快速获取数据分布情况的场景。

直方图的数据格式

直方图字段需要包含两个必需的参数来表示直方图数据：
values：数值数组，表示每个聚合分桶的取值点，即区间的起点。数组中的值必须是严格递增双精度浮点数
counts：整数数组，表示落在当前区间内的元素数量。数组中的值必须是非负整数。具体来说，对于位置 i，counts[i] 表示数值大于等于 values[i] 且小于 values[i+1] 的元素个数（最后一个区间则包含等于 values[last] 的元素）

这两个数组必须具有相同的长度。
例如，一个表示年龄分布的直方图数据可能如下：

json { "age_histogram": { "values": [20.0, 30.0, 40.0, 50.0], // 年龄区间的起点：[20-30)、[30-40)、[40-50)、[50 及以上] "counts": [100, 150, 75, 25] // 表示：20-29 岁有 100 人，30-39 岁有 150 人，40-49 岁有 75 人，50 岁及以上有 25 人 } } 

存储说明

直方图字段主要用于聚合分析。为了优化聚合操作的性能，数据以二进制 doc values 形式存储，而不是创建索引。每个直方图字段的存储大小最多为 13 * numValues 字节，其中 numValues 是数组的长度。

使用注意点
value 数组必须按升序排列
count 数组的长度必须与 value 数组相同
由于数据被索引，直方图字段仅支持以下操作：
- 聚合操作：min（最小值）、max（最大值）、sum（求和）、value_count（计数）、avg（平均值）、percentiles（百分位数）、percentile_ranks（百分位等级）、boxplot（箱线图）、histogram（直方图）
- 查询操作：仅支持 exists（存在性）查询
  
  Search-as-you-type 字段
  
  功能说明
  
  解决的场景
  
  该功能主要用于实现自动补全的即时搜索体验，比如可以在当用户输入搜索关键词的时候，还没输完就可以提示用户数据库里最相关的内容。
  它是通过支持前缀匹配和部分词语匹配的方式，使用户在输入过程中就能获得搜索结果。
  
  字段结构说明
  
  search_as_you_type 字段会自动创建以下子字段：
{field_name}: 基础字段，用于完整词语匹配，使用字段设置的分词器。
{field_name}._2gram: 用大小为 2 的 shingle token filter 分词器对 ny_field 进行分词
{field_name}._3gram: 用大小为 3 的 shingle token filter 分词器对 ny_field 进行分词
{field_name}._index_prefix: 用 edge ngram token filter 包装 my_field._3gram 的分词器

使用注意
可以通过设置 max_shingle_size 参数（默认为 3）来控制生成的子字段数量。max_shingle_size 参数越大，子字段越多，默认 3 个字段能覆盖大部分的场景。
search-as-you-type 字段索引空间占用较大，因为需要存储多个分词器的结果。

前缀查询(prefix)优化机制

search_as_you_type 字段在处理前缀查询时有特殊的优化。当对根字段或其子字段进行前缀查询时，查询会被重写为针对 ._index_prefix 子字段的 term 查询，这比传统的文本字段前缀查询更高效
._index_prefix 子字段的分析器会对分词结果进行特殊处理：
不仅索引常规的 n-gram 分词结果
还会索引字段值词条的前缀，即使这些词条不会出现在 n-gram 子字段中

例如，对于文本 "quick brown fox"，在 max_shingle_size 为 3 的情况下：不仅会索引会索引"quick" "brown" "fox"，还会索引这些此项的前缀，这确保了字段中所有词条都能支持自动完成功能，即使这些词条组合并不存在于 ._3gram 子字段中

小结

这里我们只是简要的介绍了一下新增字段类型的设计背景和原理，并没有深入展开挖掘新增字段的性能场景或者奇思妙用，比如 wildcard 与 ngram 颗粒度性能对比，直方图数据和 pipeline 进行日志分析的组合等等。大家可以根据实际的需求场景进行深度挖掘。

推荐阅读
[谈谈 ES 6.8 到 7.10 的功能变迁（1）- 性能优化篇](https://infinilabs.cn/blog/202 ... part-1)
[谈谈 ES 6.8 到 7.10 的功能变迁（3）- 查询方法篇](https://infinilabs.cn/blog/202 ... part-3)
[谈谈 ES 6.8 到 7.10 的功能变迁（4）- 聚合功能篇](https://infinilabs.cn/blog/202 ... part-4)
[谈谈 ES 6.8 到 7.10 的功能变迁（5）- 任务和集群管理](https://infinilabs.cn/blog/202 ... part-5)
[谈谈 ES 6.8 到 7.10 的功能变迁（6）- 其他](https://infinilabs.cn/blog/202 ... part-6)

关于极限科技（INFINI Labs）

![INFINI Labs](https://infinilabs.cn/img/blog ... bs.png)

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：<https://infinilabs.cn>;

作者：金多安，极限科技（INFINI Labs）搜索运维专家，Elastic 认证专家，搜索客社区日报责任编辑。一直从事与搜索运维相关的工作，日常会去挖掘 ES / Lucene 方向的搜索技术原理，保持搜索相关技术发展的关注。

通知设置 新通知

发现

安装 Elastisearch

安装 Agent

关联操作

调整监控模式

查看日志

关于 INFINI Console

Rare Terms 聚合

功能说明

注意事项

使用限制

性能考虑

精度控制

Cumulative Cardinality 聚合

功能说明

使用要求

代码样例

Geotile Grid 聚合

功能说明

注意要点

代码样例

T-test 聚合

功能说明

关于 Student’s t-distribution

测试代码

Variable Width Histogram 可变直方图聚合

功能说明

参数设置

性能考虑

使用场景

Normalize 归一化聚合

功能说明

方法选择

参数配置

Moving Percentiles 聚合

功能介绍

关于 shift 偏移参数

Rate 聚合

功能说明

小结

推荐阅读

关于极限科技（INFINI Labs）

部署注册

请求模拟

total_rounds: 1

Whether to log all requests

Whether to log all requests with the specified response status

Whether to reset the context, including variables, runtime KV pairs, etc.,

before this test run.

平台管理

平台概览

监控报表

数据管理

开发工具

总结

关于 INFINI Console

时序数据的合并挑战：默认策略的局限性

解决方案：TimeRangeMergePolicy 登场！

如何为你的时序索引启用 TimeRangeMergePolicy？

TimeRangeMergePolicy 的优势

注意事项

总结

关于 Easysearch

Coco AI v0.4

Coco AI 客户端 v0.4.0

Coco AI 服务端 v0.4.0

功能更新

问题修复

优化改进

INFINI Easysearch v1.12.1

问题修复

INFINI Console v1.29.3

问题修复

优化改进

INFINI Gateway v1.29.3

优化改进

INFINI Agent v1.29.2

优化改进

INFINI Loadgen v1.29.3

通知设置新通知

主题一：《下一代 AI 搜索工具 - Coco AI 介绍》

主题二：《使用 Coco AI 打造 ES 专用工具箱》

主题三：《Coco AI 技术选型-Tauri v2 的优劣》

多种功能一次集合