Elasticsearch

Elasticsearch：如何在 Elasticsearch 中正确使用同义词功能

liuxg 发表了文章 • 0 个评论 • 5249 次浏览 • 2023-01-13 09:20 • 来自相关话题

原文地址 [elasticstack.blog.csdn.net](https://elasticstack.blog.csdn ... 655866)

![](https://img-blog.csdnimg.cn/im ... c6.png)

同义词用于提高搜索质量并扩大匹配范围。例如，搜索 England 的用户可能希望找到包含 British 或 UK 的文档，尽管这三个词完全不同。

[Elasticsearch](https://so.csdn.net/so/search% ... 1.7020) 中的同义词功能非常强大，如果实施得当，可以使你的搜索引擎更加健壮和强大。在本文中，我们将通过简单的代码片段介绍在实践中实现同义词功能的要点。特别是，我们将介绍如何更新现有索引的同义词，这是一个相对高级的话题。

在今天的展示中，我将使用最新的 Elastic Stack 8.6.0，尽管版本不对我们的展示有任何的影响。

准备
==

我们将使用 Docker 在本地启动一个 Elasticsearch 服务器，并使用 [Kibana](https://so.csdn.net/so/search% ... 1.7020) 来管理索引和运行命令。如果你以前从未使用过 Elasticsearch 或想快速复习一下，[这篇文章](https://elasticstack.blog.csdn ... 36411 "这篇文章")可能会对你有所帮助。如果你在 Docker 中运行 Elasticsearch 时遇到问题，[这篇文章](https://elasticstack.blog.csdn ... 58356 "这篇文章")很可能会帮助你解决问题。在今天的文章中，我们尝试使用 docker 来部署一个没有安全功能的 Elasticsearch 集群。

准备就绪后，让我们开始探索 Elasticsearch 中的同义词功能的旅程。

我们将在本文中使用的 docker-compose.yaml 文件包含以下内容，稍后我们将向其添加更多功能：

docker-compose.yml

``

version: "3.9"
services:
elasticsearch:
image: elasticsearch:8.6.0
environment:
- discovery.type=single-node
- ES_JAVA_OPTS=-Xms1g -Xmx1g
- xpack.security.enabled=false
volumes:
- type: volume
source: es_data
target: /usr/share/elasticsearch/data
ports:
- target: 9200
published: 9200
networks:
- elastic
kibana:
image: kibana:8.6.0
ports:
- target: 5601
published: 5601
depends_on:
- elasticsearch
networks:
- elastic
volumes:
es_data:
driver: local
networks:
elastic:
name: elastic
driver: bridge

![](<a href="https://csdnimg.cn/release/blogv2/dist/pc/img/newCodeMoreWhite.pn" rel="nofollow" target="_blank">https://csdnimg.cn/release/blo ... te.pn</a>g) ``` 你可以使用以下命令之一启动 Elasticsearch 和 Kibana： ``` docker-compose up ``` 或者 ``` docker-compose up -d ``` 如果加上 -d 选项的话，Elasticsearch 会以 daemon 的形式来运行。上面是一种最为简单的方式来启动 Elasticsearch 集群及 Kibana。由于它没有设置安全，我们无需输入任何凭证就可以直接进入到 Kibana 了。 ![](<a href="https://img-blog.csdnimg.cn/5322f700631f42a5b15acb95ea91e574.pn" rel="nofollow" target="_blank">https://img-blog.csdnimg.cn/53 ... 74.pn</a>g) 使用带有同义词列表的标准同义词 token 过滤器 ========================= 让我们首先使用带有同义词列表的标准同义词标记过滤器创建一个索引。在 Kibana 中运行以下命令，我们将在稍后解释详细信息： ```
PUT synonyms
{
"settings": {
"index": {
"analysis": {
"analyzer": {
"index_analyzer": {
"tokenizer": "standard",
"filter": [
"lowercase",
"synonym_filter"
]
}
},
"filter": {
"synonym_filter": {
"type": "synonym",
"synonyms": [
"elk => Elastic Stack",
"elkb => Elastic Stack"
]
}
}
}
}
},
"mappings": {
"properties": {
"name": {
"type": "text",
"analyzer": "index_analyzer"
}
}
}
}

`![](https://csdnimg.cn/release/blo ... te.png)
```

这里的要点：
请注意设置键的嵌套级别。 settings => index => analysis => analyzer/filter 都是内置关键字。但是，index_analyzer 和 synonym_filter 分别是自定义分析器和过滤器的自定义名称。
我们需要创建一个 type 为 synonym 的自定义过滤器。 synonym 选项明确提供了同义词列表。这通常应该只用于测试，因为更新同义词列表不方便，我们稍后会看到。
本文中使用了 [Solr 同义词](https://www.elastic.co/guide/e ... onyms "Solr 同义词")。对于此示例，使用了显式映射，这意味着 => 左侧的标记将替换为右侧的标记。稍后我们将使用等同的同义词，这意味着提供的 token 被等同对待。
synonym_filter 添加到名为 index_analyzer 的新自定义分析器的过滤器列表中。通常过滤器的顺序很重要。然而，对于同义词过滤器来说，它有点特殊，可能会让我们中的许多人感到惊讶。在此示例中，即使 synonym_filter 过滤器放在小写过滤器之后，此过滤器返回的标记也会传递给小写过滤器，因此也会变成小写。因此，你不需要在同义词列表或同义词文件中提供小写 token。
最后，在文档的映射中，为名称字段指定了自定义分析器。

我们知道在早期的 Elastic 产品中 elk 就是 Elastic Stack 的代名词。之后随着 Beats 的加入，很多开发者也把 elkb 当做 Elastic Stack 的代名词。要测试在索引中创建的分析器，我们可以调用 _analyze 端点：

```
GET /synonyms/_analyze
{
"analyzer": "index_analyzer",
"text": "elk is powerful"
}

 上面命令的输出为： 
`
{
"tokens": [
{
"token": "elastic",
"start_offset": 0,
"end_offset": 3,
"type": "SYNONYM",
"position": 0
},
{
"token": "is",
"start_offset": 4,
"end_offset": 6,
"type": "",
"position": 1
},
{
"token": "stack",
"start_offset": 4,
"end_offset": 6,
"type": "SYNONYM",
"position": 1
},
{
"token": "powerful",
"start_offset": 7,
"end_offset": 15,
"type": "",
"position": 2
}
]
}

`![](https://csdnimg.cn/release/blo ... te.png)
 从上面的输出中，我们可以看到 type 为 SNONYM 的 token 为 elastic 及 stack。让我们向索引中添加一些文档并测试它在搜索中是否正常工作： 
PUT /synonyms/_doc/1
{
"name": "elk is very powerful"
}
PUT /synonyms/_doc/2
{
"name": "elkb is useful"
}
PUT /synonyms/_doc/3
{
"name": "Elastic Stack is so widely used"
}

 我们可以使用 match 关键字进行简单的搜索： 
GET /synonyms/_search?filter_path=**.hits
{
"query": {
"match": {
"name": "elk"
}
}
}

 如果没有问题，所有三个文件都应该被搜索到： 
`
{
"hits": {
"hits": [
{
"_index": "synonyms",
"_id": "2",
"_score": 0.31931418,
"_source": {
"name": "elkb is useful"
}
},
{
"_index": "synonyms",
"_id": "1",
"_score": 0.29086044,
"_source": {
"name": "elk is very powerful"
}
},
{
"_index": "synonyms",
"_id": "3",
"_score": 0.24686477,
"_source": {
"name": "Elastic Stack is so widely used"
}
}
]
}
}

`![](https://csdnimg.cn/release/blo ... te.png)
```

索引时间 vs 搜索时间进行同义词操作
===================

如你所见，在上面的示例中，只创建了一个分析器，它用于索引和搜索。

不鼓励在索引（indexing）步骤中对所有文档应用同义词，因为它有一些主要缺点：
- 如果不重新索引所有内容，就无法更新同义词列表，这在实践中是非常低效的。
- 搜索分数会受到影响，因为同义词 token 也会被计算在内。
- 索引过程变得更加耗时并且索引将变得更大。对于小数据集来说可以忽略不计，但对于大数据集来说非常重要。
 
 因此，最好在搜索步骤中只应用同义词，这样可以克服所有三个缺点。为此，我们需要创建一个用于搜索的新分析器。
 
 使用 search_analyzer 并应用搜索时间同义词
 =============================
 
 在 Kibana 中运行以下命令以创建具有搜索时同义词的新索引：
 
 ``
PUT synonym_graph
{
"settings": {
"index": {
"analysis": {
"analyzer": {
"index_analyzer": {
"tokenizer": "standard",
"filter": [
"lowercase"
]
},
"search_analyzer": {
"tokenizer": "standard",
"filter": [
"lowercase",
"synonym_filter"
]
}
},
"filter": {
"synonym_filter": {
"type": "synonym_graph",
"synonyms": [
"elk => Elastic Stack",
"elkb => Elastic Stack"
]
}
}
}
}
},
"mappings": {
"properties": {
"name": {
"type": "text",
"analyzer": "index_analyzer",
"search_analyzer": "search_analyzer"
}
}
}
}

`![](https://csdnimg.cn/release/blo ... te.png)
```

关键点：
- 该类型现在更改为 [synonym_graph](https://www.elastic.co/guide/e ... .html "synonym_graph")，这是一个更复杂的同义词过滤器，旨在仅用作搜索分析器的一部分。它可以更恰当地处理多词同义词，推荐用于搜索时分析。但是，你可以继续使用原来的 synonym 类型，它在这篇文章中的表现是一样的。
- 同义词过滤器从索引时间分析器中删除并添加到搜索时间分析器中。
- search_analyzer 是为 name 字段明确指定的。如果未指定，则相同的分析器 (index_analyzer) 将用于索引和搜索。
  
  分析器应该返回与以前相同的 token。然而，当你用这些命令为三个文档建立索引并再次执行相同的搜索后，结果会有所不同：
  
```
PUT /synonym_graph/_doc/1
{
"name": "elk is very powerful"
}
PUT /synonym_graph/_doc/2
{
"name": "elkb is useful"
}
PUT /synonym_graph/_doc/3
{
"name": "Elastic Stack is so widely used"
}

 我们使用如下的命令来进行搜索： 
GET /synonym_graph/_search?filter_path=**.hits
{
"query": {
"match": {
"name": "elk"
}
}
}

 这一次，只有如下的结果返回。甚至 “elk is very powerful” 这个文档也没有被返回： 
{
"hits": {
"hits": [
{
"_index": "synonym_graph",
"_id": "3",
"_score": 2.3589978,
"_source": {
"name": "Elastic Stack is so widely used"
}
}
]
}
}

 原因是同义词过滤器仅在搜索时应用。搜索查询 elk 被替换为同义词标记 “Elastic Stack”。然而，索引中的文档没有被同义词过滤器（synonym_filter）过滤，因此 “elk” 只是被标记为 elk 而没有被 Elastic Stack 替换。类似于 elkb。结果，只能匹配 “Elastic Stack is so widely used”。 为了使其像前面的示例一样正常工作，我们需要将同义词规则从显式映射更改为等效同义词。让我们按如下方式更新同义词过滤器：
......
"filter": {
"synonym_filter": {
"type": "synonym_graph",
"synonyms": [
"elk, elkb, Elastic Stack"
]
}
}
......

 要更改现有索引的同义词，我们可以重新创建索引并重新索引所有文档，这是愚蠢且低效的。 更好的方法是更新索引的设置。但是，我们需要在更新设置之前关闭索引，然后重新打开它才能访问它： 
POST /synonym_graph/_close
PUT /synonym_graph/_settings
{
"settings": {
"index.analysis.filter.synonym_filter.synonyms": [
"elk, elkb, Elastic Stack"
]
}
}
POST /synonym_graph/_open

 请注意更新索引设置的特殊语法。 运行上述命令后，我们可以通过如下命令的返回值来进行验证： 
GET synonym_graph
 上面的命令返回： 
`
{
"synonym_graph": {
"aliases": {},
"mappings": {
"properties": {
"name": {
"type": "text",
"analyzer": "index_analyzer",
"search_analyzer": "search_analyzer"
}
}
},
"settings": {
"index": {
"routing": {
"allocation": {
"include": {
"_tier_preference": "data_content"
}
}
},
"number_of_shards": "1",
"provided_name": "synonym_graph",
"creation_date": "1673501061514",
"analysis": {
"filter": {
"synonym_filter": {
"type": "synonym_graph",
"synonyms": [
"elk, elkb, Elastic Stack"
]
}
},
"analyzer": {
"index_analyzer": {
"filter": [
"lowercase"
],
"tokenizer": "standard"
},
"search_analyzer": {
"filter": [
"lowercase",
"synonym_filter"
],
"tokenizer": "standard"
}
}
},
"number_of_replicas": "1",
"uuid": "UCIWtpQMTsCc1TwnvsywHA",
"version": {
"created": "8060099"
}
}
}
}
}

`![](https://csdnimg.cn/release/blo ... te.png)
 让我们使用 _analyzer 端点测试 search_analyzer 并查看生成的 token： 
GET /synonym_graph/_analyze
{
"analyzer": "search_analyzer",
"text": "elk"
}

 上述命令返回： 它表明 elk 搜索查询被三个同义词的 token 替换和扩展（由 [expand](<a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-synonym-graph-tokenfilter.html" rel="nofollow" target="_blank">https://www.elastic.co/guide/e ... .html</a> "expand") 选项控制）。它还证明，如果在索引时应用等效同义词，则结果索引的大小可以显着增加。 然后当我们再次执行相同的搜索时：
GET /synonym_graph/_search?filter_path=**.hits
{
"query": {
"match": {
"name": "elk"
}
}
}

 这次搜索的结果是： 
`
{
"hits": {
"hits": [
{
"_index": "synonym_graph",
"_id": "3",
"_score": 1.6949677,
"_source": {
"name": "Elastic Stack is so widely used"
}
},
{
"_index": "synonym_graph",
"_id": "2",
"_score": 1.1220688,
"_source": {
"name": "elkb is useful"
}
},
{
"_index": "synonym_graph",
"_id": "1",
"_score": 1.0126972,
"_source": {
"name": "elk is very powerful"
}
}
]
}
}

`![](https://csdnimg.cn/release/blo ... te.png)
```

我们可以看到三个文档都被搜索出来了。

使用同义词文件
=======

上面我们一直在创建索引时直接指定同义词列表。但是，当你有大量同义词时，将它们全部添加到索引中会很麻烦。更好的方法是将它们存储在一个文件中，然后动态地将它们加载到索引中。使用同义词文件有很多好处，其中包括：
- 方便维护大量的同义词。
- 可以被不同的索引使用。
- 可以在不关闭索引的情况下动态重新加载。
  
  首先，我们需要先将同义词放入一个文件中。每行都是一个同义词规则，与上面演示的相同。更多[细节](https://www.elastic.co/guide/e ... yms_2 "细节")可以在官方文档中找到。
  
  我们将创建的同义词文件称为 synonyms.txt，但可以任意命名。它具有以下内容：
  
```
$ pwd
/Users/liuxg/data/docker8
$ ls
docker-compose.yml synonyms.txt
$ cat synonyms.txt
This is a comment! The file is named synonyms.txt.
elk,elkb,Elastic Stack

 然后我们需要将同义词文件绑定到 Docker 容器中。更新 docker-compose.yaml 如下： **docker-compose.yml** 
`
version: "3.9"
services:
elasticsearch:
image: elasticsearch:8.6.0
environment:
- discovery.type=single-node
- ES_JAVA_OPTS=-Xms1g -Xmx1g
- xpack.security.enabled=false
volumes:
- type: volume
source: es_data
target: /usr/share/elasticsearch/data
- type: bind
source: ./synonyms.txt
target: /usr/share/elasticsearch/config/synonyms.txt
ports:
- target: 9200
published: 9200
networks:
- elastic
kibana:
image: kibana:8.6.0
ports:
- target: 5601
published: 5601
depends_on:
- elasticsearch
networks:
- elastic
volumes:
es_data:
driver: local
networks:
elastic:
name: elastic
driver: bridge

`![](https://csdnimg.cn/release/blo ... te.png)
 我们可以使用 CTRL+C 来终止之前运行的 docker，然后再次使用如下命令来启动： 
docker-compose up
 请注意，同义词文件已加载到容器中的 config 文件夹中。你可以进入容器并使用以下两个命令之一检查它： 
User docker
docker exec -it elasticsearch-1 bash
User docker-compose
docker-compose exec elasticsearch bash

 现在我们需要停止并重新启动服务以使更改生效。请注意，仅重新启动服务将不起作用。 
docker-compose stop elasticsearch
docker-compose up -d elasticsearch

 
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3ae4b728dd44 kibana:8.6.0 "/bin/tini -- /usr/l…" 23 seconds ago Up 21 seconds 0.0.0.0:5601->5601/tcp docker8-kibana-1
878c82384761 elasticsearch:8.6.0 "/bin/tini -- /usr/l…" 23 seconds ago Up 22 seconds 0.0.0.0:9200->9200/tcp, 9300/tcp docker8-elasticsearch-1
$ docker exec -it docker8-elasticsearch-1 bash
elasticsearch@878c82384761:~$ pwd
/usr/share/elasticsearch
elasticsearch@878c82384761:~$ ls
LICENSE.txt NOTICE.txt README.asciidoc bin config data jdk lib logs modules plugins
elasticsearch@878c82384761:~$ cd config/
elasticsearch@878c82384761:~/config$ ls
elasticsearch-plugins.example.yml jvm.options log4j2.properties synonyms.txt
elasticsearch.keystore jvm.options.d role_mapping.yml users
elasticsearch.yml log4j2.file.properties roles.yml users_roles

 从上面的输出中，我们可以看到 synonyms.txt 已经被成功地加载到容器里了。 然后我们可以使用同义词文件创建一个新索引： 
`
PUT /synonym_graph_file
{
"settings": {
"index": {
"analysis": {
"analyzer": {
"index_analyzer": {
"tokenizer": "standard",
"filter": [
"lowercase"
]
},
"search_analyzer": {
"tokenizer": "standard",
"filter": [
"lowercase",
"synonym_filter"
]
}
},
"filter": {
"synonym_filter": {
"type": "synonym_graph",
"synonyms_path": "synonyms.txt",
"updateable": true
}
}
}
}
},
"mappings": {
"properties": {
"name": {
"type": "text",
"analyzer": "index_analyzer",
"search_analyzer": "search_analyzer"
}
}
}
}

`![](https://csdnimg.cn/release/blo ... te.png)
```

关键点：
- 对于 synonyms_path，它是同义词文件相对于 Elasticsearch 服务器中 config 文件夹的路径。
- 添加了一个新的 updateable 字段，它指定相应的过滤器是否可更新。我们很快就会看到如何在不关闭和打开索引的情况下重新加载搜索分析器。
  
  这个新索引 synonym_graph_file 的行为应该与前一个 synonym_graph 的行为相同。
  
  现在让我们在同义词文件中添加更多的同义词，其内容如下：
  
```
$ pwd
/Users/liuxg/data/docker8
$ ls
docker-compose.yml synonyms.txt
$ cat synonyms.txt
This is a comment! The file is named synonyms.txt.
elk,elkb,Elastic Stack
JS => JavaScript
TS => TypeScript
Py => Python

 添加同义词后，我们可以关闭并打开索引使其生效。然而，由于我们将同义词过滤器标记为可更新，我们可以重新加载搜索分析器以使更改立即生效，而无需关闭索引，因此无需停机。 要重新加载索引的搜索分析器，我们需要调用 _reload_search_analyzers 端点： 
POST /synonym_graph_file/_reload_search_analyzers
 上面的命令输出为： 
`
{
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"reload_details": [
{
"index": "synonym_graph_file",
"reloaded_analyzers": [
"search_analyzer"
],
"reloaded_node_ids": [
"tZLy82KRTaiCdpsbkEYnuA"
]
}
]
}

`![](https://csdnimg.cn/release/blo ... te.png)
 现在，当我们分析 JS 字符串时，我们将看到返回的 javascript token。 
GET /synonym_graph_file/_analyze
{
"analyzer": "search_analyzer",
"text": "JS"
}

 上面的命令返回： 
{
"tokens": [
{
"token": "javascript",
"start_offset": 0,
"end_offset": 2,
"type": "SYNONYM",
"position": 0
}
]
}

```

这里应该注意两件重要的事情：
- 如果同义词过滤器的 updateable 设置为true，那么对应的分析器只能作为 search_analyzer 使用，不能用于索引，即使类型是同义词。
- updateable 选项只能在同义词文件与 synonyms_path 选项一起使用时使用，而不是在同义词直接通过 synonyms 选项提供时使用。
  
  恭喜你到达这里！我们已经涵盖了在 Elasticsearch 中使用同义词功能的所有要点。
  
  我们已经分别介绍了如何在索引时间和搜索时间分析步骤中使用同义词。此外，还介绍了如何直接提供同义词列表，以及如何通过文件提供。最后但同样重要的是，介绍了关于如何更新现有索引的同义词列表的不同方法。建议重新加载索引的搜索分析器，因为它不会给服务带来停机时间。

白金版还能购买吗？怎么购买呢？

贡献

liuxg 回复了问题 • 2 人关注 • 1 个回复 • 5310 次浏览 • 2023-01-13 09:19 • 来自相关话题

大佬帮忙看看，es8.1.0源码打包报错

dumplings 发起了问题 • 1 人关注 • 0 个回复 • 5202 次浏览 • 2023-01-09 22:11 • 来自相关话题

回顾 2022 年 — 回顾 Elastic 这一年

liuxg 发表了文章 • 0 个评论 • 4628 次浏览 • 2023-01-07 21:10 • 来自相关话题

作者：Elastic Marketing

2022 年对 Elastic 来说是非凡的一年，我们在可观察性、安全性和企业搜索解决方案、新客户和深化合作伙伴关系方面引入了数十项创新。

在我们花点时间回顾过去的一年时，我们汇总了 2022 年的热门博文。希望你喜欢！

Elastic 8.0

在年初之际，我们还推出了 Elastic 8.0 的新篇章：速度、规模、相关性和简单性的新时代。 Elastic 8.0 是 7.x 系列多年投资的结晶，旨在减少内存使用和查询开销，并引入新功能以增强相关性。

例如，我们提高了日期直方图和搜索聚合的速度，增强了页面缓存的性能，并创建了一个新的 “预过滤” 搜索阶段。此外，我们通过减少内存堆减少了资源需求以降低客户的总拥有成本，引入了使用更少存储的新方法，并使我们的客户能够通过新的冻结层和可搜索快照轻松地将计算与存储分离。

在 8.0 中，我们还为 Elasticsearch 带来了一整套原生矢量搜索功能，使客户和员工能够使用他们自己的词汇和语言搜索和接收高度相关的结果。

Machine Learning Relevance Tuning

作为 7.x 发布版中两年多工作的结晶，使向量搜索的实现更加实用，我们还引入了对近似最近邻搜索的原生支持 — 使得可以将基于向量的查询作用于基于向量词库进行比较快速、大规模地比较。查看我们的自然语言处理 (NLP) 博客系列，获取部署矢量搜索的快速入门指南。

Elastic Security

随着 Elastic Security for Cloud 的推出，这也是 Elastic Security 具有里程碑意义的一年。 Elastic Security for Cloud 扩展了我们的 SIEM、安全分析和端点安全功能，在单个统一平台中提供了风险和状态管理、威胁监控和工作负载保护的新功能。

我们通过再次加倍承诺公开和透明的安全来结束这一年。我们对开放式安全的承诺在 Forrester Wave™：安全分析平台，2022 年第 4 季度中得到进一步认可，其中 Elastic 被评为领导者，并指出“Elastic 在开放式产品中提供了令人难以置信的灵活性和可视化。”

更多阅读：https://elasticstack.blog.csdn ... 94458