作为我们自然语言处理 (NLP) 博客系列的一部分，我们将介绍一个使用文本嵌入模型生成文本内容的向量表示并演示对生成的向量进行向量相似性搜索的示例。我们将在 Elasticsearch 上部署一个公开可用的模型，并在摄取管道中使用它来从文本文档生成嵌入。然后，我们将展示如何在向量相似性搜索中使用这些嵌入（embedding）来查找给定查询的语义相似文档。
矢量相似性搜索（vector similarity search），或者通常称为语义搜索，超越了传统的基于关键字的搜索，允许用户找到可能没有任何共同关键字的语义相似的文档，从而提供更广泛的结果。向量相似性搜索对密集向量进行操作，并使用 k-最近邻（k-nearest neighbour）搜索来查找相似向量。为此，首先需要使用文本嵌入模型将文本形式的内容转换为其数字向量表示。
我们将使用来自 MS MARCO Passage Ranking Task 的公共数据集进行演示。它由来自 Microsoft Bing 搜索引擎的真实问题和人工生成的答案组成。该数据集是测试向量相似性搜索的完美资源，首先，因为问答是向量搜索最常见的用例之一，其次，MS MARCO 排行榜中的顶级论文以某种形式使用了向量搜索。
在我们的示例中，我们将使用此数据集的样本，使用模型生成文本嵌入，然后对其运行向量搜索。我们还希望对向量搜索产生的结果的质量进行快速验证。在今天的展示中，我将使用 Elastic Stack 8.2 来进行展示。
https://elasticstack.blog.csdn ... 20166
矢量相似性搜索（vector similarity search），或者通常称为语义搜索，超越了传统的基于关键字的搜索，允许用户找到可能没有任何共同关键字的语义相似的文档，从而提供更广泛的结果。向量相似性搜索对密集向量进行操作，并使用 k-最近邻（k-nearest neighbour）搜索来查找相似向量。为此，首先需要使用文本嵌入模型将文本形式的内容转换为其数字向量表示。
我们将使用来自 MS MARCO Passage Ranking Task 的公共数据集进行演示。它由来自 Microsoft Bing 搜索引擎的真实问题和人工生成的答案组成。该数据集是测试向量相似性搜索的完美资源，首先，因为问答是向量搜索最常见的用例之一，其次，MS MARCO 排行榜中的顶级论文以某种形式使用了向量搜索。
在我们的示例中，我们将使用此数据集的样本，使用模型生成文本嵌入，然后对其运行向量搜索。我们还希望对向量搜索产生的结果的质量进行快速验证。在今天的展示中，我将使用 Elastic Stack 8.2 来进行展示。
https://elasticstack.blog.csdn ... 20166
[尊重社区原创，转载请保留或注明出处]
本文地址：http://elasticsearch.cn/article/14610
本文地址：http://elasticsearch.cn/article/14610
