悟空,拿我的打狗棒来

post_filter在es内部的执行流程是怎样的,它是怎么实现基于query的结果做二次筛选的

回复

Elasticsearchshuanglong 发起了问题 • 1 人关注 • 0 个回复 • 11 次浏览 • 2 小时前 • 来自相关话题

docker部署elk+filebeat 无法抓取日志

回复

BeatsJohnsonXiaoyu 发起了问题 • 1 人关注 • 0 个回复 • 17 次浏览 • 3 小时前 • 来自相关话题

post_filter在es内部的执行流程是怎样的

ElasticsearchCharele 回复了问题 • 2 人关注 • 1 个回复 • 31 次浏览 • 2 小时前 • 来自相关话题

Elasticsearch:如何部署 NLP:命名实体识别 (NER) 示例

Elasticsearchliuxg 发表了文章 • 0 个评论 • 25 次浏览 • 10 小时前 • 来自相关话题

在本文章中,我们将通过一个示例,使用命名实体识别 (NER - Name Entity Recognition) NLP 模型来定位和提取非结构化文本字段中预定义的实体类别。 使用公开可用的模型,我们将向你展示如何将该模型部署到 Elasticsearch,使用新的 _infer API在文本中查找命名实体,并在提取管道中使用 NER 模型在文档被提取到 Elasticsearch 时提取实体。

NER 模型对于使用自然语言从全文字段中提取人物(people)、地点(places)和组织(organization)等实体很有用。

在此示例中,我们将通过 NER 模型运行《悲惨世界》一书的段落,并使用该模型从文本中提取字符和位置,并将它们之间的关系可视化。

更多关于 NLP 的阅读:

Elasticsearch:如何部署 NLP:文本嵌入和向量搜索

在 Elasticsearch 中使用 PyTorch 进行现代自然语言处理的介绍

Elasticsearch:如何部署 NLP:情绪分析示例

安装
如果你还没有安装好自己的 Elasticsearch,Kibana 及 Eland,那么请阅读之前的文章 “Elasticsearch:如何部署 NLP:文本嵌入和向量搜索”。

将 NER 模型部署到 Elasticsearch
首先,我们需要选择一个可以从文本字段中提取字符名称和位置的 NER 模型。 幸运的是,我们可以在 Hugging Face 上选择一些可用的 NER 模型,并查看 Elastic 文档,我们看到一个 uncased NER model from Elastic  模型。

现在我们已经选择了要使用的 NER 模型,我们可以使用 Eland 来安装模型。 在本例中,我们将通过 docker 镜像运行 Eland 命令,但首先我们必须通过克隆 Eland GitHub 存储库来构建 docker 镜像,并在你的客户端系统上创建 Eland 的 docker 镜像。详细步骤请在文章  “Elasticsearch:如何部署 NLP:文本嵌入和向量搜索”。中进行查看,这里就不再赘述了。

我们接下来使用如下的命令来上传模型:

docker run -it --rm elastic/eland \
    eland_import_hub_model \
      --url https://elastic:lOwgBZT3KowJrQ ... 9200/ \
      --hub-model-id elastic/distilbert-base-uncased-finetuned-conll03-english \
      --task-type ner \
      --insecure \
      —-start 
注意:请根据自己的用户账号信息更新 --url 选项中的 Elasticsearch 信息。由于我们使用的是自签名的证书部署的,在这里,我们使用 --insecure 来规避 SSL 签名证书的检查。

由于我们在 eland import 命令末尾使用了 --start 选项,因此 Elasticsearch 会将模型部署到所有可用的机器学习节点并将模型加载到内存中。 如果我们有多个模型并且想要选择要部署的模型,我们可以使用 Kibana 的机器学习 > 模型管理用户界面来管理模型的启动和停止。

原文链接:https://blog.csdn.net/UbuntuTo ... 77711

504 Gateway Time-out

回复

Elasticsearchyqbboy 发起了问题 • 1 人关注 • 0 个回复 • 43 次浏览 • 12 小时前 • 来自相关话题

keyword类型的数字的大于小于查询

ElasticsearchCharele 回复了问题 • 2 人关注 • 1 个回复 • 53 次浏览 • 4 小时前 • 来自相关话题

Elasticsearch:Elastic Maps 现在支持机器学习异常层

Elasticsearchliuxg 发表了文章 • 0 个评论 • 52 次浏览 • 1 天前 • 来自相关话题

现在可以在 Elastic Maps 中查看使用 geographical functions 的机器学习 (ML) 异常检测作业的结果。 Elastic Maps 8.1.0 版本可以按位置生成异常地图,帮助你探索数据中的新趋势。

Elastic Maps 在 Elastic Cloud 上可用。 你还可以下载 Elastic Stack 和我们的云编排产品 Elastic Cloud Enterprise (ECE) 和 Elastic Cloud for Kubernetes (ECK),以获得自我管理的体验。

在此示例中,我们将使用通用运输饲料规范 (GTFS) 数据。 GTFS 定义了公共交通时刻表和相关地理信息的通用格式。

在下面的展示中,我将使用 Elastic Stack 8.2 来进行展示。

Geographical functions
地理功能检测输入数据的地理位置异常。lat_long 函数检测输入数据的地理位置异常。

注意:你不能为包含地理函数的异常检测作业创建预测。 你也不能将带有条件的规则添加到使用地理函数的检测器中。

该函数支持以下属性:

field_name (required)
by_field_name (optional)
over_field_name (optional)
partition_field_name (optional)
比如,我们在如下的例子中,使用 lat_long 函数来分析信用卡交易的异常:

PUT _ml/anomaly_detectors/example1
{
  "analysis_config": {
    "detectors": [{
      "function" : "lat_long",
      "field_name" : "transaction_coordinates",
      "by_field_name" : "credit_card_number"
    }]
  },
  "data_description": {
    "time_field":"timestamp",
    "time_format": "epoch_ms"
  }
}
我们知道,在通常的情况下,你的信用卡不可能在一个很小的时间范围里,在美国和中国同时耍卡,除非飞机飞的真的很快很快。如果你在异常检测作业的检测器中使用此 lat_long 函数,它会检测到信用卡交易的地理位置对于特定客户的信用卡而言的异常。 异常可能表明存在欺诈。

重要:你提供的 field_name 必须是一个字符串,其中包含两个逗号分隔的数字,格式为纬度、经度、geo_point 字段、包含点值的 geo_shape 字段或 geo_centroid 聚合。 纬度和经度必须在 -180 到 180 的范围内,并且代表地球表面上的一个点。

比如,JSON 数据可能包含以下交易坐标:

{
  "time": 1460464275,
  "transaction_coordinates": "40.7,-74.0",
  "credit_card_number": "1234123412341234"
}
在 Elasticsearch 中,位置数据很可能存储在 geo_point 字段中。 有关详细信息,请参阅 geo_point 数据类型。 机器学习功能原生支持此数据类型。 具体来说,当从 geo_point 字段中提取数据时,datafeed 将在发送到异常检测作业之前将数据转换为适当的纬度、经度字符串格式。
Elasticsearch:Elastic Maps 现在支持机器学习异常层原文链接:https://blog.csdn.net/UbuntuTo ... 58783

​Elastic日报 第1406期 (2022-05-26)

Elastic日报Se7en 发表了文章 • 0 个评论 • 68 次浏览 • 1 天前 • 来自相关话题

1.Elasticsearch Span Query 是什么?
https://lucidworks.com/post/the-spanquery/
2.理解 Elasticsearch Percolate 查询
https://blog.csdn.net/UbuntuTo ... 27651
3. 用 Elasticsearch 造个“知网”难不难?
https://mp.weixin.qq.com/s/tlLaCoi7A0xAM0ZTZw6tyw

编辑:Se7en   
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

如何深入理解ES的merge策略

回复

ElasticsearchCharele 回复了问题 • 1 人关注 • 7 个回复 • 172 次浏览 • 8 小时前 • 来自相关话题

Elastic日报 第1405期 (2022-05-25)

Elastic日报kin122 发表了文章 • 0 个评论 • 63 次浏览 • 2 天前 • 来自相关话题

1. ES 高亮是否能设置成单词部分高亮?
https://discuss.elastic.co/t/h ... 370/2
2. 怎么去全文检索?mysql vs ES(需要梯子)
https://blog.devgenius.io/how- ... f816e
3. Elasticsearch 7.x 自定义相关度计算 - function_score查询 script_score,field_value_factor及decay functions参数
https://blog.csdn.net/biao0309 ... 23608

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

如何深入理解fieldData

回复

ElasticsearchCharele 回复了问题 • 2 人关注 • 7 个回复 • 189 次浏览 • 1 天前 • 来自相关话题

Elasticsearch:如何部署 NLP:文本嵌入和向量搜索

Elasticsearchliuxg 发表了文章 • 0 个评论 • 83 次浏览 • 3 天前 • 来自相关话题

作为我们自然语言处理 (NLP) 博客系列的一部分,我们将介绍一个使用文本嵌入模型生成文本内容的向量表示并演示对生成的向量进行向量相似性搜索的示例。我们将在 Elasticsearch 上部署一个公开可用的模型,并在摄取管道中使用它来从文本文档生成嵌入。然后,我们将展示如何在向量相似性搜索中使用这些嵌入(embedding)来查找给定查询的语义相似文档。

矢量相似性搜索(vector similarity search),或者通常称为语义搜索,超越了传统的基于关键字的搜索,允许用户找到可能没有任何共同关键字的语义相似的文档,从而提供更广泛的结果。向量相似性搜索对密集向量进行操作,并使用 k-最近邻(k-nearest neighbour)搜索来查找相似向量。为此,首先需要使用文本嵌入模型将文本形式的内容转换为其数字向量表示。

我们将使用来自 MS MARCO Passage Ranking Task 的公共数据集进行演示。它由来自 Microsoft Bing 搜索引擎的真实问题和人工生成的答案组成。该数据集是测试向量相似性搜索的完美资源,首先,因为问答是向量搜索最常见的用例之一,其次,MS MARCO 排行榜中的顶级论文以某种形式使用了向量搜索。

在我们的示例中,我们将使用此数据集的样本,使用模型生成文本嵌入,然后对其运行向量搜索。我们还希望对向量搜索产生的结果的质量进行快速验证。在今天的展示中,我将使用 Elastic Stack 8.2 来进行展示。
https://elasticstack.blog.csdn ... 20166

Elastic日报 第1404期 (2022-05-24)

Elastic日报God_lockin 发表了文章 • 0 个评论 • 76 次浏览 • 3 天前 • 来自相关话题

1. 用fluent配合ES构建日志体系(需要梯子)
https://medium.com/hepsiburada ... e28aa

2. 用Serilog和ES搭建 net core 的日志体系(需要梯子)
https://medium.com/%40matias.p ... f4c1e

3. ES为啥在Adyen stack是不可或缺的组件(需要梯子)
https://medium.com/adyen/why-e ... 89cc1

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

【Elastic社区线上Meetup直播】使用Elastic Stack地理位置分析功能分析疫情态势

活动liaosy 发表了文章 • 2 个评论 • 83 次浏览 • 4 天前 • 来自相关话题

![](https://elasticsearch.cn/uploa ... 37.jpg)

Elastic社区线上Meetup


B站直播:http://live.bilibili.com/24361271

YouTube直播:https://www.youtube.com/c/OfficialElasticCommunity

主题:使用Elastic Stack地理位置分析功能分析疫情态势


日期:2022年5月26日,14:30 - 15:30(UTC+8)

讲师:杰瑞朱,Elastic资深解决方案架构师,Elastic认证工程师

摘要:Elasticsearch具有很强的地理位置查询和聚合计算能力,Kibana也内含了功能强大的地图工具,两者结合可以很方便地应用于地理位置相关的分析场景。杰瑞在上海封城期间,一直使用这些强大的工具来分析周边的疫情态势,本次活动以上海每日疫情数据为例,详解这些工具的使用方法,可以让听众快速上手并应用于更多的地理位置分析场景。

中文meetup每月最后一个周四准时上线,欢迎报名分享您的技术心得,讲师报名请发送邮件至:meetups@elastic.co。谢谢!
 
原文链接:[](https://community.elastic.co/e ... i-shi/)

有什么 elasticsearch 轻便的压测方案?

Elasticsearchliaosy 回复了问题 • 2 人关注 • 1 个回复 • 129 次浏览 • 4 天前 • 来自相关话题