要不要也来分享分享一下啊

Elasticsearch:跨集群搜索 Cross-cluster search(CCS)及安全

跨集群搜索启用跨多个集群的联合搜索。 将跨集群搜索与受保护集群一起使用时,所有集群都必须启用 Elasticsearch 安全功能。必须允许本地群集(用于启动跨群集搜索的群集)连接到远程群集,这意味着用于签署本地群集的 SSL/TLS 密钥的 CA 必须受到远程群集的信任。

用户身份验证是在本地群集上执行的,并且用户和用户的角色(role)将传递到远程群集。 远程集群会根据其本地角色定义检查用户的角色,以确定允许用户访问哪些索引。

原文链接:https://blog.csdn.net/UbuntuTo ... 69527
继续阅读 »
跨集群搜索启用跨多个集群的联合搜索。 将跨集群搜索与受保护集群一起使用时,所有集群都必须启用 Elasticsearch 安全功能。必须允许本地群集(用于启动跨群集搜索的群集)连接到远程群集,这意味着用于签署本地群集的 SSL/TLS 密钥的 CA 必须受到远程群集的信任。

用户身份验证是在本地群集上执行的,并且用户和用户的角色(role)将传递到远程群集。 远程集群会根据其本地角色定义检查用户的角色,以确定允许用户访问哪些索引。

原文链接:https://blog.csdn.net/UbuntuTo ... 69527 收起阅读 »

Elasticsearch:Searchable snapshot - 可搜索的快照

可搜索快照使你可以使用快照(snapshot)以极具成本效益的方式搜索不经常访​​问的只读数据。 冷的(cold)和冻结的(frozen)数据层使用可搜索的快照来减少存储和运营成本。

可搜索的快照消除了对副本分片 (replica shards)的需求,从而有可能使搜索数据所需的本地存储减半。 可搜索快照依赖于已经用于备份的快照机制,并且对快照存储库存储成本的影响最小。

原文链接:https://blog.csdn.net/UbuntuTo ... 16640
继续阅读 »
可搜索快照使你可以使用快照(snapshot)以极具成本效益的方式搜索不经常访​​问的只读数据。 冷的(cold)和冻结的(frozen)数据层使用可搜索的快照来减少存储和运营成本。

可搜索的快照消除了对副本分片 (replica shards)的需求,从而有可能使搜索数据所需的本地存储减半。 可搜索快照依赖于已经用于备份的快照机制,并且对快照存储库存储成本的影响最小。

原文链接:https://blog.csdn.net/UbuntuTo ... 16640 收起阅读 »

Elasticsearch:免费和开放的 Elastic 可观测性入门

在单个的平台上统一日志,指标,应用程序跟踪数据和可用性数据并对其进行上下文处理。Elastic 可观测性提供了整个数字生态系统的运行状况和性能的统一视图。通过预置的收集器来轻松获取数百种数据源的多种数据,Elastic 可观测性可实现可观测性各个面之间的无缝集成。内置的警报功能使你可以查看何时接近 SLA (Service Level Agreement),而专用的应用程序可以使你按照合理的方式解释数据,包括详细的用户体验得分。诸如 Audi,Etsy,Societe Generale,Domain,Kroger 等公司已经为各种用例部署了 Elastic 可观测性,从集中式日志记录到监视数字体验,这些用例范围广泛。

在此博客中,我们将向你展示如何开始使用 Elastic 可观测性。首先,我们将下载并准备软件,然后部署并与 Elastic Stack 的核心 Elasticsearch 进行试运行。接下来,我们将在 Elasticsearch中 启用安全性和基于角色的访问控制,并将窗口 Kibana 连接到 Elastic Stack。Kibana 既用作管理前端又用作可视化层。最后,我们将通过启用 SSL,TLS 和 HTTPS 进一步保护群集。

注意:本博客中的步骤使用运行 Elastic 可观测性 的自我管理选项。这里描述的所有内容都是我们免费和开放的分发层的一部分,具有诸如分布式跟踪,统一代理,数百个数据集成,用于 APM 的精选应用程序,基础结构监视,日志浏览等功能。所有这些功能都可以在 Elastic Cloud上 的 Elasticsearch Service 上使用,这是一个完全托管的服务,并提供免费试用。无论选择哪种方式,你都将获得相同的出色用户体验。

我在 Mac 上运行,但是以下说明应与 Linux 类似。
 
https://elasticstack.blog.csdn ... 98566
 
继续阅读 »
在单个的平台上统一日志,指标,应用程序跟踪数据和可用性数据并对其进行上下文处理。Elastic 可观测性提供了整个数字生态系统的运行状况和性能的统一视图。通过预置的收集器来轻松获取数百种数据源的多种数据,Elastic 可观测性可实现可观测性各个面之间的无缝集成。内置的警报功能使你可以查看何时接近 SLA (Service Level Agreement),而专用的应用程序可以使你按照合理的方式解释数据,包括详细的用户体验得分。诸如 Audi,Etsy,Societe Generale,Domain,Kroger 等公司已经为各种用例部署了 Elastic 可观测性,从集中式日志记录到监视数字体验,这些用例范围广泛。

在此博客中,我们将向你展示如何开始使用 Elastic 可观测性。首先,我们将下载并准备软件,然后部署并与 Elastic Stack 的核心 Elasticsearch 进行试运行。接下来,我们将在 Elasticsearch中 启用安全性和基于角色的访问控制,并将窗口 Kibana 连接到 Elastic Stack。Kibana 既用作管理前端又用作可视化层。最后,我们将通过启用 SSL,TLS 和 HTTPS 进一步保护群集。

注意:本博客中的步骤使用运行 Elastic 可观测性 的自我管理选项。这里描述的所有内容都是我们免费和开放的分发层的一部分,具有诸如分布式跟踪,统一代理,数百个数据集成,用于 APM 的精选应用程序,基础结构监视,日志浏览等功能。所有这些功能都可以在 Elastic Cloud上 的 Elasticsearch Service 上使用,这是一个完全托管的服务,并提供免费试用。无论选择哪种方式,你都将获得相同的出色用户体验。

我在 Mac 上运行,但是以下说明应与 Linux 类似。
 
https://elasticstack.blog.csdn ... 98566
  收起阅读 »

Elasticsearch:Script fields 及其调试

在搜索时,每个 _search 请求的匹配(hit)可以使用 script_fields (基于不同的字段)定制一些属性。这些定制的属性(script fields)通常是:

针对原有值的修改(比如,价钱的转换,不同的排序方法等)
一个崭新的及算出来的属性(比如,总和,加权,指数运算,距离测量等)

原文链接:https://blog.csdn.net/UbuntuTo ... 92778
继续阅读 »
在搜索时,每个 _search 请求的匹配(hit)可以使用 script_fields (基于不同的字段)定制一些属性。这些定制的属性(script fields)通常是:

针对原有值的修改(比如,价钱的转换,不同的排序方法等)
一个崭新的及算出来的属性(比如,总和,加权,指数运算,距离测量等)

原文链接:https://blog.csdn.net/UbuntuTo ... 92778 收起阅读 »

如何使用 Elasticsearch 和 Python 构建面部识别系统

你是否曾经尝试在图像中搜索对象? Elasticsearch 可以帮助你存储,分析和搜索图像或视频中的对象。

在本快速教程中,我们将向你展示如何构建一个使用 Python 进行面部识别的系统。 了解有关如何检测和编码面部信息的更多信息-并在搜索中找到匹配项。



在今天的练习中,我们将参照代码:https://github.com/liu-xiao-gu ... earch。你可以把这个代码下载到本地的电脑:

原文链接:https://blog.csdn.net/UbuntuTo ... 27926
继续阅读 »
你是否曾经尝试在图像中搜索对象? Elasticsearch 可以帮助你存储,分析和搜索图像或视频中的对象。

在本快速教程中,我们将向你展示如何构建一个使用 Python 进行面部识别的系统。 了解有关如何检测和编码面部信息的更多信息-并在搜索中找到匹配项。



在今天的练习中,我们将参照代码:https://github.com/liu-xiao-gu ... earch。你可以把这个代码下载到本地的电脑:

原文链接:https://blog.csdn.net/UbuntuTo ... 27926 收起阅读 »

Elasticsearch 实现模糊查询效果方式对比


下面是ES做传统意义上的模糊查询的两种方式,我们分析下优劣势
1:将字段设置为keyword类型,使用wildcard实现模糊查询,如果数据量较大,这种方式模糊查询效率是非常低的,所以实际案例中其实是不太实用的,除非你的数据量只有几十万,完全不用考虑效率问题,而且ES限制单个词条不能超过32766个字节,那么超过10000多字符的文章是不能被全部索引到的,那么模糊查询时就查不到没有索引到的关键词。

2:实用match_phrase查询,设置slop为0,配合单字分词实现模糊查询效果。
第二种方式最关键的是我们要实现单字符的分词,通常很多人认为标准分词器就是单字分词,事实上stander分词器只能对中文实现单字分词,对英文与数字是不能单字符分词的,而且本身就是忽略标点符号的,这样的话用match_phrase实现模糊查询其实就有误差了,例如 “中国最美,丽江盛景”,这个时候我们搜索“美丽”也一样能搜到,因为他本身忽略了标点符号,或者搜索数字或者字母时也一样没有办法跟传统的模糊查询保持一致。

所以经过测试,推荐使用ngram自定义配置实现单字分词效果,分析器配置入下
"analysis": {
"analyzer": {
"charSplit": {
"type": "custom",
"tokenizer": "my_ngram_tokenizer",
"filter": [
"lowercase"
],
"char_filter": [
"html_strip"
]
}
},
"tokenizer": {
"my_ngram_tokenizer": {
"type": "nGram",
"min_gram": "1",
"max_gram": "1",
"token_chars": [
"letter",
"digit",
"punctuation"
]
}
}
}
这样我们可以把所有的字符都单字分词,然后配合match_phrase就能实现一个真正意义上的模糊查询,这种搜索效率是比wildcard要高出很多。

上面两种方式都可以实现模糊查询的效果,第一种方式缺点就是效率太低,而且字段长度太大没有办法全部索引到。再看下第二种方式的问题

1.使用ngram单字分词会导致索引量增加(测试发现基本会翻倍甚至更多),相应的分片数与硬件配置要求需要增加。

2.使用单字符分词会使同义词查询失效,甚至影响相似性查询等操作,当然,一般来说要模糊查询也就不会考虑同义词查询了。

3.继承了传统模糊查询的问题,如搜索“8年抗战”相关内容,直接搜索关键词“8年”,会搜索到包含“2018年”的内容,这样显然不是你要的结果,但是模糊查询就是这样的效果。

4.field_data也是基于倒排索引实现功能,如有聚合或者排序等操作,也会使用单字符效果,如:某字段存储汉字“中国”,“美国”,但类型为text,这个时候如果要按照国家来聚合查询数据,单字段分词结果就会不准确,就是说聚合与排序也会用单字分词后的索引去做聚合与排序,结果自然也就有偏差了.

以上就是两种模糊查询的方式对比,实际环境里还是需要按照实际的需求与环境决定怎样选择,各位大神如果有更好的方式欢迎交流分享!

继续阅读 »

下面是ES做传统意义上的模糊查询的两种方式,我们分析下优劣势
1:将字段设置为keyword类型,使用wildcard实现模糊查询,如果数据量较大,这种方式模糊查询效率是非常低的,所以实际案例中其实是不太实用的,除非你的数据量只有几十万,完全不用考虑效率问题,而且ES限制单个词条不能超过32766个字节,那么超过10000多字符的文章是不能被全部索引到的,那么模糊查询时就查不到没有索引到的关键词。

2:实用match_phrase查询,设置slop为0,配合单字分词实现模糊查询效果。
第二种方式最关键的是我们要实现单字符的分词,通常很多人认为标准分词器就是单字分词,事实上stander分词器只能对中文实现单字分词,对英文与数字是不能单字符分词的,而且本身就是忽略标点符号的,这样的话用match_phrase实现模糊查询其实就有误差了,例如 “中国最美,丽江盛景”,这个时候我们搜索“美丽”也一样能搜到,因为他本身忽略了标点符号,或者搜索数字或者字母时也一样没有办法跟传统的模糊查询保持一致。

所以经过测试,推荐使用ngram自定义配置实现单字分词效果,分析器配置入下
"analysis": {
"analyzer": {
"charSplit": {
"type": "custom",
"tokenizer": "my_ngram_tokenizer",
"filter": [
"lowercase"
],
"char_filter": [
"html_strip"
]
}
},
"tokenizer": {
"my_ngram_tokenizer": {
"type": "nGram",
"min_gram": "1",
"max_gram": "1",
"token_chars": [
"letter",
"digit",
"punctuation"
]
}
}
}
这样我们可以把所有的字符都单字分词,然后配合match_phrase就能实现一个真正意义上的模糊查询,这种搜索效率是比wildcard要高出很多。

上面两种方式都可以实现模糊查询的效果,第一种方式缺点就是效率太低,而且字段长度太大没有办法全部索引到。再看下第二种方式的问题

1.使用ngram单字分词会导致索引量增加(测试发现基本会翻倍甚至更多),相应的分片数与硬件配置要求需要增加。

2.使用单字符分词会使同义词查询失效,甚至影响相似性查询等操作,当然,一般来说要模糊查询也就不会考虑同义词查询了。

3.继承了传统模糊查询的问题,如搜索“8年抗战”相关内容,直接搜索关键词“8年”,会搜索到包含“2018年”的内容,这样显然不是你要的结果,但是模糊查询就是这样的效果。

4.field_data也是基于倒排索引实现功能,如有聚合或者排序等操作,也会使用单字符效果,如:某字段存储汉字“中国”,“美国”,但类型为text,这个时候如果要按照国家来聚合查询数据,单字段分词结果就会不准确,就是说聚合与排序也会用单字分词后的索引去做聚合与排序,结果自然也就有偏差了.

以上就是两种模糊查询的方式对比,实际环境里还是需要按照实际的需求与环境决定怎样选择,各位大神如果有更好的方式欢迎交流分享!

收起阅读 »

Elastic 7.12 版重磅发布:读时模式、冻结层技术预览版和自动扩展功能正式发布

我们非常高兴地宣布 Elastic 7.12 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。在这个版本中,客户能够通过读时模式,在无与伦比的灵活性和速度之间进行权衡选择,可使用新的冻结层实现对象存储的完全可搜索,从而获取新的价值,还能在 Elastic Cloud 上自动扩展部署。

Elastic 企业搜索得益于大量架构的增强功能,这些增强可减少部署规模、加快导入索引的速度并提供更相关的结果。Elastic 可观测性中新增了关联性功能,有助于识别导致应用程序性能问题和错误的主要原因。面向分析师的关联性功能简化了 Elastic 安全中的安全运维工作流程。

Elastic 7.12 版现已在 Elastic Cloud 上正式推出,这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes)进行自管型部署。

请继续阅读,探索这一版本的关键亮点。如需了解全面的功能介绍,请详阅各篇介绍解决方案和产品的博文。

Elastic Stack 和 Elastic Cloud
我们现已正式推出解决方案,让分析师通过读时模式灵活探究数据的这一设想得以实现。

Elasticsearch 因其速度超快的分布式搜索和分析引擎而闻名,这部分要归功于 Elasticsearch 默认的写时模式 (schema on write)。虽然这种有序的数据结构需要规划并测试如何在 Elasticsearch 中表示数据,但可以在速度上得到巨大的回报。

当您需要采集新数据或采用快速周转的新用例时,会发生什么?如果您可以选择使用读时模式在查询时创建动态模式,那又会怎样?除了使用写时模式外,现在提供的运行时字段还可让您灵活地定义读时模式(schema on read)。这个功能通过牺牲一些搜索性能,极大缩短了实现数据价值的时间。随着 7.12 版的发布,运行时字段现在可以在 Kibana Discover 中进行搜索,这使得分析师能够通过 Elasticsearch 中的读时模式灵活地探索结构化数据。

我们对读时模式的实施非常特别。使用 Elasticsearch 运行时字段,您不必在写时模式的速度和规模或读时模式的灵活性之间艰难取舍。您可以同时在同一 Elastic Stack 和相同的数据上使用这两种模式,鱼和熊掌兼得。既能探索新的数据并动态定义新的字段,同时仍可在已知数据中搜索字段。可以轻松地在新创建的字段(在运行时字段中定义)和写时模式之间切换,以获得最佳速度和性能。无论您采用哪种方法,Elasticsearch 都能让您在速度和规模上享有无可比拟的灵活性。

利用新的冻结层,可使 S3 这样的对象存储完全可搜索,从而获取新的价值;这一功能目前以技术预览版提供,不久 Elastic Cloud 将提供此功能的简化版本。

借助这一新冻结层(目前为技术预览版),您可以将计算与存储分离,并添加直接在对象存储(如 Amazon S3、Google Cloud Storage 和 Microsoft Azure Storage)上进行搜索的功能。这项功能允许您在性能上做出权衡,实现以很小的成本搜索数据,同时减少搜索所需的专用资源量。通过仅从对象存储中提取完成查询所需的数据,并根据需要在本地缓存这些数据,冻结层既可提供最佳的搜索体验,同时又能够存储无限量的数据。我们还将持续提升在 Elastic Cloud 中配置冻结层的用户体验,不日推出,敬请期待。

通过使用可搜索快照,您可在控制成本的同时,高效地搜索所有应用程序内容和工作场所历史记录。存储更多分析数据用于营销分析,或测试和发布有版本号的应用程序目录,作为新的部署策略。在可观测性方面,您不再需要纠结于要删除哪些日志、指标或 APM 数据来节省开支。试想一下,您可以逐年搜索应用程序性能,而无需从备份中解冻数据。想象一下,威胁猎人和安全分析师将能够通过可搜索快照,轻松访问多年的大容量安全数据源,做到明察秋毫。以更大的规模收集更多与安全相关的数据 — IDS、Netflow、DNS、PCAP 或终端数据,并让您能够更长久地访问这些数据。

有了“将搜索保存到后台”这项新功能,长时间运行的查询可以自己完成,让您心无旁骛地继续分析数据。

像大海捞针一样在海量数据中搜索是 Elastic 技术的核心追求。即使那些结果存在于跨越多个集群且采用冻结索引的数据中,Elastic Stack 也不会停止为您梳理文档,直到作业完成。但不会仅仅因为它走得更远就意味着您必须停止正在做的事情。现在有了 7.12 版,您可以在 Discover 或 Kibana 仪表板上将长时间运行的搜索会话发送到后台运行,然后专心去安排自己的工作就好了。使用新的搜索会话管理界面,您可以随时查看结果,无论是 5 分钟、5 小时,甚或是 5 天之后。让 Elastic Stack 进行多任务处理,这样您就可以集中精力完成任务。
 
https://elasticstack.blog.csdn ... 96136
继续阅读 »
我们非常高兴地宣布 Elastic 7.12 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。在这个版本中,客户能够通过读时模式,在无与伦比的灵活性和速度之间进行权衡选择,可使用新的冻结层实现对象存储的完全可搜索,从而获取新的价值,还能在 Elastic Cloud 上自动扩展部署。

Elastic 企业搜索得益于大量架构的增强功能,这些增强可减少部署规模、加快导入索引的速度并提供更相关的结果。Elastic 可观测性中新增了关联性功能,有助于识别导致应用程序性能问题和错误的主要原因。面向分析师的关联性功能简化了 Elastic 安全中的安全运维工作流程。

Elastic 7.12 版现已在 Elastic Cloud 上正式推出,这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes)进行自管型部署。

请继续阅读,探索这一版本的关键亮点。如需了解全面的功能介绍,请详阅各篇介绍解决方案和产品的博文。

Elastic Stack 和 Elastic Cloud
我们现已正式推出解决方案,让分析师通过读时模式灵活探究数据的这一设想得以实现。

Elasticsearch 因其速度超快的分布式搜索和分析引擎而闻名,这部分要归功于 Elasticsearch 默认的写时模式 (schema on write)。虽然这种有序的数据结构需要规划并测试如何在 Elasticsearch 中表示数据,但可以在速度上得到巨大的回报。

当您需要采集新数据或采用快速周转的新用例时,会发生什么?如果您可以选择使用读时模式在查询时创建动态模式,那又会怎样?除了使用写时模式外,现在提供的运行时字段还可让您灵活地定义读时模式(schema on read)。这个功能通过牺牲一些搜索性能,极大缩短了实现数据价值的时间。随着 7.12 版的发布,运行时字段现在可以在 Kibana Discover 中进行搜索,这使得分析师能够通过 Elasticsearch 中的读时模式灵活地探索结构化数据。

我们对读时模式的实施非常特别。使用 Elasticsearch 运行时字段,您不必在写时模式的速度和规模或读时模式的灵活性之间艰难取舍。您可以同时在同一 Elastic Stack 和相同的数据上使用这两种模式,鱼和熊掌兼得。既能探索新的数据并动态定义新的字段,同时仍可在已知数据中搜索字段。可以轻松地在新创建的字段(在运行时字段中定义)和写时模式之间切换,以获得最佳速度和性能。无论您采用哪种方法,Elasticsearch 都能让您在速度和规模上享有无可比拟的灵活性。

利用新的冻结层,可使 S3 这样的对象存储完全可搜索,从而获取新的价值;这一功能目前以技术预览版提供,不久 Elastic Cloud 将提供此功能的简化版本。

借助这一新冻结层(目前为技术预览版),您可以将计算与存储分离,并添加直接在对象存储(如 Amazon S3、Google Cloud Storage 和 Microsoft Azure Storage)上进行搜索的功能。这项功能允许您在性能上做出权衡,实现以很小的成本搜索数据,同时减少搜索所需的专用资源量。通过仅从对象存储中提取完成查询所需的数据,并根据需要在本地缓存这些数据,冻结层既可提供最佳的搜索体验,同时又能够存储无限量的数据。我们还将持续提升在 Elastic Cloud 中配置冻结层的用户体验,不日推出,敬请期待。

通过使用可搜索快照,您可在控制成本的同时,高效地搜索所有应用程序内容和工作场所历史记录。存储更多分析数据用于营销分析,或测试和发布有版本号的应用程序目录,作为新的部署策略。在可观测性方面,您不再需要纠结于要删除哪些日志、指标或 APM 数据来节省开支。试想一下,您可以逐年搜索应用程序性能,而无需从备份中解冻数据。想象一下,威胁猎人和安全分析师将能够通过可搜索快照,轻松访问多年的大容量安全数据源,做到明察秋毫。以更大的规模收集更多与安全相关的数据 — IDS、Netflow、DNS、PCAP 或终端数据,并让您能够更长久地访问这些数据。

有了“将搜索保存到后台”这项新功能,长时间运行的查询可以自己完成,让您心无旁骛地继续分析数据。

像大海捞针一样在海量数据中搜索是 Elastic 技术的核心追求。即使那些结果存在于跨越多个集群且采用冻结索引的数据中,Elastic Stack 也不会停止为您梳理文档,直到作业完成。但不会仅仅因为它走得更远就意味着您必须停止正在做的事情。现在有了 7.12 版,您可以在 Discover 或 Kibana 仪表板上将长时间运行的搜索会话发送到后台运行,然后专心去安排自己的工作就好了。使用新的搜索会话管理界面,您可以随时查看结果,无论是 5 分钟、5 小时,甚或是 5 天之后。让 Elastic Stack 进行多任务处理,这样您就可以集中精力完成任务。
 
https://elasticstack.blog.csdn ... 96136 收起阅读 »

Elastic:监控 Elasticsearch 及 Kibana

一个稳定的 Elastic Stack 集群对于数据的实时采集,处理及查询非常重要。我们可以使用一个专有的 Elasticsearch 集群来监视一个生产环境的 Elasticsearch 集群。在之前的文章 “Beats:通过 Metricbeat 实现外部对 Elastic Stack 的监控”,我已经讲述了如何对 Elasticsearch 进行监控。在今天及以后的几篇文章中,我将详细讲述如何来对 Elastic Stack 的各个软件栈进行监控。尽管我们可以使用把 Elasticsearch 自己的状态信息导入到自己的索引中以进行分析,但是在实际的使用中,我们还是倾向于设置一个专用的 Elasticsearch 集群来进行监控,原因是:
  • 减少受监视集群上的负载和存储
  • 即使对于运行状况不佳的群集,也可以继续访问监控。如果没有单独的集群,那么当集群发生故障时,我们不可以继续提供监视
  • 支持隔离职责(单独的安全策略)


原文链接:https://blog.csdn.net/UbuntuTo ... 68537
继续阅读 »
一个稳定的 Elastic Stack 集群对于数据的实时采集,处理及查询非常重要。我们可以使用一个专有的 Elasticsearch 集群来监视一个生产环境的 Elasticsearch 集群。在之前的文章 “Beats:通过 Metricbeat 实现外部对 Elastic Stack 的监控”,我已经讲述了如何对 Elasticsearch 进行监控。在今天及以后的几篇文章中,我将详细讲述如何来对 Elastic Stack 的各个软件栈进行监控。尽管我们可以使用把 Elasticsearch 自己的状态信息导入到自己的索引中以进行分析,但是在实际的使用中,我们还是倾向于设置一个专用的 Elasticsearch 集群来进行监控,原因是:
  • 减少受监视集群上的负载和存储
  • 即使对于运行状况不佳的群集,也可以继续访问监控。如果没有单独的集群,那么当集群发生故障时,我们不可以继续提供监视
  • 支持隔离职责(单独的安全策略)


原文链接:https://blog.csdn.net/UbuntuTo ... 68537 收起阅读 »

如何使用 Filebeat,ILM 和数据流跨多个索引管理 Elasticsearch 数据

索引是 Elasticsearch 的重要组成部分。 每个索引使你的数据集保持分离和有条理,从而使你可以灵活地以不同方式对待每个数据集,并使其在整个生命周期中都易于管理。 通过提供摄入方法和管理工具来简化流程,Elastic 可以轻松地充分利用索引。

在本文中,我们将使用 Filebeat 将来自多个源的数据摄入到多个索引中,然后将使用索引生命周期管理(ILM)和数据流来进一步控制该数据。
 
https://elasticstack.blog.csdn ... 51958
继续阅读 »
索引是 Elasticsearch 的重要组成部分。 每个索引使你的数据集保持分离和有条理,从而使你可以灵活地以不同方式对待每个数据集,并使其在整个生命周期中都易于管理。 通过提供摄入方法和管理工具来简化流程,Elastic 可以轻松地充分利用索引。

在本文中,我们将使用 Filebeat 将来自多个源的数据摄入到多个索引中,然后将使用索引生命周期管理(ILM)和数据流来进一步控制该数据。
 
https://elasticstack.blog.csdn ... 51958 收起阅读 »

Elasticsearch:同步 MongoDB 数据到 Elasticsearch

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。Elasticsearch 是一个高效强大的大数据搜索引擎。它的 Speed, Scale 及 Relevance 是很多数据库不具有的。通过 Elasticsearch 的高效搜索引擎,我们可以快速地搜索相关的内容,我们也可以使用 Kibana 所提供的可视化为数据提供洞察。在今天的文章中,我将介绍如何把 MongoDB 里的数据同步到 Elasticsearch。


原文链接:https://blog.csdn.net/UbuntuTo ... 39152
继续阅读 »
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。Elasticsearch 是一个高效强大的大数据搜索引擎。它的 Speed, Scale 及 Relevance 是很多数据库不具有的。通过 Elasticsearch 的高效搜索引擎,我们可以快速地搜索相关的内容,我们也可以使用 Kibana 所提供的可视化为数据提供洞察。在今天的文章中,我将介绍如何把 MongoDB 里的数据同步到 Elasticsearch。


原文链接:https://blog.csdn.net/UbuntuTo ... 39152 收起阅读 »

Elasticsearch:定制分词器(analyzer)及相关性

在许多的情况下,我们使用现有的分词器已经足够满足我们许多的业务需求,但是也有许多的情况,我们需要定制一个特定的分词器来满足我们特定的需求。我们知道要实现全文搜索,在文档被导入到 Elasticsearch 后,每个字段都需要被分析。这里就涉及到分词。如果你对分词器还不是很了解的话,那么请参考我之前的文章 “Elasticsearch: analyzer”。

一旦文档被导入到 Elasticsearch 之后,我们就可以对其中的字段进行搜索了。通常它会依据默认的 BM25 算法对每个文档的相关性进行打分。关于每个文档的分数是如何得到的,我们可以参照文档 “Elasticsearch:分布式计分” 来了解更多。这个打分会影响搜索返回结果的先后顺序。打分最高的文档排在返回结果的最前面,紧接着是排名第二的分数,依次类推。默认的 BM25 打分规则虽然能满足我们绝大多数的需求,但是在实际的使用中,有时不能完全满足我们的需求,比如我希望一首排名靠前的歌曲的会影响最终的得分,离我们位置最近的新闻排在前面,最近发生的新闻优先排在许多年前的新闻之前。针对这些特殊的需求,我们需要定制分数的算法。

在今天的展示中,我将展示如何实现一个定制的分词器 (custom analyzer)及定制相关性。
Elasticsearch:定制分词器(analyzer)及相关性
原文链接:https://elasticstack.blog.csdn ... 78163
继续阅读 »
在许多的情况下,我们使用现有的分词器已经足够满足我们许多的业务需求,但是也有许多的情况,我们需要定制一个特定的分词器来满足我们特定的需求。我们知道要实现全文搜索,在文档被导入到 Elasticsearch 后,每个字段都需要被分析。这里就涉及到分词。如果你对分词器还不是很了解的话,那么请参考我之前的文章 “Elasticsearch: analyzer”。

一旦文档被导入到 Elasticsearch 之后,我们就可以对其中的字段进行搜索了。通常它会依据默认的 BM25 算法对每个文档的相关性进行打分。关于每个文档的分数是如何得到的,我们可以参照文档 “Elasticsearch:分布式计分” 来了解更多。这个打分会影响搜索返回结果的先后顺序。打分最高的文档排在返回结果的最前面,紧接着是排名第二的分数,依次类推。默认的 BM25 打分规则虽然能满足我们绝大多数的需求,但是在实际的使用中,有时不能完全满足我们的需求,比如我希望一首排名靠前的歌曲的会影响最终的得分,离我们位置最近的新闻排在前面,最近发生的新闻优先排在许多年前的新闻之前。针对这些特殊的需求,我们需要定制分数的算法。

在今天的展示中,我将展示如何实现一个定制的分词器 (custom analyzer)及定制相关性。
Elasticsearch:定制分词器(analyzer)及相关性
原文链接:https://elasticstack.blog.csdn ... 78163 收起阅读 »

Elasticsearch:如何实现对 emoji 表情符号进行搜索

Elasticsearch 是一个应用非常广泛的搜索引擎。在实际的使用中,我们会发现有一些文字中包含一些 emoji 表情符号,比如笑脸 😀,动物 🐅 等等,那么我们该如何对这些表情符号来进行搜索呢? 请详细阅读 “如何实现对 emoji 表情符号进行搜索” https://elasticstack.blog.csdn ... 61636
继续阅读 »
Elasticsearch 是一个应用非常广泛的搜索引擎。在实际的使用中,我们会发现有一些文字中包含一些 emoji 表情符号,比如笑脸 😀,动物 🐅 等等,那么我们该如何对这些表情符号来进行搜索呢? 请详细阅读 “如何实现对 emoji 表情符号进行搜索” https://elasticstack.blog.csdn ... 61636 收起阅读 »

Elasticsearch:如何实现对 emoji 表情符号进行搜索

Elasticsearch 是一个应用非常广泛的搜索引擎。它可以对文字进行分词,从而实现全文搜索。在实际的使用中,我们会发现有一些文字中包含一些表情符号,比如笑脸,动物等等,那么我们该如何对这些表情符号来进行搜索呢?

🏻 => 🏻, light skin tone, skin tone, type 1–2
🏼 => 🏼, medium-light skin tone, skin tone, type 3
🏽 => 🏽, medium skin tone, skin tone, type 4
🏾 => 🏾, medium-dark skin tone, skin tone, type 5
🏿 => 🏿, dark skin tone, skin tone, type 6
♪ => ♪, eighth, music, note
♭ => ♭, bemolle, flat, music, note
♯ => ♯, dièse, diesis, music, note, sharp
😀 => 😀, face, grin, grinning face
😃 => 😃, face, grinning face with big eyes, mouth, open, smile
😄 => 😄, eye, face, grinning face with smiling eyes, mouth, open, smile
😁 => 😁, beaming face with smiling eyes, eye, face, grin, smile
😆 => 😆, face, grinning squinting face, laugh, mouth, satisfied, smile
😅 => 😅, cold, face, grinning face with sweat, open, smile, sweat
🤣 => 🤣, face, floor, laugh, rofl, rolling, rolling on the floor laughing, rotfl
😂 => 😂, face, face with tears of joy, joy, laugh, tear
🙂 => 🙂, face, slightly smiling face, smile
🙃 => 🙃, face, upside-down
😉 => 😉, face, wink, winking face
 
🐅 => 🐅, tiger
🐆 => 🐆, leopard
🐴 => 🐴, face, horse
🐎 => 🐎, equestrian, horse, racehorse, racing
🦄 => 🦄, face, unicorn
🦓 => 🦓, stripe, zebra
🦌 => 🦌, deer
在上面,我们可以看到各种各样的 emoji 符号。比如我们想搜索 grin,那么它就把含有 😀 emoji 符号的文档也找出来。在今天的文章中,我们来展示如何实现对 emoji 符号的进行搜索。
————————————————
版权声明:本文为CSDN博主「Elastic 中国社区官方博客」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/UbuntuTo ... 61636
 
 
继续阅读 »
Elasticsearch 是一个应用非常广泛的搜索引擎。它可以对文字进行分词,从而实现全文搜索。在实际的使用中,我们会发现有一些文字中包含一些表情符号,比如笑脸,动物等等,那么我们该如何对这些表情符号来进行搜索呢?

🏻 => 🏻, light skin tone, skin tone, type 1–2
🏼 => 🏼, medium-light skin tone, skin tone, type 3
🏽 => 🏽, medium skin tone, skin tone, type 4
🏾 => 🏾, medium-dark skin tone, skin tone, type 5
🏿 => 🏿, dark skin tone, skin tone, type 6
♪ => ♪, eighth, music, note
♭ => ♭, bemolle, flat, music, note
♯ => ♯, dièse, diesis, music, note, sharp
😀 => 😀, face, grin, grinning face
😃 => 😃, face, grinning face with big eyes, mouth, open, smile
😄 => 😄, eye, face, grinning face with smiling eyes, mouth, open, smile
😁 => 😁, beaming face with smiling eyes, eye, face, grin, smile
😆 => 😆, face, grinning squinting face, laugh, mouth, satisfied, smile
😅 => 😅, cold, face, grinning face with sweat, open, smile, sweat
🤣 => 🤣, face, floor, laugh, rofl, rolling, rolling on the floor laughing, rotfl
😂 => 😂, face, face with tears of joy, joy, laugh, tear
🙂 => 🙂, face, slightly smiling face, smile
🙃 => 🙃, face, upside-down
😉 => 😉, face, wink, winking face
 
🐅 => 🐅, tiger
🐆 => 🐆, leopard
🐴 => 🐴, face, horse
🐎 => 🐎, equestrian, horse, racehorse, racing
🦄 => 🦄, face, unicorn
🦓 => 🦓, stripe, zebra
🦌 => 🦌, deer
在上面,我们可以看到各种各样的 emoji 符号。比如我们想搜索 grin,那么它就把含有 😀 emoji 符号的文档也找出来。在今天的文章中,我们来展示如何实现对 emoji 符号的进行搜索。
————————————————
版权声明:本文为CSDN博主「Elastic 中国社区官方博客」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/UbuntuTo ... 61636
 
  收起阅读 »

Enterprise:Elastic App Search - Web 爬虫

让内容搜索可通过多种形式实现。Elastic App Search 已经允许用户通过上传或粘贴 JSON 以及通过 API 终端来采集内容。使用 Elastic 企业搜索 7.11,用户现在可以通过功能强大的网络爬虫来采集内容,该爬虫能够从可公开访问的网站中检索信息,从而可以轻松地在你的 App Search 引擎中搜索内容。与 App Search 上的任何采集方法一样,这种模式是在采集时推断出来的,只需单击一下即可进行近乎实时地更新。通过单击(无需写代码),用户就可以定制网络爬虫规则,以便在排除规则指示网络爬虫避免某些页面、内容和术语的同时指定入口点。
 
https://elasticstack.blog.csdn ... 49006
继续阅读 »
让内容搜索可通过多种形式实现。Elastic App Search 已经允许用户通过上传或粘贴 JSON 以及通过 API 终端来采集内容。使用 Elastic 企业搜索 7.11,用户现在可以通过功能强大的网络爬虫来采集内容,该爬虫能够从可公开访问的网站中检索信息,从而可以轻松地在你的 App Search 引擎中搜索内容。与 App Search 上的任何采集方法一样,这种模式是在采集时推断出来的,只需单击一下即可进行近乎实时地更新。通过单击(无需写代码),用户就可以定制网络爬虫规则,以便在排除规则指示网络爬虫避免某些页面、内容和术语的同时指定入口点。
 
https://elasticstack.blog.csdn ... 49006 收起阅读 »

Elastic 7.11 重磅发布:可搜索快照和新冷层的正式版以及读时模式的公测版

我们非常高兴地宣布 Elastic 7.11 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。通过这一版本,您可以使用可搜索快照功能正式版和读时模式公测版,在成本、性能、见解和灵活性方面实现优化。

Elastic 企业搜索中公测版的新网络爬虫一经推出,从可公开访问的网站搜索内容就此变得轻而易举。Elastic 可观测性新增了服务运行状况和主机详情视图,能够提供更强大的根本原因分析、故障排除和应用程序可观测性。Elastic 安全中新增了预构建检测规则和 Machine Learning 作业以及可定制的告警通知,使得检测和修复流程都得到了提升,并且统一的分析人员工作区也极大简化了安全运维 (SecOps) 流程。 

同时,我们还宣布了对 Elastic Cloud 的多项关键改进,Elastic Cloud 是非常优秀的 Elastic 托管服务,也是唯一一项包含我们解决方案的服务。Elastic Cloud 为可搜索快照、自动缩放数据和 Machine Learning 节点提供了丰富的支持,并通过增强的跨集群复制 (CCR) 和跨集群搜索 (CCS) 提高了可用性,增强了搜索性能。Elastic 7.11 现已在 Elastic Cloud 正式推出,这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes)进行自管型部署。
 
详细阅读,请参阅文章链接 https://elasticstack.blog.csdn ... 43925
继续阅读 »
我们非常高兴地宣布 Elastic 7.11 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。通过这一版本,您可以使用可搜索快照功能正式版和读时模式公测版,在成本、性能、见解和灵活性方面实现优化。

Elastic 企业搜索中公测版的新网络爬虫一经推出,从可公开访问的网站搜索内容就此变得轻而易举。Elastic 可观测性新增了服务运行状况和主机详情视图,能够提供更强大的根本原因分析、故障排除和应用程序可观测性。Elastic 安全中新增了预构建检测规则和 Machine Learning 作业以及可定制的告警通知,使得检测和修复流程都得到了提升,并且统一的分析人员工作区也极大简化了安全运维 (SecOps) 流程。 

同时,我们还宣布了对 Elastic Cloud 的多项关键改进,Elastic Cloud 是非常优秀的 Elastic 托管服务,也是唯一一项包含我们解决方案的服务。Elastic Cloud 为可搜索快照、自动缩放数据和 Machine Learning 节点提供了丰富的支持,并通过增强的跨集群复制 (CCR) 和跨集群搜索 (CCS) 提高了可用性,增强了搜索性能。Elastic 7.11 现已在 Elastic Cloud 正式推出,这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes)进行自管型部署。
 
详细阅读,请参阅文章链接 https://elasticstack.blog.csdn ... 43925 收起阅读 »