绊脚石乃是进身之阶。

Elasticsearch:Script fields 及其调试

在搜索时,每个 _search 请求的匹配(hit)可以使用 script_fields (基于不同的字段)定制一些属性。这些定制的属性(script fields)通常是:

针对原有值的修改(比如,价钱的转换,不同的排序方法等)
一个崭新的及算出来的属性(比如,总和,加权,指数运算,距离测量等)

原文链接:https://blog.csdn.net/UbuntuTo ... 92778
继续阅读 »
在搜索时,每个 _search 请求的匹配(hit)可以使用 script_fields (基于不同的字段)定制一些属性。这些定制的属性(script fields)通常是:

针对原有值的修改(比如,价钱的转换,不同的排序方法等)
一个崭新的及算出来的属性(比如,总和,加权,指数运算,距离测量等)

原文链接:https://blog.csdn.net/UbuntuTo ... 92778 收起阅读 »

如何使用 Elasticsearch 和 Python 构建面部识别系统

你是否曾经尝试在图像中搜索对象? Elasticsearch 可以帮助你存储,分析和搜索图像或视频中的对象。

在本快速教程中,我们将向你展示如何构建一个使用 Python 进行面部识别的系统。 了解有关如何检测和编码面部信息的更多信息-并在搜索中找到匹配项。



在今天的练习中,我们将参照代码:https://github.com/liu-xiao-gu ... earch。你可以把这个代码下载到本地的电脑:

原文链接:https://blog.csdn.net/UbuntuTo ... 27926
继续阅读 »
你是否曾经尝试在图像中搜索对象? Elasticsearch 可以帮助你存储,分析和搜索图像或视频中的对象。

在本快速教程中,我们将向你展示如何构建一个使用 Python 进行面部识别的系统。 了解有关如何检测和编码面部信息的更多信息-并在搜索中找到匹配项。



在今天的练习中,我们将参照代码:https://github.com/liu-xiao-gu ... earch。你可以把这个代码下载到本地的电脑:

原文链接:https://blog.csdn.net/UbuntuTo ... 27926 收起阅读 »

社区日报 第1235期 (2021-04-12)

1. 关于elasticsearch 的6件不太明显的事情
https://blog.csdn.net/weixin_4 ... 44331

2.从诗词大会飞花令到elasticsearch原理解析
https://mp.weixin.qq.com/s/LD2VG6dRNYXOO9KE38F_Mg

3.温故而知新,来了解下elasticsearch 的发展史吧(截止7.0)
https://www.cnblogs.com/wangzh ... .html

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 关于elasticsearch 的6件不太明显的事情
https://blog.csdn.net/weixin_4 ... 44331

2.从诗词大会飞花令到elasticsearch原理解析
https://mp.weixin.qq.com/s/LD2VG6dRNYXOO9KE38F_Mg

3.温故而知新,来了解下elasticsearch 的发展史吧(截止7.0)
https://www.cnblogs.com/wangzh ... .html

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1234期 (2021-4-11)

1.(自备梯子)Lyft的Elasticsearch优化。 
https://eng.lyft.com/elasticse ... 20932 
2.如何为生产建立Elastic搜索集群? 
https://www.cncf.io/blog/2021/ ... tion/ 
3.我如何将GTA Online的加载时间减少70%。 
https://nee.lv/2021/02/28/How- ... y-70/

编辑:至尊宝
归档:https://ela.st/cn-daily-all 
订阅:https://ela.st/cn-daily-sub 
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.(自备梯子)Lyft的Elasticsearch优化。 
https://eng.lyft.com/elasticse ... 20932 
2.如何为生产建立Elastic搜索集群? 
https://www.cncf.io/blog/2021/ ... tion/ 
3.我如何将GTA Online的加载时间减少70%。 
https://nee.lv/2021/02/28/How- ... y-70/

编辑:至尊宝
归档:https://ela.st/cn-daily-all 
订阅:https://ela.st/cn-daily-sub 
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1232期 (2021-04-09)

1、Elasticsearch 和 Kafka 强强联合、无缝衔接
https://www.elastic.co/cn/blog ... ience
2、基于EFK的日志场景实践
https://blog.dream11engineerin ... 13cd5
3、Kibana 部署视频详解(梯子)
https://www.youtube.com/watch?v=kqCd2mVQE54
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、Elasticsearch 和 Kafka 强强联合、无缝衔接
https://www.elastic.co/cn/blog ... ience
2、基于EFK的日志场景实践
https://blog.dream11engineerin ... 13cd5
3、Kibana 部署视频详解(梯子)
https://www.youtube.com/watch?v=kqCd2mVQE54
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1231期 (2021-04-08)

1. 如何使用 Elastic 可观测性来监测 NVIDIA GPU 指标
https://www.elastic.co/cn/blog ... ility
2.设置Elasticsearch集群(梯子)
https://medium.com/grafana-tut ... 16cb4
3.集中式日志 EFK — Helm (Elasticsearch, Fluentd, Kibana)(梯子)
https://rajprataprps.medium.co ... d79f2

编辑:寂寞的烟
归档:https://ela.st/cn-daily-all
订阅https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1. 如何使用 Elastic 可观测性来监测 NVIDIA GPU 指标
https://www.elastic.co/cn/blog ... ility
2.设置Elasticsearch集群(梯子)
https://medium.com/grafana-tut ... 16cb4
3.集中式日志 EFK — Helm (Elasticsearch, Fluentd, Kibana)(梯子)
https://rajprataprps.medium.co ... d79f2

编辑:寂寞的烟
归档:https://ela.st/cn-daily-all
订阅https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

Elasticsearch 实现模糊查询效果方式对比


下面是ES做传统意义上的模糊查询的两种方式,我们分析下优劣势
1:将字段设置为keyword类型,使用wildcard实现模糊查询,如果数据量较大,这种方式模糊查询效率是非常低的,所以实际案例中其实是不太实用的,除非你的数据量只有几十万,完全不用考虑效率问题,而且ES限制单个词条不能超过32766个字节,那么超过10000多字符的文章是不能被全部索引到的,那么模糊查询时就查不到没有索引到的关键词。

2:实用match_phrase查询,设置slop为0,配合单字分词实现模糊查询效果。
第二种方式最关键的是我们要实现单字符的分词,通常很多人认为标准分词器就是单字分词,事实上stander分词器只能对中文实现单字分词,对英文与数字是不能单字符分词的,而且本身就是忽略标点符号的,这样的话用match_phrase实现模糊查询其实就有误差了,例如 “中国最美,丽江盛景”,这个时候我们搜索“美丽”也一样能搜到,因为他本身忽略了标点符号,或者搜索数字或者字母时也一样没有办法跟传统的模糊查询保持一致。

所以经过测试,推荐使用ngram自定义配置实现单字分词效果,分析器配置入下
"analysis": {
"analyzer": {
"charSplit": {
"type": "custom",
"tokenizer": "my_ngram_tokenizer",
"filter": [
"lowercase"
],
"char_filter": [
"html_strip"
]
}
},
"tokenizer": {
"my_ngram_tokenizer": {
"type": "nGram",
"min_gram": "1",
"max_gram": "1",
"token_chars": [
"letter",
"digit",
"punctuation"
]
}
}
}
这样我们可以把所有的字符都单字分词,然后配合match_phrase就能实现一个真正意义上的模糊查询,这种搜索效率是比wildcard要高出很多。

上面两种方式都可以实现模糊查询的效果,第一种方式缺点就是效率太低,而且字段长度太大没有办法全部索引到。再看下第二种方式的问题

1.使用ngram单字分词会导致索引量增加(测试发现基本会翻倍甚至更多),相应的分片数与硬件配置要求需要增加。

2.使用单字符分词会使同义词查询失效,甚至影响相似性查询等操作,当然,一般来说要模糊查询也就不会考虑同义词查询了。

3.继承了传统模糊查询的问题,如搜索“8年抗战”相关内容,直接搜索关键词“8年”,会搜索到包含“2018年”的内容,这样显然不是你要的结果,但是模糊查询就是这样的效果。

4.field_data也是基于倒排索引实现功能,如有聚合或者排序等操作,也会使用单字符效果,如:某字段存储汉字“中国”,“美国”,但类型为text,这个时候如果要按照国家来聚合查询数据,单字段分词结果就会不准确,就是说聚合与排序也会用单字分词后的索引去做聚合与排序,结果自然也就有偏差了.

以上就是两种模糊查询的方式对比,实际环境里还是需要按照实际的需求与环境决定怎样选择,各位大神如果有更好的方式欢迎交流分享!

继续阅读 »

下面是ES做传统意义上的模糊查询的两种方式,我们分析下优劣势
1:将字段设置为keyword类型,使用wildcard实现模糊查询,如果数据量较大,这种方式模糊查询效率是非常低的,所以实际案例中其实是不太实用的,除非你的数据量只有几十万,完全不用考虑效率问题,而且ES限制单个词条不能超过32766个字节,那么超过10000多字符的文章是不能被全部索引到的,那么模糊查询时就查不到没有索引到的关键词。

2:实用match_phrase查询,设置slop为0,配合单字分词实现模糊查询效果。
第二种方式最关键的是我们要实现单字符的分词,通常很多人认为标准分词器就是单字分词,事实上stander分词器只能对中文实现单字分词,对英文与数字是不能单字符分词的,而且本身就是忽略标点符号的,这样的话用match_phrase实现模糊查询其实就有误差了,例如 “中国最美,丽江盛景”,这个时候我们搜索“美丽”也一样能搜到,因为他本身忽略了标点符号,或者搜索数字或者字母时也一样没有办法跟传统的模糊查询保持一致。

所以经过测试,推荐使用ngram自定义配置实现单字分词效果,分析器配置入下
"analysis": {
"analyzer": {
"charSplit": {
"type": "custom",
"tokenizer": "my_ngram_tokenizer",
"filter": [
"lowercase"
],
"char_filter": [
"html_strip"
]
}
},
"tokenizer": {
"my_ngram_tokenizer": {
"type": "nGram",
"min_gram": "1",
"max_gram": "1",
"token_chars": [
"letter",
"digit",
"punctuation"
]
}
}
}
这样我们可以把所有的字符都单字分词,然后配合match_phrase就能实现一个真正意义上的模糊查询,这种搜索效率是比wildcard要高出很多。

上面两种方式都可以实现模糊查询的效果,第一种方式缺点就是效率太低,而且字段长度太大没有办法全部索引到。再看下第二种方式的问题

1.使用ngram单字分词会导致索引量增加(测试发现基本会翻倍甚至更多),相应的分片数与硬件配置要求需要增加。

2.使用单字符分词会使同义词查询失效,甚至影响相似性查询等操作,当然,一般来说要模糊查询也就不会考虑同义词查询了。

3.继承了传统模糊查询的问题,如搜索“8年抗战”相关内容,直接搜索关键词“8年”,会搜索到包含“2018年”的内容,这样显然不是你要的结果,但是模糊查询就是这样的效果。

4.field_data也是基于倒排索引实现功能,如有聚合或者排序等操作,也会使用单字符效果,如:某字段存储汉字“中国”,“美国”,但类型为text,这个时候如果要按照国家来聚合查询数据,单字段分词结果就会不准确,就是说聚合与排序也会用单字分词后的索引去做聚合与排序,结果自然也就有偏差了.

以上就是两种模糊查询的方式对比,实际环境里还是需要按照实际的需求与环境决定怎样选择,各位大神如果有更好的方式欢迎交流分享!

收起阅读 »

社区日报 第1229期 (2021-04-01)

1.Lucene高性能索引之道
https://mp.weixin.qq.com/s/_k-toltGmSBIl8zPq93jPQ
2.Flink 实时写入数据到 ElasticSearch 性能调优
https://mp.weixin.qq.com/s/bJ85tTSIHSpUIk-jPo0wxw
3.使用Beats创建ES template及Dashboard
https://elasticstack.blog.csdn ... 41977

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Lucene高性能索引之道
https://mp.weixin.qq.com/s/_k-toltGmSBIl8zPq93jPQ
2.Flink 实时写入数据到 ElasticSearch 性能调优
https://mp.weixin.qq.com/s/bJ85tTSIHSpUIk-jPo0wxw
3.使用Beats创建ES template及Dashboard
https://elasticstack.blog.csdn ... 41977

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1228期 (2021-03-29)

1.elk 性能优化实践。
http://t.cn/A6cz6pfL


2.elasticsearch 索引 对比 mysql 索引
http://t.cn/A6cz6jTn


3.Elasticsearch线程池概览
https://opster.com/elasticsear ... pool/


编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

 
继续阅读 »
1.elk 性能优化实践。
http://t.cn/A6cz6pfL


2.elasticsearch 索引 对比 mysql 索引
http://t.cn/A6cz6jTn


3.Elasticsearch线程池概览
https://opster.com/elasticsear ... pool/


编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

  收起阅读 »

社区日报 第1226期 (2021-3-28)

1.我们如何阻止内存密集型查询使ElasticSearch崩溃 
https://plaid.com/blog/how-we- ... arch/ 
2.每秒在Elasticsearch中存储5000万个事件。 
https://datadome.co/bot-detect ... arch/ 
3.为什么英语实际上相对容易学习(但很难完全掌握)。 
http://christopherwink.com/201 ... ngue/

编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.我们如何阻止内存密集型查询使ElasticSearch崩溃 
https://plaid.com/blog/how-we- ... arch/ 
2.每秒在Elasticsearch中存储5000万个事件。 
https://datadome.co/bot-detect ... arch/ 
3.为什么英语实际上相对容易学习(但很难完全掌握)。 
http://christopherwink.com/201 ... ngue/

编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1224期 (2021-03-26)

1、开源与云Elasticsearch应用剖析
https://developer.aliyun.com/article/783026
2、Elasticsearch集群部署和备份指南
https://www.twilio.com/blog/se ... ackup
3、Elasticsearch Neo4j 图谱实践指南
https://dzone.com/articles/kno ... -neo4
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、开源与云Elasticsearch应用剖析
https://developer.aliyun.com/article/783026
2、Elasticsearch集群部署和备份指南
https://www.twilio.com/blog/se ... ackup
3、Elasticsearch Neo4j 图谱实践指南
https://dzone.com/articles/kno ... -neo4
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1223期 (2021-03-25)

1.从MongoDB到ElasticSearch同步数据的5种不同方式(梯子)
https://code.likeagirl.io/5-di ... 3d44f
2.Elasticsearch作为图数据库(梯子)
https://medium.com/%40imriqwe/ ... f7622
3.Elastic 7.12 版重磅发布:读时模式、冻结层技术预览版和自动扩展功能正式发布
https://mp.weixin.qq.com/s/5JL4WMs07VV6UkXw1WBYhw

编辑:寂寞的烟
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.从MongoDB到ElasticSearch同步数据的5种不同方式(梯子)
https://code.likeagirl.io/5-di ... 3d44f
2.Elasticsearch作为图数据库(梯子)
https://medium.com/%40imriqwe/ ... f7622
3.Elastic 7.12 版重磅发布:读时模式、冻结层技术预览版和自动扩展功能正式发布
https://mp.weixin.qq.com/s/5JL4WMs07VV6UkXw1WBYhw

编辑:寂寞的烟
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

Elastic 7.12 版重磅发布:读时模式、冻结层技术预览版和自动扩展功能正式发布

我们非常高兴地宣布 Elastic 7.12 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。在这个版本中,客户能够通过读时模式,在无与伦比的灵活性和速度之间进行权衡选择,可使用新的冻结层实现对象存储的完全可搜索,从而获取新的价值,还能在 Elastic Cloud 上自动扩展部署。

Elastic 企业搜索得益于大量架构的增强功能,这些增强可减少部署规模、加快导入索引的速度并提供更相关的结果。Elastic 可观测性中新增了关联性功能,有助于识别导致应用程序性能问题和错误的主要原因。面向分析师的关联性功能简化了 Elastic 安全中的安全运维工作流程。

Elastic 7.12 版现已在 Elastic Cloud 上正式推出,这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes)进行自管型部署。

请继续阅读,探索这一版本的关键亮点。如需了解全面的功能介绍,请详阅各篇介绍解决方案和产品的博文。

Elastic Stack 和 Elastic Cloud
我们现已正式推出解决方案,让分析师通过读时模式灵活探究数据的这一设想得以实现。

Elasticsearch 因其速度超快的分布式搜索和分析引擎而闻名,这部分要归功于 Elasticsearch 默认的写时模式 (schema on write)。虽然这种有序的数据结构需要规划并测试如何在 Elasticsearch 中表示数据,但可以在速度上得到巨大的回报。

当您需要采集新数据或采用快速周转的新用例时,会发生什么?如果您可以选择使用读时模式在查询时创建动态模式,那又会怎样?除了使用写时模式外,现在提供的运行时字段还可让您灵活地定义读时模式(schema on read)。这个功能通过牺牲一些搜索性能,极大缩短了实现数据价值的时间。随着 7.12 版的发布,运行时字段现在可以在 Kibana Discover 中进行搜索,这使得分析师能够通过 Elasticsearch 中的读时模式灵活地探索结构化数据。

我们对读时模式的实施非常特别。使用 Elasticsearch 运行时字段,您不必在写时模式的速度和规模或读时模式的灵活性之间艰难取舍。您可以同时在同一 Elastic Stack 和相同的数据上使用这两种模式,鱼和熊掌兼得。既能探索新的数据并动态定义新的字段,同时仍可在已知数据中搜索字段。可以轻松地在新创建的字段(在运行时字段中定义)和写时模式之间切换,以获得最佳速度和性能。无论您采用哪种方法,Elasticsearch 都能让您在速度和规模上享有无可比拟的灵活性。

利用新的冻结层,可使 S3 这样的对象存储完全可搜索,从而获取新的价值;这一功能目前以技术预览版提供,不久 Elastic Cloud 将提供此功能的简化版本。

借助这一新冻结层(目前为技术预览版),您可以将计算与存储分离,并添加直接在对象存储(如 Amazon S3、Google Cloud Storage 和 Microsoft Azure Storage)上进行搜索的功能。这项功能允许您在性能上做出权衡,实现以很小的成本搜索数据,同时减少搜索所需的专用资源量。通过仅从对象存储中提取完成查询所需的数据,并根据需要在本地缓存这些数据,冻结层既可提供最佳的搜索体验,同时又能够存储无限量的数据。我们还将持续提升在 Elastic Cloud 中配置冻结层的用户体验,不日推出,敬请期待。

通过使用可搜索快照,您可在控制成本的同时,高效地搜索所有应用程序内容和工作场所历史记录。存储更多分析数据用于营销分析,或测试和发布有版本号的应用程序目录,作为新的部署策略。在可观测性方面,您不再需要纠结于要删除哪些日志、指标或 APM 数据来节省开支。试想一下,您可以逐年搜索应用程序性能,而无需从备份中解冻数据。想象一下,威胁猎人和安全分析师将能够通过可搜索快照,轻松访问多年的大容量安全数据源,做到明察秋毫。以更大的规模收集更多与安全相关的数据 — IDS、Netflow、DNS、PCAP 或终端数据,并让您能够更长久地访问这些数据。

有了“将搜索保存到后台”这项新功能,长时间运行的查询可以自己完成,让您心无旁骛地继续分析数据。

像大海捞针一样在海量数据中搜索是 Elastic 技术的核心追求。即使那些结果存在于跨越多个集群且采用冻结索引的数据中,Elastic Stack 也不会停止为您梳理文档,直到作业完成。但不会仅仅因为它走得更远就意味着您必须停止正在做的事情。现在有了 7.12 版,您可以在 Discover 或 Kibana 仪表板上将长时间运行的搜索会话发送到后台运行,然后专心去安排自己的工作就好了。使用新的搜索会话管理界面,您可以随时查看结果,无论是 5 分钟、5 小时,甚或是 5 天之后。让 Elastic Stack 进行多任务处理,这样您就可以集中精力完成任务。
 
https://elasticstack.blog.csdn ... 96136
继续阅读 »
我们非常高兴地宣布 Elastic 7.12 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。在这个版本中,客户能够通过读时模式,在无与伦比的灵活性和速度之间进行权衡选择,可使用新的冻结层实现对象存储的完全可搜索,从而获取新的价值,还能在 Elastic Cloud 上自动扩展部署。

Elastic 企业搜索得益于大量架构的增强功能,这些增强可减少部署规模、加快导入索引的速度并提供更相关的结果。Elastic 可观测性中新增了关联性功能,有助于识别导致应用程序性能问题和错误的主要原因。面向分析师的关联性功能简化了 Elastic 安全中的安全运维工作流程。

Elastic 7.12 版现已在 Elastic Cloud 上正式推出,这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes)进行自管型部署。

请继续阅读,探索这一版本的关键亮点。如需了解全面的功能介绍,请详阅各篇介绍解决方案和产品的博文。

Elastic Stack 和 Elastic Cloud
我们现已正式推出解决方案,让分析师通过读时模式灵活探究数据的这一设想得以实现。

Elasticsearch 因其速度超快的分布式搜索和分析引擎而闻名,这部分要归功于 Elasticsearch 默认的写时模式 (schema on write)。虽然这种有序的数据结构需要规划并测试如何在 Elasticsearch 中表示数据,但可以在速度上得到巨大的回报。

当您需要采集新数据或采用快速周转的新用例时,会发生什么?如果您可以选择使用读时模式在查询时创建动态模式,那又会怎样?除了使用写时模式外,现在提供的运行时字段还可让您灵活地定义读时模式(schema on read)。这个功能通过牺牲一些搜索性能,极大缩短了实现数据价值的时间。随着 7.12 版的发布,运行时字段现在可以在 Kibana Discover 中进行搜索,这使得分析师能够通过 Elasticsearch 中的读时模式灵活地探索结构化数据。

我们对读时模式的实施非常特别。使用 Elasticsearch 运行时字段,您不必在写时模式的速度和规模或读时模式的灵活性之间艰难取舍。您可以同时在同一 Elastic Stack 和相同的数据上使用这两种模式,鱼和熊掌兼得。既能探索新的数据并动态定义新的字段,同时仍可在已知数据中搜索字段。可以轻松地在新创建的字段(在运行时字段中定义)和写时模式之间切换,以获得最佳速度和性能。无论您采用哪种方法,Elasticsearch 都能让您在速度和规模上享有无可比拟的灵活性。

利用新的冻结层,可使 S3 这样的对象存储完全可搜索,从而获取新的价值;这一功能目前以技术预览版提供,不久 Elastic Cloud 将提供此功能的简化版本。

借助这一新冻结层(目前为技术预览版),您可以将计算与存储分离,并添加直接在对象存储(如 Amazon S3、Google Cloud Storage 和 Microsoft Azure Storage)上进行搜索的功能。这项功能允许您在性能上做出权衡,实现以很小的成本搜索数据,同时减少搜索所需的专用资源量。通过仅从对象存储中提取完成查询所需的数据,并根据需要在本地缓存这些数据,冻结层既可提供最佳的搜索体验,同时又能够存储无限量的数据。我们还将持续提升在 Elastic Cloud 中配置冻结层的用户体验,不日推出,敬请期待。

通过使用可搜索快照,您可在控制成本的同时,高效地搜索所有应用程序内容和工作场所历史记录。存储更多分析数据用于营销分析,或测试和发布有版本号的应用程序目录,作为新的部署策略。在可观测性方面,您不再需要纠结于要删除哪些日志、指标或 APM 数据来节省开支。试想一下,您可以逐年搜索应用程序性能,而无需从备份中解冻数据。想象一下,威胁猎人和安全分析师将能够通过可搜索快照,轻松访问多年的大容量安全数据源,做到明察秋毫。以更大的规模收集更多与安全相关的数据 — IDS、Netflow、DNS、PCAP 或终端数据,并让您能够更长久地访问这些数据。

有了“将搜索保存到后台”这项新功能,长时间运行的查询可以自己完成,让您心无旁骛地继续分析数据。

像大海捞针一样在海量数据中搜索是 Elastic 技术的核心追求。即使那些结果存在于跨越多个集群且采用冻结索引的数据中,Elastic Stack 也不会停止为您梳理文档,直到作业完成。但不会仅仅因为它走得更远就意味着您必须停止正在做的事情。现在有了 7.12 版,您可以在 Discover 或 Kibana 仪表板上将长时间运行的搜索会话发送到后台运行,然后专心去安排自己的工作就好了。使用新的搜索会话管理界面,您可以随时查看结果,无论是 5 分钟、5 小时,甚或是 5 天之后。让 Elastic Stack 进行多任务处理,这样您就可以集中精力完成任务。
 
https://elasticstack.blog.csdn ... 96136 收起阅读 »