职位描述：
1、熟悉阿里大数据平台，在理解客户业务场景基础上，为互联网、金融、政府等行业头部客户定制相应的大数据解决方案。
2、在产出方案的过程中，一方面能合理引导客户需求，使得方案能对客户带来价值实现。
3、另一方面，在理解合作伙伴及客户的业务需求时，对内部研发团队整理产出大数据产品需求，提升产品体验。
4、能沉淀best practice的案例，赋能下游团队，案例能具备从行业标杆到全面可推广的能力。
5、负责售前阶段的技术交流，方案设计，概念验证等，以及负责客户上云项目的支持。
6、具备优秀演讲和文档编写能力，能独立编写与讲解方案，并主导在线Demo和线下POC。

职位要求：
1.熟悉Elasticsearch、HDFS、KafKa、Flink等开源系统中的至少一种，了解分布式存储系统原理，有相关设计经验尤佳；
2.熟悉开发语言：Java或Python，有大数据工具、应用等开发经验者优先；
3.精通Linux系统，具备系统级问题troubleshooting 和 performance tuning能力者优先；
4.具备强烈的进取心、求知欲及团队合作精神，具有良好的沟通能力，具有良好的问题分析和解决能力。

工作地点：北京、杭州
待遇：30~60K/月+年终奖+股票
简历请投递：chucai.oycc@alibaba-inc.com 收起阅读 »

在许多的情况下，我们使用现有的分词器已经足够满足我们许多的业务需求，但是也有许多的情况，我们需要定制一个特定的分词器来满足我们特定的需求。我们知道要实现全文搜索，在文档被导入到 Elasticsearch 后，每个字段都需要被分析。这里就涉及到分词。如果你对分词器还不是很了解的话，那么请参考我之前的文章 “Elasticsearch: analyzer”。

一旦文档被导入到 Elasticsearch 之后，我们就可以对其中的字段进行搜索了。通常它会依据默认的 BM25 算法对每个文档的相关性进行打分。关于每个文档的分数是如何得到的，我们可以参照文档 “Elasticsearch：分布式计分” 来了解更多。这个打分会影响搜索返回结果的先后顺序。打分最高的文档排在返回结果的最前面，紧接着是排名第二的分数，依次类推。默认的 BM25 打分规则虽然能满足我们绝大多数的需求，但是在实际的使用中，有时不能完全满足我们的需求，比如我希望一首排名靠前的歌曲的会影响最终的得分，离我们位置最近的新闻排在前面，最近发生的新闻优先排在许多年前的新闻之前。针对这些特殊的需求，我们需要定制分数的算法。

在今天的展示中，我将展示如何实现一个定制的分词器 （custom analyzer）及定制相关性。
Elasticsearch：定制分词器（analyzer）及相关性
原文链接：https://elasticstack.blog.csdn ... 78163 收起阅读 »

Elasticsearch 是一个应用非常广泛的搜索引擎。在实际的使用中，我们会发现有一些文字中包含一些 emoji 表情符号，比如笑脸 😀，动物 🐅 等等，那么我们该如何对这些表情符号来进行搜索呢？ 请详细阅读 “如何实现对 emoji 表情符号进行搜索” https://elasticstack.blog.csdn ... 61636 收起阅读 »

1.结合使用Grok和Elasticsearch结构化数据。 
https://alexmarquardt.com/usin ... data/ 
2.Dnsbeat –用于监视DNS的Elasticsearch Beat。 
https://github.com/0xThiebaut/dnsbeat 
3.在森林里的面包车上全职工作。 
https://ghuntley.com/a-new-chapter/

编辑：至尊宝 
归档：https://ela.st/cn-daily-all 
订阅：https://ela.st/cn-daily-sub 
沙龙：https://ela.st/cn-meetup 收起阅读 »

1.Elasticsearch搜索引擎优化指南之分词优化。
https://blog.csdn.net/qq_15973 ... 33060

2.使用ElasticSearch进行2019nCoV的可视化。
https://github.com/CarryChang/2019-nCoV-Vis

3.Elasticsearch 不同版本性能测试。
https://www.nosuchfield.com/20 ... ions/

编辑：cyberdak
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup 收起阅读 »

Elasticsearch 是一个应用非常广泛的搜索引擎。它可以对文字进行分词，从而实现全文搜索。在实际的使用中，我们会发现有一些文字中包含一些表情符号，比如笑脸，动物等等，那么我们该如何对这些表情符号来进行搜索呢？

🏻 => 🏻, light skin tone, skin tone, type 1–2
🏼 => 🏼, medium-light skin tone, skin tone, type 3
🏽 => 🏽, medium skin tone, skin tone, type 4
🏾 => 🏾, medium-dark skin tone, skin tone, type 5
🏿 => 🏿, dark skin tone, skin tone, type 6
♪ => ♪, eighth, music, note
♭ => ♭, bemolle, flat, music, note
♯ => ♯, dièse, diesis, music, note, sharp
😀 => 😀, face, grin, grinning face
😃 => 😃, face, grinning face with big eyes, mouth, open, smile
😄 => 😄, eye, face, grinning face with smiling eyes, mouth, open, smile
😁 => 😁, beaming face with smiling eyes, eye, face, grin, smile
😆 => 😆, face, grinning squinting face, laugh, mouth, satisfied, smile
😅 => 😅, cold, face, grinning face with sweat, open, smile, sweat
🤣 => 🤣, face, floor, laugh, rofl, rolling, rolling on the floor laughing, rotfl
😂 => 😂, face, face with tears of joy, joy, laugh, tear
🙂 => 🙂, face, slightly smiling face, smile
🙃 => 🙃, face, upside-down
😉 => 😉, face, wink, winking face
 
🐅 => 🐅, tiger
🐆 => 🐆, leopard
🐴 => 🐴, face, horse
🐎 => 🐎, equestrian, horse, racehorse, racing
🦄 => 🦄, face, unicorn
🦓 => 🦓, stripe, zebra
🦌 => 🦌, deer
在上面，我们可以看到各种各样的 emoji 符号。比如我们想搜索 grin，那么它就把含有 😀 emoji 符号的文档也找出来。在今天的文章中，我们来展示如何实现对 emoji 符号的进行搜索。
————————————————
版权声明：本文为CSDN博主「Elastic 中国社区官方博客」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/UbuntuTo ... 61636
 
  收起阅读 »

1.ES对数组中元素个数进行聚合

https://stackoverflow.com/questions/49250267/how-to-get-array-count-of-nested-object-in-elastic-search

2.Kibana查询超时处理方法

https://stackoverflow.com/questions/51950640/elasticsearch-gateway-timeout-504

3.Elasticsearch和Clickhouse基本查询对比

https://my.oschina.net/taogang/blog/4965018

• 编辑：bsll

• 归档：https://ela.st/cn-daily-all

• 订阅：https://ela.st/cn-daily-sub

• 沙龙：https://ela.st/cn-meetup

收起阅读 »

1.为什么 ElasticSearch 比 MySQL 更适合复杂条件搜索。
https://z.itpub.net/article/de ... FB51C
2.保障你的elasticsearch安全。
https://dzone.com/articles/the ... urity
3.Elasticsearch和GrayLog详细对比。
https://stackshare.io/stackups ... aylog

编辑：叮咚光军
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup

收起阅读 »

1. Enterprise：推出 Elastic App Search Web 爬虫器
https://elasticstack.blog.csdn ... 45211
2. 留意Elasticsearch 7.x 可能无法选主的问题
https://mp.weixin.qq.com/s/dW3iBeoAgIsm4njjIWHZzA
3.使用Elastic Observability构建Istio监控
https://www.elastic.co/blog/is ... ility

编辑：wt
归档：https://ela.st/cn-daily-all 
订阅：https://ela.st/cn-daily-sub 
沙龙：https://ela.st/cn-meetup
收起阅读 »

让内容搜索可通过多种形式实现。Elastic App Search 已经允许用户通过上传或粘贴 JSON 以及通过 API 终端来采集内容。使用 Elastic 企业搜索 7.11，用户现在可以通过功能强大的网络爬虫来采集内容，该爬虫能够从可公开访问的网站中检索信息，从而可以轻松地在你的 App Search 引擎中搜索内容。与 App Search 上的任何采集方法一样，这种模式是在采集时推断出来的，只需单击一下即可进行近乎实时地更新。通过单击（无需写代码），用户就可以定制网络爬虫规则，以便在排除规则指示网络爬虫避免某些页面、内容和术语的同时指定入口点。
 
https://elasticstack.blog.csdn ... 49006 收起阅读 »

我们非常高兴地宣布 Elastic 7.11 版正式发布。这一新版本为基于 Elastic Stack（包括 Elasticsearch 和 Kibana）构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。通过这一版本，您可以使用可搜索快照功能正式版和读时模式公测版，在成本、性能、见解和灵活性方面实现优化。

Elastic 企业搜索中公测版的新网络爬虫一经推出，从可公开访问的网站搜索内容就此变得轻而易举。Elastic 可观测性新增了服务运行状况和主机详情视图，能够提供更强大的根本原因分析、故障排除和应用程序可观测性。Elastic 安全中新增了预构建检测规则和 Machine Learning 作业以及可定制的告警通知，使得检测和修复流程都得到了提升，并且统一的分析人员工作区也极大简化了安全运维 (SecOps) 流程。 

同时，我们还宣布了对 Elastic Cloud 的多项关键改进，Elastic Cloud 是非常优秀的 Elastic 托管服务，也是唯一一项包含我们解决方案的服务。Elastic Cloud 为可搜索快照、自动缩放数据和 Machine Learning 节点提供了丰富的支持，并通过增强的跨集群复制 (CCR) 和跨集群搜索 (CCS) 提高了可用性，增强了搜索性能。Elastic 7.11 现已在 Elastic Cloud 正式推出，这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品（Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes）进行自管型部署。
 
详细阅读，请参阅文章链接 https://elasticstack.blog.csdn ... 43925 收起阅读 »

从历史上看，Elasticsearch 依靠 schema on write 的架构来快速搜索数据。现在，我们向 Elasticsearch 添加了 schema on read 架构，以便用户可以灵活地在摄取后更改文档的 schema，还可以生成仅作为搜索查询一部分存在的字段。schema on read 和 schema on write 一起为用户提供了选择，可以根据他们的需求来平衡性能和灵活性。

我们的 schema on read 解决方案是 runtime fields，它们仅在查询时进行评估。它们在索引映射或查询中定义，一旦定义，它们立即可用于搜索请求，聚合，过滤和排序。由于未对 runtime fields 进行索引，因此添加运行时字段不会增加索引的大小。实际上，它们可以降低存储成本并提高摄取速度。

但是，需要权衡取舍。对运行时字段的查询可能会很昂贵，因此你通常搜索或筛选所依据的数据仍应映射到索引字段。即使你的索引大小较小，runtime fields 也会降低搜索速度。我们建议结合使用 runtime fields 和索引字段，以在用例的摄取速度，索引大小，灵活性和搜索性能之间找到合适的平衡。
 
https://elasticstack.blog.csdn ... 13915 收起阅读 »

运行时字段（runtime fields）是在查询时评估的字段。 运行时字段使你能够：

将字段添加到现有文档中，而无需重新索引数据
在不了解数据结构的情况下开始使用数据
覆盖查询时从索引字段返回的值
为特定用途定义字段，而无需修改基础架构

你可以像其他任何字段一样从搜索 API 访问运行时字段，Elasticsearch 看到的运行时字段没有任何不同。 你可以在 index mapping 或 search request 中定义 runtime fields。 这个完全由你来进行选择，这是运行时字段固有的灵活性的一部分。

当使用日志数据时，运行时字段很有用（请参见示例），尤其是在不确定数据结构时。 你的搜索速度会降低，但是索引的大小要小得多，你可以更快地处理日志而不必对它们进行索引。
详细阅读，请参阅 https://elasticstack.blog.csdn ... 95062 收起阅读 »

索引模板（Index template）是一种告诉 Elasticsearch 在创建索引时如何配置索引的方法。自 Elastic Stack 7.8 之后，模板有两种类型：索引模板和组件模板。组件模板是可重用的构建块，用于配置映射，设置和别名。 你使用组件模板来构造索引模板，但它们不会直接应用于一组索引。 索引模板可以包含组件模板的集合，也可以直接指定设置，映射和别名。详细阅读，请参阅链接 https://elasticstack.blog.csdn ... 51797 收起阅读 »

新年、新开始、新起点、定有新的收获，祝社区朋友们事事如意，岁岁平安，精神愉快，春节快乐。
 1.PB级Elasticsearch集群中的最佳Shard放置 
https://underthehood.meltwater ... ster/ 
2.在超级计算机上运行Elasticsearch。 
https://www.objectrocket.com/b ... know/ 
3.SSH tunnels指南。 
https://robotmoon.com/ssh-tunnels/

编辑：至尊宝
归档：https://ela.st/cn-daily-all 
订阅：https://ela.st/cn-daily-sub 
沙龙：https://ela.st/cn-meetup 收起阅读 »