elastic

elastic

logstash同步父子关系到ElasticSearch报错,求教

Logstashlaoyang360 回复了问题 • 2 人关注 • 1 个回复 • 82 次浏览 • 2018-12-01 21:48 • 来自相关话题

参加 2018 Elastic 中国开发者大会是一个什么样的体验?

灌水区medcl 回复了问题 • 8 人关注 • 7 个回复 • 489 次浏览 • 2018-11-25 11:17 • 来自相关话题

如何请求es使得文档存在就更新,否则不处理

Elasticsearchchenhongjie 回复了问题 • 4 人关注 • 3 个回复 • 129 次浏览 • 2018-11-14 09:32 • 来自相关话题

elasticsearch怎么修改这个字段dynamic属性

Elasticsearchzqc0512 回复了问题 • 2 人关注 • 4 个回复 • 135 次浏览 • 2018-11-05 09:57 • 来自相关话题

x-pack监控中的Indexing Rate (/s)速度比实际日志数小很多

Elasticsearchzqc0512 回复了问题 • 2 人关注 • 1 个回复 • 197 次浏览 • 2018-09-29 08:54 • 来自相关话题

elasticSearch使用聚合查询不生效

ElasticsearchelasticStack 回复了问题 • 4 人关注 • 2 个回复 • 206 次浏览 • 2018-09-21 16:19 • 来自相关话题

elasticsearch head search 时区问题

Elasticsearchkindy 回复了问题 • 2 人关注 • 2 个回复 • 129 次浏览 • 2018-09-14 14:13 • 来自相关话题

分组聚合后,怎么给TopHits中的列表数据排序

Elasticsearchwssmao 回复了问题 • 3 人关注 • 4 个回复 • 442 次浏览 • 2018-09-08 15:38 • 来自相关话题

[招聘] Community Advocate - China

求职招聘medcl 发表了文章 • 0 个评论 • 490 次浏览 • 2018-09-03 16:00 • 来自相关话题

Snip20180903_14.png
Elasticsearch 的排名又升了,要不要加入这么一家蒸蒸日上的全球领先的开源软件公司?

职位链接及描述如下: https://boards.greenhouse.io/elastic/jobs/1272161

At Elastic, we have a simple goal: to solve the world's data problems with products that delight and inspire. As the company behind the popular open source projects — Elasticsearch, Kibana, Logstash, and Beats — we help people around the world do great things with their data. From stock quotes to Twitter streams, Apache logs to WordPress blogs, our products are extending what's possible with data, delivering on the promise that good things come from connecting the dots. The Elastic family unites employees across 32 countries into one coherent team, while the broader community spans across over 100 countries.

For all of us at Elastic, community matters. Our users and contributors have helped to ensure that Elasticsearch, Kibana, Logstash, and Beats are more than just code — they are open source projects that people love to use, and love to talk about! As our Community Advocate you will champion our Elastic community.

What You Will Be Doing:

Are you that kind of person who is invigorated by sharing juicy technology goodness with the world? Do you feel at home connecting with the community members: in person, on blogs, in forums, via social channels, and at events? Is presenting at local meetups your jam and are you passionate about the Elastic Stack?

Well, this might just be your dream job.

As a Community Advocate at Elastic, you will be based in China. You will wake up each morning eager to design and deliver presentations at a wide-variety of events from customer meetings, meetups, tradeshows, and other events to help showcase technology. You will do this while traveling the region and, at times, the world, representing Elastic. Maintaining the trust of our community, as well as the respect and trust within the team, is foundational.

What You Bring Along:

  • Bachelor’s degree in a technical field (e.g. CS, CSE, EE) or relevant work experience as a software developer (mandatory)
  • Demonstrated ability to craft compelling content - including speaking engagements, blog posts, demos, messaging, etc. (mandatory)
  • You are comfortable presenting, whether it's at a local meetup or to the office of a C-suite member
  • Familiarity with, and real passion for, the Elastic Stack
  • Comfort working with a globally distributed team
  • Fluency or high working proficiency in Mandarin (mandatory)
  • Excellent spoken and written English communication skills, since this is our company's language (mandatory)

Please send us your CV in English. Things We'd Be Stoked to See on Your CV:

  • Conversations in person, on blogs, in forums, via social channels, at events give you energy and you have a proven publication history to show that
  • Experience working for a startup or an early stage company
  • Experience with open source software and/or commercial open source companies
  • Technical background and abilities in APM, PHP, node.js, JS, and/or security (nice-to-have, not mandatory)
  • Other languages

Additional Information:

  • Competitive pay based on the work you do here and not your previous salary
  • Stock options
  • Global minimum of 16 weeks of paid parental leave (moms and dads)
  • Generous vacation time and one week of volunteer time off
  • An environment in which you can balance great work with a great life
  • Your age is only a number. It doesn't matter if you're just out of college or your children are; we need you for what you can do.
  • Distributed-first company with Elasticians in over 30 countries, spread across 18 time zones, and speaking over 30 languages!

LI-KE1

Target locations: Beijing, China; Shanghai, China; Hangzhou, China

Elastic is an Equal Employment employer committed to the principles of equal employment opportunity and affirmative action for all applicants and employees. Qualified applicants will receive consideration for employment without regard to race, color, religion, sex, sexual orientation, gender perception or identity, national origin, age, marital status, protected veteran status, or disability status or any other basis protected by federal, state or local law, ordinance or regulation. Elastic also makes reasonable accommodations for disabled employees consistent with applicable law.

path.data 配置了多个路径后 es的存储和获取机制是什么

Elasticsearchrojay 回复了问题 • 5 人关注 • 4 个回复 • 4634 次浏览 • 2018-08-29 09:14 • 来自相关话题

elasticsearch 6.3.2版本的使用许可证也是不能用机器学习功能是吗

Elasticsearchzqc0512 回复了问题 • 2 人关注 • 1 个回复 • 253 次浏览 • 2018-08-27 15:59 • 来自相关话题

9月8日 Elastic Meetup 北京线下沙龙报名中

活动medcl 发表了文章 • 15 个评论 • 2225 次浏览 • 2018-08-16 17:57 • 来自相关话题

meetup-beijing.png
 时间:9月8日 地点:北京市海淀区上地西路6号,联想研究院圆楼三层报告厅 活动页面:https://meetup.elasticsearch.cn/2018/beijing.html  议题:征集中,等你来投稿
  • 58到家搜索服务化实践和演进  -- 邢天宇/五八到家
  • Elasticsearch在百度aladdin日志系统的应用  -- 王鹏/百度
  • elasticsearch 在58集团信息安全部的应用 -- 亢伟楠/五八集体
  • Waterdrop:构建在Spark之上的简单高效数据处理系统  -- 霍晨/新浪网
  • 基于 ElasticSearch 构建个性化推荐和高级搜索  -- 周金阳/果壳网/在行
  报名地址:http://elasticsearch.mikecrm.com/fUqiv0T  演讲主题介绍   #1 基于 ElasticSearch 构建个性化推荐和高级搜索 [周金阳]周金阳果壳网/在行 算法工程师 使用 ES 来构建一个简易却行之有效的个性化推荐系统,以及一些高级搜索排序的实践。 搜索排序主要是分享一些机器学习工具与 ES 配合的实践心得。   #2 elasticsearch 在58集团信息安全部的应用 [亢伟楠]亢伟楠58集团 资深开发工程师 全面介绍 ELK Stack 在58集团信息安全部的落地,升级,优化以及应用。 包括如下等方面:接入背景,存储选型,性能挑战,master node以及data node优化,安全实践,高吞吐量以及低延迟搜索优化;kibana 的落地,本地化使其更方便产品、运营使用。   #3 58到家搜索服务化实践和演进 [邢天宇]邢天宇北京五八到家信息技术有限公司 java工程师 介绍58到家搜索服务体系的构建和普及,elasticsearch在到家中的各种应用以及优化等等。   #4 Waterdrop:构建在Spark之上的简单高效数据处理系统 [霍晨]霍晨新浪网,大数据研发工程师 大数据时代,随着Spark等工具的出现,数据处理能力在逐渐提升。 但是Spark本身的开发和运维具有一定的成本,为此我们开源了Waterdrop,通过配置文件的形式配置Spark任务,企图降低Spark的使用门槛,减小开发和运维成本 - 什么是waterdrop - Waterdrop架构介绍 - Waterdrop VS Spark - Waterdrop VS Logstash - Waterdrop的优势 - Waterdrop使用场景 - Roadmap   #5 elasticsearch在百度aladdin日志系统的应用 [王鹏]王鹏百度,研发工程师 背景:aladdin建库问题相关的case追查,日志统计分析,问题需要解决。 方案:使用ES(es版本: 6.0.0)做存储和检索系统,日志以json格式,抽取重要字段建索引,每天一个index,index名字包含时间后缀,保存三天内的数据;建库10个模块,每天有100亿条记录,20T左右数据;使用20个容器做集群。 效果:毫秒级返回查询结果,利用kibana实时分析建库情况,同时能方便按需提供数据给业务方。   报名地址:http://elasticsearch.mikecrm.com/fUqiv0T      Elastic 中国开发者大会 2018,阵容强大,正在火热售票中 🔥 https://conf.elasticsearch.cn/2018/shenzhen.html

节点下线能控制并发数吗?

Elasticsearchzqc0512 回复了问题 • 2 人关注 • 1 个回复 • 222 次浏览 • 2018-08-15 16:14 • 来自相关话题

哪位朋友在go语言用olivere/elastic包集成过ES呀

Elasticsearchggg 回复了问题 • 3 人关注 • 2 个回复 • 657 次浏览 • 2018-08-03 14:31 • 来自相关话题

threadpool.bulk.queue_size”这个参数可以的通过API更新吗?

Elasticsearchyayg2008 回复了问题 • 3 人关注 • 2 个回复 • 532 次浏览 • 2018-07-25 19:20 • 来自相关话题

条新动态, 点击查看
白衬衣

白衬衣 回答了问题 • 2017-09-06 14:58 • 7 个回复 不感兴趣

elasticsearch打分优化

赞同来自:

我猜测你想要的是降低词频评分的权重,可以在索引的mapping中禁用词频评分,"index_options": "docs"
我猜测你想要的是降低词频评分的权重,可以在索引的mapping中禁用词频评分,"index_options": "docs"
kennywu76

kennywu76 回答了问题 • 2018-01-03 15:54 • 4 个回复 不感兴趣

Elastic对类似枚举数据的搜索性能优化

赞同来自:

这两天刚好和一个朋友在讨论这个问题,初步判断是因为5.0以后对于数值型字段采用了block k-d tree索引结构,导致status一类不同值不多,每个值对应的文档比较多的情况下,查询会比较缓慢。 
 
改用keyword字段来索引就快了, 深层次原因还在看... 显示全部 »
这两天刚好和一个朋友在讨论这个问题,初步判断是因为5.0以后对于数值型字段采用了block k-d tree索引结构,导致status一类不同值不多,每个值对应的文档比较多的情况下,查询会比较缓慢。 
 
改用keyword字段来索引就快了, 深层次原因还在看代码探寻。
kennywu76

kennywu76 回答了问题 • 2018-06-08 11:33 • 6 个回复 不感兴趣

ES集群如何进行挨个重启?

赞同来自:

我来科普一下吧。
 
当cluster.routing.allocation.enable设置为"none"的时候,不会allocate任何UNASSIGNED状态的shard,但是有一个特例:

本地的因为重启而变成UNASSIGNED... 显示全部 »
我来科普一下吧。
 
当cluster.routing.allocation.enable设置为"none"的时候,不会allocate任何UNASSIGNED状态的shard,但是有一个特例:

本地的因为重启而变成UNASSIGNED状态的primary  shard不受这个参数约束

 
怎么理解这个规则呢?举个例子吧。
 
假设集群索引都有设置复制片,然后重启了某一个结点,该结点上的shard会经历下面这个过程:

replica变成UNASSIGNED
primary在其他结点上对应的replica被推举为primary,而本地的这些primary变成replica,并且状态变成UNASSIGNED
由于cluster.routing.allocation.enable设置为none, 这些replica不会再其他结点上复制恢复,保持在UNASSIGNED状态
因此集群状态应该是yellow,意味着所有索引的primary都存在可用,只是部分复制片因为上述参数设置的原因,没有立即进行恢复。
重启的结点加入集群,通过master恢复状态信息以后,可以得知那些UNASSIGNED的shard,在这个结点上存在数据。
重新设置cluster.routing.allocation.enable" : "all" ,master得到指令,开始恢复那些UNASSIGNED的shard
对于不再更新的冷shard,由于synced_flush, master知道这些数据在重启的结点上存在并且和primary一致,只需要更新一下集群的状态,将他们allocate到刚启动的结点,并且状态置为started。所以这个过程非常快,看起来瞬间可以完成。
由于集群持续有数据写入,部分primary由于新写入了数据,重启结点上对应的replica已经out of sync,因此需要进入数据的recovery过程,这个过程可能需要在主副片之间拷贝数据,或者利用translog重放热数据。 该过程取决于shard大小,以及实时数据写入量的大小,需要一些时间,可能几分钟到几个小时,直到primary -replica完全in-sync,才会将replica置为started。

 
如果同时重启2个或者更多结点,会是怎样的?
 
这种情况下,有可能某个shard的primary和replica同时变成UNASSIGNED了,集群状态变成red。  如果结点重启好全部加入集群,即使cluster.routing.allocation.enable设置为none,本地的primary shard因为不受这个参数约束,会立即开始做existing_store类别的恢复。 等全部primary恢复好以后,集群状态变成yellow,然后不再继续恢复replica,直到重新设置cluster.routing.allocation.enable为all。
 
所以,cluster.routing.allocation.enable: "none",实际上影响的是已有索引(local存在)的replica,以及新创建索引的primary和replica。
 
 
至于停掉结点后,集群查询延迟增加,是因为重启结点上的查询会由剩余的结点分担,多少延迟会增加一些。
 

9月8日 Elastic Meetup 北京线下沙龙报名中

活动medcl 发表了文章 • 15 个评论 • 2225 次浏览 • 2018-08-16 17:57 • 来自相关话题

meetup-beijing.png
 时间:9月8日 地点:北京市海淀区上地西路6号,联想研究院圆楼三层报告厅 活动页面:https://meetup.elasticsearch.cn/2018/beijing.html  议题:征集中,等你来投稿
  • 58到家搜索服务化实践和演进  -- 邢天宇/五八到家
  • Elasticsearch在百度aladdin日志系统的应用  -- 王鹏/百度
  • elasticsearch 在58集团信息安全部的应用 -- 亢伟楠/五八集体
  • Waterdrop:构建在Spark之上的简单高效数据处理系统  -- 霍晨/新浪网
  • 基于 ElasticSearch 构建个性化推荐和高级搜索  -- 周金阳/果壳网/在行
  报名地址:http://elasticsearch.mikecrm.com/fUqiv0T  演讲主题介绍   #1 基于 ElasticSearch 构建个性化推荐和高级搜索 [周金阳]周金阳果壳网/在行 算法工程师 使用 ES 来构建一个简易却行之有效的个性化推荐系统,以及一些高级搜索排序的实践。 搜索排序主要是分享一些机器学习工具与 ES 配合的实践心得。   #2 elasticsearch 在58集团信息安全部的应用 [亢伟楠]亢伟楠58集团 资深开发工程师 全面介绍 ELK Stack 在58集团信息安全部的落地,升级,优化以及应用。 包括如下等方面:接入背景,存储选型,性能挑战,master node以及data node优化,安全实践,高吞吐量以及低延迟搜索优化;kibana 的落地,本地化使其更方便产品、运营使用。   #3 58到家搜索服务化实践和演进 [邢天宇]邢天宇北京五八到家信息技术有限公司 java工程师 介绍58到家搜索服务体系的构建和普及,elasticsearch在到家中的各种应用以及优化等等。   #4 Waterdrop:构建在Spark之上的简单高效数据处理系统 [霍晨]霍晨新浪网,大数据研发工程师 大数据时代,随着Spark等工具的出现,数据处理能力在逐渐提升。 但是Spark本身的开发和运维具有一定的成本,为此我们开源了Waterdrop,通过配置文件的形式配置Spark任务,企图降低Spark的使用门槛,减小开发和运维成本 - 什么是waterdrop - Waterdrop架构介绍 - Waterdrop VS Spark - Waterdrop VS Logstash - Waterdrop的优势 - Waterdrop使用场景 - Roadmap   #5 elasticsearch在百度aladdin日志系统的应用 [王鹏]王鹏百度,研发工程师 背景:aladdin建库问题相关的case追查,日志统计分析,问题需要解决。 方案:使用ES(es版本: 6.0.0)做存储和检索系统,日志以json格式,抽取重要字段建索引,每天一个index,index名字包含时间后缀,保存三天内的数据;建库10个模块,每天有100亿条记录,20T左右数据;使用20个容器做集群。 效果:毫秒级返回查询结果,利用kibana实时分析建库情况,同时能方便按需提供数据给业务方。   报名地址:http://elasticsearch.mikecrm.com/fUqiv0T      Elastic 中国开发者大会 2018,阵容强大,正在火热售票中 🔥 https://conf.elasticsearch.cn/2018/shenzhen.html

开放公开,火力全开:Elastic 宣布公开其商业产品 X-Pack 的源代码

资讯动态medcl 发表了文章 • 21 个评论 • 7859 次浏览 • 2018-02-28 12:47 • 来自相关话题

by Elastic CEO Shay Banon 原文

IMG_4009.JPG

我很高兴的宣布,我们将公开我们 X-Pack 特性的所有代码 - Security、Monitoring、Alerting、Graph、Reporting、专门的 APM UI、Canvas、Elasticsearch SQL、Search Profiler、Grok Debugger、Elastic Maps Service zoom levels 以及 Machine Learning - 为了促进我们与客户及社区的更大的协作,正如我们今天为我们的开源代码所做的一样。

我为我们公司围绕我们的开源产品而自豪,一直以来我们都没有破坏创新或放弃对开放的承诺。当我们展望未来的时候,我们看到了一个机会,让我们更加坚信开放,甚至更加彻底,同时引入一个新的、更加高效的模式来构建一个成功的、可持续的围绕开源的商业模式。

这篇博客概述了我们做出这些改变的想法和细节,不过,让我澄清一件事 - 我们是一家开源软件公司。我们将继续保持为一家开源软件公司。我们比以往任何时候都要更加开放,我个人,我的团队,整体而言,都致力于此。

为什么开源?

当我第一次开始写 Elasticsearch 的时候,我知道它必须是开源的。开源作为一种开发模式和分发方式,提供了接触更多人的机会。所有这些人都能做出贡献。当然,通过代码可以做出贡献,但也可以通过使用免费的软件,持续不断的推进可能的边界。

与社区的合作可以确保,当你的项目成功时,会有一群热情的、专门的开发者指导你的特性开发,并将产品推向新的有趣的方向。例如,将聚合功能引入 Elasticsearch 让其可被当做一个可扩展的用于数据分析的产品。而像 Kibana 和 Logstash 这样的项目,以及后来的 Beats 的加入,无不令人鼓舞。随着我们用户的需求变得更加深入和专业,我们总能找到新的方法来支持他们,有些是通过新的功能、有些是产品,比如机器学习、APM 和站内搜索。

我们对开源的承诺深入了。这是我们花费大部分工程力量投入的地方,我们的社区贡献者和用户对我们创新进程也同样至关重要。但是,像我们这样快速推进产品的发展,需要大量的投资,这也是我们围绕这些技术成立一家公司的原因。

为什么商业软件?

那么,如果我们对开源软件已有如此深的见解,那为什么还是编写了商业软件呢?

我们是一家企业。作为企业的一部分,我们相信那些能够付款给我们的企业,应该付款给我们。而那些不能的,他们也不必付款给我们。作为回报,我们有义务确保我们继续添加功能和价值给我们所有的用户,并确保与我们的商业关系对客户有益。这是一家健康的公司所需要的平衡。

销售支持订阅服务是一个常见的开源软件的商业模式。可悲的是,只有支持的商业模式会朝向关于什么对用户最好以及什么对公司最好这样的冲突之中。在这种情况下,公司将没有动力让他们的产品更加简单好用,更加稳固和可扩展,因为那意味着这将吞噬其技术支持的利益。我们从来没有,也永远不会忍受为了确保公司继续经营而不让我们的软件变的更好。我们想要继续改进,我们支持服务的目标是让你的项目成功,然后你能成为你自有 Elastic Stack 部署的专家。

另外一种办法 -- 如果你们听过我的演讲,你们可能听我讨论过这个问题 -- 即构建一个‘企业版’的软件。这种,从本质上来讲,导致了社区的分裂,并在客户和用户之间产生了分歧。它的结果就是创建一种版本 -- 要么企业版,要么社区版 -- 被认为是权威的,往往滞后 master 很多。一个缺少特性的版本。一个在不同周期测试和发布的版本。一个有效的关闭了源代码的版本,因为您无法知道为了支持商业特性而更改了哪些内容。在 Elastic,所有我们的客户同时也是我们开源软件用户,使用相同版本的软件产品。我们不会创建一个社区版与企业版的版本。

那还有什么?识别高价值特性并将其作为核心软件的商业扩展。这种商业模式,我们有时候叫它“open core”,这是我们创造 X-Pack 的最终产物。为了构建和集成由我们维护知识产权(IP)的特性和功能,并提供订阅服务或免费的基础授权。保持我们对知识产权的控制,使我们能够有能力投资我们大部分的工程资源和时间,可以继续改进我们的核心,我们的开源产品。

这种方法使我们能够在世界各地建立一个分布式的公司,让我们感到惊讶的是,Elastic Stack 是如何被用来解决各种实际的、具体的问题的。添加适用于我们用户的特性和功能,并开发一些使我们能够持续到未来的功能。

但是这种方法也存在挑战…

更加开放

你是否知道 X-Pack 提供了一层免费的功能?这些能力诸如 Monitoring、Search Profiler、Grok Debugger 以及额外的 Elastic Maps 缩放级别。你是否知道我们还将在这一层继续添加更多功能,如 Canvas 和 Elasticsearch SQL?

当我们往X-Pack 里添加免费功能的时候,我们这么做是因为我们知道这些功能可以帮助用户更好的使用 Elastic Stack。不幸的是,太多功能你都不知道 -- 也许知道 -- 或得益于这些功能。所以这意味着有很大一部分用户在使用我们软件的时候往往不是最佳实践。

我们也知道,获得这个免费软件的过程是一个糟糕的用户体验,涉及到一个完整的集群重启。并且如果你想查看代码,抱歉,不可以。尤其是这些免费功能和很大一部分用户相关,你会问我们一些很好但是很难的问题,比如:“我如何就这些免费功能与你们交互?”,“我如何开启一个 issue 或是贡献代码?”

而我们没有很好的答案。

通过公开 X-Pack 的代码,我们解决了这些我们部分产品开源以及部分产品不是的问题。很快,所有的免费的和商业的特性你都可以开启一个 issue、查看特性讨论、检查源代码、与我们协助和提交一个 pull request。

具体细节

这意味着什么,技术上来说?

自 6.3 版本起,所有 $PRODUCT(项目)仓库(Elasticsearch, Logstash, Kibana, Beats) :

  • 所有现存的 Apache 2.0 协议的代码都将保持相同的协议,什么都不用动。
  • 我们会创建一个新的 X-Pack 目录,将 x-pack-$PRODUCT 的代码放入到该目录,基于 Elastic EULA 协议,允许相应的衍生和贡献。
  • 我们将修改最顶层的协议为一个简单的 Elastic License,包含这个仓库里面那些文件是Apache 2.0,那些是 Elastic EULA 的详细细节。

同时,X-Pack 功能将打包到默认的发行版里面。所有免费的功能都包含在里面且默认开启且永远不会出现‘过期’,而商业特性则可以通过试用证书可选的启用。因为免费的证书永远不会过期,所以你再也不用通过注册来就直接获取它了。除此以外,一个只包含 Apache 2.0 协议代码的包也会同样会创建并提供下载。

更多信息以及常见问题,可以在 Opening X-Pack 页找到。

总结

我们相信开源。作为一种分布模式。作为一种建立企业的方法。作为我们公司的未来。 我们承诺并保持我们将保持开放,并对我们将在 6.3 比以往任何时候都更加开放而感到兴奋。

感谢你们对我们的信任。

Elastic 在年度用户大会 Elastic{ON} 2018 上发布众多新功能和技术预览

资讯动态medcl 发表了文章 • 1 个评论 • 1689 次浏览 • 2018-02-28 12:39 • 来自相关话题

IMG_0533.JPG

下载超过 2.25 亿次,Elastic 公开 X-Pack 源代码

旧金山 (Elastic{ON} 2018) – 2018 年 2 月 27 日 – Elastic,Elasticsearch 和 Elastic Stack背后的公司,今天宣布其产品累计下载次数达到 2.25 亿次的里程牌,去年累计下载次数是 1 亿。除此之外,Elastic 宣布公开其X-Pack 的源代码作为策略的一部分,让用户更容易地下载、检查和与 Elastic 工程团队一起在 X-Pack 特性开发上进行协作。给用户更简单的下载、检查及协助。X-Pack 目前包括了 security、alerting、monitoring、Graph 和machine learning 等众多功能。

“我们的产品被数以百万计的开发人员和成千上万的客户所依赖,他们依靠这些产品来驱动关键型业务,这令我们受宠若惊,” Elastic 创始人兼 CEO Shay Banon 表示, “正如他们与我们开源的产品打交道的一样,公开我们的 X-Pack 源代码能给我们的用户完全的透明度和具备与我们一起协助的能力。这样可以激励每一位开发人员、客户和使用我们软件的合作伙伴,帮助我们创造更好的产品和特性以及允许我们构建一个可持续发展的商业模式。”

Elastic 在过去18个月内收购了三家新公司,并在全世界发展了超过 100,000 多位开发者的技术社区。 Elastic{ON} 2018, 是一个最大型的 Elasticsearch 用户聚集的大会。在三天的时间里,超过 2500 名与会者聚在一起学习和分享创意,观看新功能的发布,并获得即将发布的新技术的预览。

  • Elastic APM: 这是 Elastic APM 第一个可被用于生产环境的版本,作为 Elastic 产品栈进入应用性能监控领域的一个延伸。它允许应用程序开发人员和 devops 工程师能够监视和分析特定的代码行对系统和业务性能的影响。这不仅仅是提升速度,同时也能扩展调试流程,将代码性能变化与操作历史有机结合。Elastic APM 将数据存储到 Elasticsearch 的索引里面,允许将 APM 数据与来自 Logstash 或者 Beats 的日志和监控指标进行关联分析,包含针对 Nodejs、Python、Ruby 和 JavaScript 的服务端组件和探针。还提供一个 APM 分析应用来实施典型的 APM 工作流。Elastic APM 已经作为 6.2 发布的一部分可被下载。

  • Swiftype App Search: 为开发者构建用以为他们的应用程序提供强大的搜索能力,Swiftype App Search 交付一系列稳健的 API 和额外的搜索相关的特性,如搜索结果重排、同义词和容错等。Swiftype App Search 是一个一站式的 Saas 解决方案,不需要基础设施、管理和维护,提供一个简单上手的用户体验。 Swiftype App Search 现已公测。

  • Machine Learning Forecasting: Elastic 机器学习能力的第一个主要扩展,用于预测分析领域。用户可以对时间序列数据进行建模,并使用复杂的、现成的机器学习算法来预测未来可能发生的结果。借助按需预测,用户可以使用现有的机器学习工作,并使用内置的预测模型,来准确预测改模型在预测周期内的增长情况。预测结果被写入到 Elasticsearch 的索引中,用户可用来和实际的数据进行比较。Elastic 的机器预测能力已包含在 6.2 的版本里面。

  • GIS App: Elastic 的一个全新研究项目,GIS(地理信息系统)是一个被设计用来捕获、存储、操作、分析、管理和呈现所有地理类型数据的系统。作为 Kibana 的一部分,这个 应用让你以一种全新的方式来执行特定的地理位置分析,在 Dashboard 里面加入内置的增强地图可视化组件。它的核心特性包括,多层地图的支持,映射独立的坐标点和用户端样式自定义。GIS App 目前已提供技术预览版。

  • SQL for Elasticsearch: 这个新特性为世界上最成熟的 SQL 数据库开发人员打开了释放 Elastic Stack 强大能力的大门,允许用户用熟悉的 SQL 语法来查询 Elasticsearch 里面的数据。JDBC 协议的支持,大大的简化了将 Elasticsearch 导出到外部 SQL 环境使用的情况。通过允许 Elasticsearch 通过 RESTful 协议理解 SQL,Elasticsearch SQL 允许你使用 SQL 语法来查询 Elasticsearch 里面的数据,以 SQL 引擎一致的表格形式返回那些查询结果,并提供一个用户接口来探索这些数据。Elasticsearch SQL 去年还只是作为一个概念被推出,现在马上将发布 alpha 和 beta 版本。

  • Canvas: Canvas 为下一代数据可视化和数据呈现展现了一个全新的篇章。随着 Kibana 越来越受欢迎,Canvas 展现了一种新的方式,可以将数据从 Elasticsearch 中获得的洞察赋予在线的、实时的仪表盘、幻灯片演示和信息图表。Canvas 能让用户能以一种前所未有的方式来表达 Elasticsearch 数据背后的故事,消除将数据导出到 Excel 中的详尽、重复和耗时的过程,来构建 PowerPoint。 Canvas 同样也是可插拔的,允许用户带来新的数据源、可视化类型和 UI 可视化组件。Canvas 去年作为一个概念被提出,目前已提供技术预览版可被下载。

  • Rollups: 一般来说,具备关联的指标和日志数据需要长时间保存,rollups 可以让用户存储有限的数据集,减少历史数据的磁盘占用。Elasticsearch 的 rollup 作业可以让用户配置一个定时任务来对数据进行 “rollup” 或预聚合,并保存结果到一个索引。举一个指标监控的例子,如:“web 服务器每小时的平均负载”,也就是说,平均数据被 rollup 起来并存储,但是其它原始数据,如特定用户、页面、IP 信息却不会。该功能将很快在 Elasticsearch 里面提供测试版本并随后在 Kibana 里面提供支持。

  • Flexible Deployment Configurations: 随着客户将随着越来越多的数据放进 Elasticsearch 并扩展越来越多的使用场景,Elastic 引入 “sliders” 功能来让用户获得定制他们集群配置的能力。Elastic Cloud 和 Elastic Cloud Enterprise (ECE) 客户将获得这些新能力:支持多种类型的硬件可供选择;支持集群模板和 hot/warm 集群;给现有集群添加机器学习节点、独立 master 节点和 APM 节点的能力。这些新特性很快将能在 Elastic Cloud 和 Elastic Cloud Enterprise 上可用。

  • Logstash Azure Monitoring Module: 通过与微软合作,Logstash Azure 监控模块目前是借助 Elastic Stack 监控你的 Azure 基础设施和服务的最简单的方式。新模块集成了 Azure 的集中式日志服务来标准化 Azure 日志和指标,并转换成 JSON 格式。使用 Logstash 来消费这些数据录入到 Elasticsearch。同时借助 Kibana,用户能够分析基础设施的改变和授权信息;识别可疑的行为和潜在的恶意用户;通过调查用户行为来执行根源分析;监控和优化 SQL 数据库的部署。该功能将很快提供 beta 版本。

最后,Elastic 宣布一个新的、官方的 Elastic 认证计划。在用户要求获得专业认证的推动下,Elastic 将为用户提供新的培训课程,让他们成为专家,并通过 Elastic 认证。新课程 Elasticsearch Engineer I 和 Elasticsearch Engineer II 将为用户提供安装、管理和优化 Elasticsearch 集群的第一手知识,也包括,开发新的解决方案来分析他们的数据。这些课程是成为一名 Elastic 认证工程师的基础,包括动手、技术和基于性能的认证考试,通过考试将获得由官方颁发的 Elastic 电子认证徽章。

了解更多

Elastic Opening X-Pack Blog Opening X-Pack FAQ Elastic Certification Elastic Cause Awards

关于 Elastic

Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品包括开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一种托管服务)。迄今为止,这些产品的累积下载次数已超过 2.25 亿。Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 800 位员工,分布于世界上 30 多个国家和地区。欲了解详情请访问:elastic.co。

媒体联系人:

Michael Lindenberger

Reidy Communications for Elastic

Michael@reidycommunications.com

(415) 531-1449

亚太地区 Jeff Yoshimura

Communications @ Elastic

pr@elastic.co

Elastic Stack 全新推出 6.0.0

资讯动态medcl 发表了文章 • 2 个评论 • 2002 次浏览 • 2017-11-15 13:34 • 来自相关话题

1510725544562.jpg

https://www.elastic.co/cn/blog/elastic-stack-6-0-0-released

全新推出 6.0.0。

无需多说。你应该立即下载试用,或者通过你最喜欢的托管式 Elasticsearch 和 Kibana 提供平台 Elastic Cloud 亲身体验。

如果你在过去几个月没有跟上我们的发布节奏,可能会对今天的公告感到意外。今天标志着成千上万的 pull 请求和成百上千位代码提交者的努力终见成效。期间共有两个 alpha 版本、两个 beta 版本、两个候选版本以及最终的通用版本 (GA)。这个里程碑离不开 Elastic 各路团队的努力。还要感谢参与先锋计划的用户提出的意见和反馈。

今天,我们不仅发布了整套 Elastic Stack,还发布了 Elastic Cloud Enterprise 1.1,其中包括 6.0 支持、离线安装,并且对用户体验进行了一系列改进,旨在简化集群的配置、管理和监控。同天发布多款产品的正式版本还不够……还有仍是 Alpha 版本的 APM ,我们邀请大家在 6.0.0 中对它进行测试。

一个版本有如此多的亮点,该从哪里说起呢?你们撰文细述也好,提供详情链接也好,祝你们有愉快的阅读体验……更重要的是……祝你们有愉快的搜索、分析和可视化体验。

Elasticsearch

全新零停机升级体验,增加了序列 ID、改进了对稀疏数据的处理、加快了查询速度、分布式执行 watch 等等。功能摘要请查看详情

Kibana

支持 “Dashboard Only” 模式,支持 “全屏” 模式,能够将保存的搜索结果导出到 .csv,X-Pack 黄金版及以上版本支持通过 UI 创建告警,X-Pack 基础版提供迁移助手,我们还通过调整对比度、支持快捷键来产品易用性,让用户使用起来更方便。数据交互的未来详见此贴

Logstash

单一 Logstash 实例中可存在多个自成体系的管道,另有新增 UI 组件 - X-Pack 基础版中的管道查看器,以及 X-Pack 黄金版中的 Logstash 管道管理。了解详情,点这里

Beats

Beats <3 容器以及 Beats <3 模块(并且改进了适用于这些模块的仪表板)。再结合全新命令和配置布局,在 Metricbeat 实现更高效的存储。此外,全新推出 Auditbeat。细节详见这里

ES-Hadoop

对Spark的结构化数据流的一流支持已经降落到了 6.0,并重新编写了连接器映射代码以更好地支持多个映射。支持读写新的连接字段也被添加了。用户现在也可以利用非内联脚本类型的更新操作。详细信息

立即获取!

[招聘] 📡Elastic 邀您一起共创开源事业 ❄️

求职招聘medcl 发表了文章 • 3 个评论 • 3387 次浏览 • 2017-07-27 16:20 • 来自相关话题

ElasticON16-Group-Photo-small.jpg
想不想去最棒的开源软件公司工作? 想不想不用朝9晚5浪费大量时间在路上,在家就能办公? 想不想让您的代码运行在成千上万台服务器上面,拯救世界? 想不想工作与生活的完美结合,做自己感兴趣的事情? ... ... 那考虑来Elastic吧,与全球顶尖工程师一起合作,福利待遇从优,一年至少2次出国机会。 基本要求:
  • 英语流利沟通
  • 掌握现代开发技术
  • 贡献过Elastic相关开源项目者优先
    下面是热招职位,位置不限,We are Distributed!  除了上面这些,还有很多其他市场商务类职务, 查看 Elastic 全部在招职位信息,点击这里关于 Elastic Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品:开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一个 SaaS 服务)。迄今为止,这些产品的累积下载次数已超过 3.5 亿。 成千上万的企业包括思科、易趣、高盛、美国宇航局、微软、梅约诊所、纽约时报、维基百科以及微讯通信等都在使用 Elastic 来助力其关键业务应用。  Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 1000 位员工,分布于世界上 30 多个国家和地区。了解更多请访问: elastic.co 。

logstash同步父子关系到ElasticSearch报错,求教

回复

Logstashlaoyang360 回复了问题 • 2 人关注 • 1 个回复 • 82 次浏览 • 2018-12-01 21:48 • 来自相关话题

参加 2018 Elastic 中国开发者大会是一个什么样的体验?

回复

灌水区medcl 回复了问题 • 8 人关注 • 7 个回复 • 489 次浏览 • 2018-11-25 11:17 • 来自相关话题

如何请求es使得文档存在就更新,否则不处理

回复

Elasticsearchchenhongjie 回复了问题 • 4 人关注 • 3 个回复 • 129 次浏览 • 2018-11-14 09:32 • 来自相关话题

elasticsearch怎么修改这个字段dynamic属性

回复

Elasticsearchzqc0512 回复了问题 • 2 人关注 • 4 个回复 • 135 次浏览 • 2018-11-05 09:57 • 来自相关话题

x-pack监控中的Indexing Rate (/s)速度比实际日志数小很多

回复

Elasticsearchzqc0512 回复了问题 • 2 人关注 • 1 个回复 • 197 次浏览 • 2018-09-29 08:54 • 来自相关话题

elasticSearch使用聚合查询不生效

回复

ElasticsearchelasticStack 回复了问题 • 4 人关注 • 2 个回复 • 206 次浏览 • 2018-09-21 16:19 • 来自相关话题

elasticsearch head search 时区问题

回复

Elasticsearchkindy 回复了问题 • 2 人关注 • 2 个回复 • 129 次浏览 • 2018-09-14 14:13 • 来自相关话题

分组聚合后,怎么给TopHits中的列表数据排序

回复

Elasticsearchwssmao 回复了问题 • 3 人关注 • 4 个回复 • 442 次浏览 • 2018-09-08 15:38 • 来自相关话题

path.data 配置了多个路径后 es的存储和获取机制是什么

回复

Elasticsearchrojay 回复了问题 • 5 人关注 • 4 个回复 • 4634 次浏览 • 2018-08-29 09:14 • 来自相关话题

elasticsearch 6.3.2版本的使用许可证也是不能用机器学习功能是吗

回复

Elasticsearchzqc0512 回复了问题 • 2 人关注 • 1 个回复 • 253 次浏览 • 2018-08-27 15:59 • 来自相关话题

节点下线能控制并发数吗?

回复

Elasticsearchzqc0512 回复了问题 • 2 人关注 • 1 个回复 • 222 次浏览 • 2018-08-15 16:14 • 来自相关话题

哪位朋友在go语言用olivere/elastic包集成过ES呀

回复

Elasticsearchggg 回复了问题 • 3 人关注 • 2 个回复 • 657 次浏览 • 2018-08-03 14:31 • 来自相关话题

threadpool.bulk.queue_size”这个参数可以的通过API更新吗?

回复

Elasticsearchyayg2008 回复了问题 • 3 人关注 • 2 个回复 • 532 次浏览 • 2018-07-25 19:20 • 来自相关话题

"cluster.routing.allocation.disk.watermark.low"参数为什么不能禁止向节点分片分片?

回复

Elasticsearchkennywu76 回复了问题 • 4 人关注 • 1 个回复 • 390 次浏览 • 2018-07-24 16:11 • 来自相关话题

alias切换 期间,访问超时

回复

Elasticsearchooooldman 回复了问题 • 2 人关注 • 4 个回复 • 335 次浏览 • 2018-07-23 13:05 • 来自相关话题

[招聘] Community Advocate - China

求职招聘medcl 发表了文章 • 0 个评论 • 490 次浏览 • 2018-09-03 16:00 • 来自相关话题

Snip20180903_14.png
Elasticsearch 的排名又升了,要不要加入这么一家蒸蒸日上的全球领先的开源软件公司?

职位链接及描述如下: https://boards.greenhouse.io/elastic/jobs/1272161

At Elastic, we have a simple goal: to solve the world's data problems with products that delight and inspire. As the company behind the popular open source projects — Elasticsearch, Kibana, Logstash, and Beats — we help people around the world do great things with their data. From stock quotes to Twitter streams, Apache logs to WordPress blogs, our products are extending what's possible with data, delivering on the promise that good things come from connecting the dots. The Elastic family unites employees across 32 countries into one coherent team, while the broader community spans across over 100 countries.

For all of us at Elastic, community matters. Our users and contributors have helped to ensure that Elasticsearch, Kibana, Logstash, and Beats are more than just code — they are open source projects that people love to use, and love to talk about! As our Community Advocate you will champion our Elastic community.

What You Will Be Doing:

Are you that kind of person who is invigorated by sharing juicy technology goodness with the world? Do you feel at home connecting with the community members: in person, on blogs, in forums, via social channels, and at events? Is presenting at local meetups your jam and are you passionate about the Elastic Stack?

Well, this might just be your dream job.

As a Community Advocate at Elastic, you will be based in China. You will wake up each morning eager to design and deliver presentations at a wide-variety of events from customer meetings, meetups, tradeshows, and other events to help showcase technology. You will do this while traveling the region and, at times, the world, representing Elastic. Maintaining the trust of our community, as well as the respect and trust within the team, is foundational.

What You Bring Along:

  • Bachelor’s degree in a technical field (e.g. CS, CSE, EE) or relevant work experience as a software developer (mandatory)
  • Demonstrated ability to craft compelling content - including speaking engagements, blog posts, demos, messaging, etc. (mandatory)
  • You are comfortable presenting, whether it's at a local meetup or to the office of a C-suite member
  • Familiarity with, and real passion for, the Elastic Stack
  • Comfort working with a globally distributed team
  • Fluency or high working proficiency in Mandarin (mandatory)
  • Excellent spoken and written English communication skills, since this is our company's language (mandatory)

Please send us your CV in English. Things We'd Be Stoked to See on Your CV:

  • Conversations in person, on blogs, in forums, via social channels, at events give you energy and you have a proven publication history to show that
  • Experience working for a startup or an early stage company
  • Experience with open source software and/or commercial open source companies
  • Technical background and abilities in APM, PHP, node.js, JS, and/or security (nice-to-have, not mandatory)
  • Other languages

Additional Information:

  • Competitive pay based on the work you do here and not your previous salary
  • Stock options
  • Global minimum of 16 weeks of paid parental leave (moms and dads)
  • Generous vacation time and one week of volunteer time off
  • An environment in which you can balance great work with a great life
  • Your age is only a number. It doesn't matter if you're just out of college or your children are; we need you for what you can do.
  • Distributed-first company with Elasticians in over 30 countries, spread across 18 time zones, and speaking over 30 languages!

LI-KE1

Target locations: Beijing, China; Shanghai, China; Hangzhou, China

Elastic is an Equal Employment employer committed to the principles of equal employment opportunity and affirmative action for all applicants and employees. Qualified applicants will receive consideration for employment without regard to race, color, religion, sex, sexual orientation, gender perception or identity, national origin, age, marital status, protected veteran status, or disability status or any other basis protected by federal, state or local law, ordinance or regulation. Elastic also makes reasonable accommodations for disabled employees consistent with applicable law.

9月8日 Elastic Meetup 北京线下沙龙报名中

活动medcl 发表了文章 • 15 个评论 • 2225 次浏览 • 2018-08-16 17:57 • 来自相关话题

meetup-beijing.png
 时间:9月8日 地点:北京市海淀区上地西路6号,联想研究院圆楼三层报告厅 活动页面:https://meetup.elasticsearch.cn/2018/beijing.html  议题:征集中,等你来投稿
  • 58到家搜索服务化实践和演进  -- 邢天宇/五八到家
  • Elasticsearch在百度aladdin日志系统的应用  -- 王鹏/百度
  • elasticsearch 在58集团信息安全部的应用 -- 亢伟楠/五八集体
  • Waterdrop:构建在Spark之上的简单高效数据处理系统  -- 霍晨/新浪网
  • 基于 ElasticSearch 构建个性化推荐和高级搜索  -- 周金阳/果壳网/在行
  报名地址:http://elasticsearch.mikecrm.com/fUqiv0T  演讲主题介绍   #1 基于 ElasticSearch 构建个性化推荐和高级搜索 [周金阳]周金阳果壳网/在行 算法工程师 使用 ES 来构建一个简易却行之有效的个性化推荐系统,以及一些高级搜索排序的实践。 搜索排序主要是分享一些机器学习工具与 ES 配合的实践心得。   #2 elasticsearch 在58集团信息安全部的应用 [亢伟楠]亢伟楠58集团 资深开发工程师 全面介绍 ELK Stack 在58集团信息安全部的落地,升级,优化以及应用。 包括如下等方面:接入背景,存储选型,性能挑战,master node以及data node优化,安全实践,高吞吐量以及低延迟搜索优化;kibana 的落地,本地化使其更方便产品、运营使用。   #3 58到家搜索服务化实践和演进 [邢天宇]邢天宇北京五八到家信息技术有限公司 java工程师 介绍58到家搜索服务体系的构建和普及,elasticsearch在到家中的各种应用以及优化等等。   #4 Waterdrop:构建在Spark之上的简单高效数据处理系统 [霍晨]霍晨新浪网,大数据研发工程师 大数据时代,随着Spark等工具的出现,数据处理能力在逐渐提升。 但是Spark本身的开发和运维具有一定的成本,为此我们开源了Waterdrop,通过配置文件的形式配置Spark任务,企图降低Spark的使用门槛,减小开发和运维成本 - 什么是waterdrop - Waterdrop架构介绍 - Waterdrop VS Spark - Waterdrop VS Logstash - Waterdrop的优势 - Waterdrop使用场景 - Roadmap   #5 elasticsearch在百度aladdin日志系统的应用 [王鹏]王鹏百度,研发工程师 背景:aladdin建库问题相关的case追查,日志统计分析,问题需要解决。 方案:使用ES(es版本: 6.0.0)做存储和检索系统,日志以json格式,抽取重要字段建索引,每天一个index,index名字包含时间后缀,保存三天内的数据;建库10个模块,每天有100亿条记录,20T左右数据;使用20个容器做集群。 效果:毫秒级返回查询结果,利用kibana实时分析建库情况,同时能方便按需提供数据给业务方。   报名地址:http://elasticsearch.mikecrm.com/fUqiv0T      Elastic 中国开发者大会 2018,阵容强大,正在火热售票中 🔥 https://conf.elasticsearch.cn/2018/shenzhen.html

如何解决ES的性能问题

Elasticsearchsterne vencel 发表了文章 • 0 个评论 • 1493 次浏览 • 2018-07-10 21:56 • 来自相关话题

Part4:如何解决ES的性能问题 本文是对一篇外文博客的翻译 This post is the final part of a 4-part series on monitoring Elasticsearch performance. Part 1 provides an overview of Elasticsearch and its key performance metrics, Part 2 explains how to collect these metrics, and Part 3describes how to monitor Elasticsearch with Datadog. 这篇文章是监控ES性能系列文章的最后一部分。第1部分概述了ES及其关键性能指标,第2部分解释了如何收集这些指标,第3部分描述了如何使用Datadog监视ES。 Like a car, Elasticsearch was designed to allow its users to get up and running quickly, without having to understand all of its inner workings. However, it’s only a matter of time before you run into engine trouble here or there. This article will walk through five common Elasticsearch challenges, and how to deal with them. 就像汽车一样,用户可以在无需了解其所有内部工作原理的情况下,快速地站起来并运行。然而,在这里或那里遇到引擎故障只是时间问题。本文将介绍五种常见的ES的挑战,以及如何处理它们。 Problem #1: My cluster status is red or yellow. What should I do? 问题#1:我的集群状态是红色或黄色。我应该做什么?
21.png
If you recall from Part 1, cluster status is reported as red if one or more primary shards (and its replicas) is missing, and yellow if one or more replica shards is missing. Normally, this happens when a node drops off the cluster for whatever reason (hardware failure, long garbage collection time, etc.). Once the node recovers, its shards will remain in an initializing state before they transition back to active status. 回顾第1部分,如果丢失一个或多个主分片(及其副本),集群状态将报告为红色;如果丢失一个或多个副本分片,则报告为黄色。通常,这种情况发生在节点出于某些原因(硬件故障、长时间的垃圾收集时间等)退出集群时。一旦节点恢复,它的分片在转换会活跃状态之前将保持初始化状态。 The number of initializing shards typically peaks when a node rejoins the cluster, and then drops back down as the shards transition into an active state, as shown in the graph below. 初始化碎片的数量通常在节点重新加入集群时达到峰值,然后随着分片转换为活跃状态而下降,如下图所示。
22.png
During this initialization period, your cluster state may transition from green to yellow or red until the shards on the recovering node regain active status. In many cases, a brief status change to yellow or red may not require any action on your part. 在此初始化期间,集群状态可能从绿色转变为黄色或红色,直到恢复节点上的分片重新恢复到活跃状态。在很多情况下,一个简短的状态变化为黄色或红色可能不需要你的任何行动。
23.png
However, if you notice that your cluster status is lingering in red or yellow state for an extended period of time, verify that the cluster is recognizing the correct number of Elasticsearch nodes, either by consulting Datadog’s dashboard or by querying the Cluster Health API detailed in Part 2. 但是,如果您注意到您的集群状态在红色或黄色状态中徘徊了很长一段时间,请通过查阅Datadog的仪表板或查询第2部分中详细介绍的集群健康API来验证集群是否识别了正确的ES节点数量。
24.png
If the number of active nodes is lower than expected, it means that at least one of your nodes lost its connection and hasn’t been able to rejoin the cluster. To find out which node(s) left the cluster, check the logs (located by default in the logs folder of your Elasticsearch home directory) for a line similar to the following: 如果活动节点的数量低于预期,则意味着至少有一个节点失去了连接,无法重新加入集群。要找出离开集群的节点,请检查日志(默认位于您的Elasticsearch home目录的logs文件夹中),查找与以下内容类似的行::
[TIMESTAMP] ... Cluster health status changed from [GREEN] to [RED]
Reasons for node failure can vary, ranging from hardware or hypervisor failures, to out-of-memory errors. Check any of the monitoring tools outlined here for unusual changes in performance metrics that may have occurred around the same time the node failed, such as a sudden spike in the current rate of search or indexing requests. Once you have an idea of what may have happened, if it is a temporary failure, you can try to get the disconnected node(s) to recover and rejoin the cluster. If it is a permanent failure, and you are not able to recover the node, you can add new nodes and let Elasticsearch take care of recovering from any available replica shards; replica shards can be promoted to primary shards and redistributed on the new nodes you just added. 节点失败的原因可能不同,从硬件失败,管理程序失败到内存不足的错误。检查监视工具,这些工具可能是在节点失败的同时出现的性能指标的异常变化,比如当前搜索或索引请求的速度突然激增。一旦您知道可能发生了什么,如果是临时故障,您可以尝试让断开连接的节点恢复并重新加入集群。如果是永久性故障,您无法恢复节点,您可以添加新节点,并让Elasticsearch负责从任何可用的副本分片中恢复,副本分片可以提升到主分片,并在刚刚添加的新节点上重新分布。 However, if you lost both the primary and replica copy of a shard, you can try to recover as much of the missing data as possible by using Elasticsearch’s snapshot and restore module. If you’re not already familiar with this module, it can be used to store snapshots of indices over time in a remote repository for backup purposes. 但是,如果您同时丢失了分片的主分片和副本,那么您可以使用ES的快照和恢复模块尽可能多地恢复丢失的数据。如果您还不熟悉这个模块,那么可以使用它在远程存储库中存储索引的快照,以便进行备份。 Problem #2: Help! Data nodes are running out of disk space 问题#2:数据节点空间将要耗尽
25.png
If all of your data nodes are running low on disk space, you will need to add more data nodes to your cluster. You will also need to make sure that your indices have enough primary shards to be able to balance their data across all those nodes. 如果所有数据节点的磁盘空间都很低,那么将需要向集群添加更多的数据节点。你还需要确保您的索引拥有足够的主分片,以便能够跨所有这些节点能够平衡它的数据。 However, if only certain nodes are running out of disk space, this is usually a sign that you initialized an index with too few shards. If an index is composed of a few very large shards, it’s hard for Elasticsearch to distribute these shards across nodes in a balanced manner. 但是,如果只有特定的节点耗尽了磁盘空间,这通常是你用了太多的分片在初始化索引的时候。如果一个索引是由一些非常大的分片组成的,那么用ES很难以一种平衡的方式在节点之间分布这些分片。 Elasticsearch takes available disk space into account when allocating shards to nodes. By default, it will not assign shards to nodes that have over 85 percent disk in use. In Datadog, you can set up a threshold alert to notify you when any individual data node’s disk space usage approaches 80 percent, which should give you enough time to take action. 当master将分片分配给节点时,ES会考虑到节点可用的磁盘空间。默认情况下,它不会将分片分配给使用超过85%磁盘的节点。在Datadog中,您可以设置一个阈值警报,当任何单个数据节点的磁盘空间使用量接近80%时通知您,这应该会给您足够的时间采取行动。 There are two remedies for low disk space. One is to remove outdated data and store it off the cluster. This may not be a viable option for all users, but, if you’re storing time-based data, you can store a snapshot of older indices’ data off-cluster for backup, and update the index settings to turn off replication for those indices. 对于低磁盘空间有两种补救方法。一种是删除过时的数据并将其存储在集群之外。对于所有用户来说,这可能不是一个可行的选择,但是,如果您正在存储基于时间的数据,您可以将旧索引的数据快照存储到集群之外进行备份,并更新索引设置,以关闭对这些索引的复制。 The second approach is the only option for you if you need to continue storing all of your data on the cluster: scaling vertically or horizontally. If you choose to scale vertically, that means upgrading your hardware. However, to avoid having to upgrade again down the line, you should take advantage of the fact that Elasticsearch was designed to scale horizontally. To better accommodate future growth, you may be better off reindexing the data and specifying more primary shards in the newly created index (making sure that you have enough nodes to evenly distribute the shards). 如果需要继续将所有数据存储在集群上,那么第二种方法是惟一的选择:垂直或横向地伸缩集群。如果选择垂直伸缩,就意味着升级硬件。然而,为了避免再次升级,最好使用ES的横向伸缩。为了更好地适应未来的增长,你最好对数据进行索引重建,并在新创建的索引中指定更多的主碎片(确保您有足够的节点来均匀分布碎片)。 Another way to scale horizontally is to roll over the index by creating a new index, and using an alias to join the two indices together under one namespace. Though there is technically no limit to how much data you can store on a single shard, Elasticsearch recommends a soft upper limit of 50 GB per shard, which you can use as a general guideline that signals when it’s time to start a new index. 横向扩展的另一种方法是创建一个新索引,并使用别名滚动改变索引。虽然从技术上讲,您可以在一个分片上存储多少数据没有限制,但Elasticsearch建议在每个碎片上设置一个50 GB的软上限,您可以将其作为一个通用指南,在开始创建新索引时发出信号。 Problem #3: My searches are taking too long to execute 问题#3:我的搜索执行时间太长了 Search performance varies widely according to what type of data is being searched and how each query is structured. Depending on the way your data is organized, you may need to experiment with a few different methods before finding one that will help speed up search performance. We’ll cover two of them here: custom routing and force merging. 根据搜索的数据类型以及每个查询的结构,搜索性能会有很大的不同。根据您的数据的组织方式,您可能需要在找到一个有助于提高搜索性能的方法之前尝试一些不同的方法。我们将介绍其中的两个:自定义路由和强制合并。 Typically, when a node receives a search request, it needs to communicate that request to a copy (either primary or replica) of every shard in the index. Custom routing allows you to store related data on the same shard, so that you only have to search a single shard to satisfy a query. 通常,当一个节点收到一个搜索请求时,它需要将该请求传递给索引中的每个分片的副本(主分片和副本分片)。自定义路由允许你将相关数据存储在同一个shard上,这样您只需要搜索一个分片来满足查询。 For example, you can store all of blogger1’s data on the same shard by specifying a _routing value in the mapping for the blogger type within your index, blog_index. 例如,你可以在索引blog_index中为blogger类型指定一个_routing值,从而将blogger1的所有数据存储在相同的分片上。 First, make sure _routing is required so that you don’t forget to specify a custom routing value whenever you index information of the blogger type. 首先,确保需要_routing,以便在索引blogger类型的信息时不会忘记指定一个定制的路由值。
curl -XPUT "localhost:9200/blog_index" -d '
{
  "mappings": {
    "blogger": {
      "_routing": {
        "required": true 
      }
    }
  }
}'
当您准备索引与blogger1相关的文档时,请指定路由值:
curl -XPUT "localhost:9200/blog_index/blogger/1?routing=blogger1" -d '
{
  "comment": "blogger1 made this cool comment"
}'
Now, in order to search through blogger1’s comments, you will need to remember to specify the routing value in the query like this: 现在,为了搜索blogger1的评论,您需要记住在查询中指定如下的路由值:
curl -XGET "localhost:9200/blog_index/_search?routing=blogger1" -d '
{
  "query": {
    "match": {
      "comment": {
        "query": "cool comment"
      }
    }
  }
}'
In Elasticsearch, every search request has to check every segment of each shard it hits. So once you have reduced the number of shards you’ll have to search, you can also reduce the number of segments per shard by triggering the Force Merge API on one or more of your indices. The Force Merge API (or Optimize API in versions prior to 2.1.0) prompts the segments in the index to continue merging until each shard’s segment count is reduced to max_num_segments (1, by default). It’s worth experimenting with this feature, as long as you account for the computational cost of triggering a high number of merges. 在ES中,每个搜索请求都必须检查它所命中的每个分片的每一段。一旦你可以减少了搜索的分片数量,你也可以通过在一个或多个索引上触发Force Merge API来减少每个分片的段数量。强制合并API(或在2.1.0之前的版本中优化API)提示索引中的段合并,直到每个分片的段计数减少到max_num_segment(默认为1)。考虑一下这个成本和查询的时间成本,值得对该特性进行试验。 When it comes to shards with a large number of segments, the force merge process becomes much more computationally expensive. For instance, force merging an index of 10,000 segments down to 5,000 segments doesn’t take much time, but merging 10,000 segments all the way down to one segment can take hours. The more merging that must occur, the more resources you take away from fulfilling search requests, which may defeat the purpose of calling a force merge in the first place. In any case, it’s usually a good idea to schedule a force merge during non-peak hours, such as overnight, when you don’t expect many search or indexing requests. 当涉及到索引具有大量的段,段合并过程的计算开销就会大得多。例如,强制合并10000个段的索引到5000个段并不需要花费太多时间,但是将10000个段一直合并到一个段需要花费数小时。合并越多,搜索请求越快,这是调用force merge的目的。在任何情况下,通常最好在非高峰时间(比如在一夜之间)安排一个force merge,这样就不会有太多的搜索或索引请求。 Problem #4: How can I speed up my index-heavy workload? 问题#4:怎样才能加快我的索引沉重的工作量? Elasticsearch comes pre-configured with many settings that try to ensure that you retain enough resources for searching and indexing data. However, if your usage of Elasticsearch is heavily skewed towards writes, you may find that it makes sense to tweak certain settings to boost indexing performance, even if it means losing some search performance or data replication. Below, we will explore a number of methods to optimize your use case for indexing, rather than searching, data. ES具有许多预先配置的设置,这些设置试图确保您保留足够的资源用于搜索和索引数据。但是,如果您对ES的使用严重偏向于写操作,可能会发现调整某些设置以提高索引性能是有意义的,即使这意味着丢失一些搜索性能或数据副本。下面,我们将探索一些方法来优化索引而不是优化搜索性能。 Shard allocation: As a high-level strategy, if you are creating an index that you plan to update frequently, make sure you designate enough primary shards so that you can spread the indexing load evenly across all of your nodes. The general recommendation is to allocate one primary shard per node in your cluster, and possibly two or more primary shards per node, but only if you have a lot of CPU and disk bandwidth on those nodes. However, keep in mind that shard overallocation adds overhead and may negatively impact search, since search requests need to hit every shard in the index. On the other hand, if you assign fewer primary shards than the number of nodes, you may create hotspots, as the nodes that contain those shards will need to handle more indexing requests than nodes that don’t contain any of the index’s shards. 分片分配:作为一种高级策略,如果你正在创建频繁更新索引的集群,请确保指定了足够的主分片,这样你就可以将索引负载均匀地分布到所有节点上。一般的建议是为集群中的每个节点分配一个主分片,可能为每个节点分配两个或多个主分片,但前提是这些节点上有大量的CPU和磁盘带宽。但是,请记住,分片过度分配会增加开销,并可能对搜索产生负面影响,因为搜索请求需要命中索引中的每个分片。另一方面,如果你分配的主碎片数量少于节点数量,那么您可能会创建热点(热节点),因为包含这些分片的节点将需要处理更多的索引请求,而不包含索引分片的节点将不做什么操作。 Disable merge throttling: Merge throttling is Elasticsearch’s automatic tendency to throttle indexing requests when it detects that merging is falling behind indexing. It makes sense to update your cluster settings to disable merge throttling (by setting indices.store.throttle.type to “none”) if you want to optimize indexing performance, not search. You can make this change persistent (meaning it will persist after a cluster restart) or transient (resets back to default upon restart), based on your use case. 禁用合并节流:合并节流是ES在检测到合并落后于索引时自动抑制索引请求的趋势。更新集群设置以禁用合并节流是有意义的(设置index .store.throttle.type为none)。这样做可以优化索引性能,而不是搜索。根据你的用例,你可以使这个设置为persist(意味着在集群重新启动之后它将持续)或transient(在重新启动时重新设置为默认)。 Increase the size of the indexing buffer: This setting (indices.memory.index_buffer_size) determines how full the buffer can get before its documents are written to a segment on disk. The default setting limits this value to 10 percent of the total heap in order to reserve more of the heap for serving search requests, which doesn’t help you if you’re using Elasticsearch primarily for indexing. 增加索引缓冲区的大小:此设置(indices.memory.index_buffer_size)确定将文档写到磁盘上的段之前缓冲区的容量。默认设置限制为总堆的10%,以便为服务搜索请求保留更多的堆,如果您主要是在使用Elasticsearch进行索引,这对你是没有帮助。 Index first, replicate later: When you initialize an index, specify zero replica shards in the index settings, and add replicas after you’re done indexing. This will boost indexing performance, but it can be a bit risky if the node holding the only copy of the data crashes before you have a chance to replicate it. *先索引,后复制:初始化索引时,在索引设置中指定0个复制碎片,索引完成后添加副本。这将提高索引性能,但如果拥有数据惟一副本的节点在您有机会复制数据之前崩溃,则可能存在一些风险。 Refresh less frequently: Increase the refresh interval in the Index Settings API. By default, the index refresh process occurs every second, but during heavy indexing periods, reducing the refresh frequency can help alleviate some of the workload. 不经常刷新:增加索引设置API中的刷新间隔。默认情况下,索引refresh过程每秒钟发生一次,但是在索引不断更新的时期,减少刷新频率可以帮助减轻一些工作负载。 Tweak your translog settings: As of version 2.0, Elasticsearch will flush translog data to disk after every request, reducing the risk of data loss in the event of hardware failure. If you want to prioritize indexing performance over potential data loss, you can change index.translog.durability to async in the index settings. With this in place, the index will only commit writes to disk upon every sync_interval, rather than after each request, leaving more of its resources free to serve indexing requests. 调整您的translog设置:在2.0版本中,弹性搜索将在每次请求之后将translog数据刷新到磁盘,从而在硬件故障时降低数据丢失的风险。如果希望将索引性能优先于潜在的数据丢失,可以更改index.translog.durability为async。有了这一点,索引将在sync_interval上提交对磁盘的写操作,而不是在每个请求之后,从而使更多的资源可以用于索引请求。 For more suggestions on boosting indexing performance, check out this guide from Elastic. 有关提高索引性能的更多建议,请参阅《ES》。 Problem #5: What should I do about all these bulk thread pool rejections? 问题#5:对于所有这些大容量线程池拒绝,我应该怎么做?
26.png
Thread pool rejections are typically a sign that you are sending too many requests to your nodes, too quickly. If this is a temporary situation (for instance, you have to index an unusually large amount of data this week, and you anticipate that it will return to normal soon), you can try to slow down the rate of your requests. However, if you want your cluster to be able to sustain the current rate of requests, you will probably need to scale out your cluster by adding more data nodes. In order to utilize the processing power of the increased number of nodes, you should also make sure that your indices contain enough shards to be able to spread the load evenly across all of your nodes. 线程池的拒绝通常表明向节点发送了过多的请求或者请求速度太快。如果这是一个临时的情况(例如,本周必须索引超大量的数据,并且预期它将很快恢复正常),可以尝试降低请求的速度。但是,如果您希望集群能够维持当前的请求速率,您可能需要通过添加更多的数据节点来扩展集群。为了利用增加的节点数量的处理能力,还应该确保索引包含足够的分片,以便能够在所有节点上均匀地分配负载。 Go forth and optimize! 优化 Even more performance tips are available in Elasticsearch’s learning resources and documentation. Since results will vary depending on your particular use case and setup, you can test out different settings and indexing/querying strategies to determine which approaches work best for your clusters. 在ES的学习资源和文档中可以找到更多的性能技巧。由于结果将根据您的特定用例和设置而变化,您可以测试不同的设置和索引/查询策略,以确定哪种方法最适合您的集群。 As you experiment with these and other optimizations, make sure to watch your Elasticsearch dashboards closely to monitor the resulting impact on your clusters’ key Elasticsearch performance metrics. 当您尝试这些优化和其他优化时,请确保密切关注您的ES仪表盘,以监视由此对集群的关键ES性能指标的影响。 With a built-in Elasticsearch dashboard that highlights key cluster metrics, Datadog enables you to effectively monitor Elasticsearch in real-time. If you already have a Datadog account, you can set up the Elasticsearch integrationin minutes. If you don’t yet have a Datadog account, sign up for a free trialtoday. 有了一个内置的ES仪表盘,它突出关键的集群指标,Datadog使您能够实时监控弹性搜索。如果您已经有了一个Datadog帐户,那么您可以在几分钟内设置Elasticsearch集成。如果你还没有一个Datadog帐户,那么今天就注册一个免费试用。 Source Markdown for this post is available on GitHub. Questions, corrections, additions, etc.? Please let us know.

开放公开,火力全开:Elastic 宣布公开其商业产品 X-Pack 的源代码

资讯动态medcl 发表了文章 • 21 个评论 • 7859 次浏览 • 2018-02-28 12:47 • 来自相关话题

by Elastic CEO Shay Banon 原文

IMG_4009.JPG

我很高兴的宣布,我们将公开我们 X-Pack 特性的所有代码 - Security、Monitoring、Alerting、Graph、Reporting、专门的 APM UI、Canvas、Elasticsearch SQL、Search Profiler、Grok Debugger、Elastic Maps Service zoom levels 以及 Machine Learning - 为了促进我们与客户及社区的更大的协作,正如我们今天为我们的开源代码所做的一样。

我为我们公司围绕我们的开源产品而自豪,一直以来我们都没有破坏创新或放弃对开放的承诺。当我们展望未来的时候,我们看到了一个机会,让我们更加坚信开放,甚至更加彻底,同时引入一个新的、更加高效的模式来构建一个成功的、可持续的围绕开源的商业模式。

这篇博客概述了我们做出这些改变的想法和细节,不过,让我澄清一件事 - 我们是一家开源软件公司。我们将继续保持为一家开源软件公司。我们比以往任何时候都要更加开放,我个人,我的团队,整体而言,都致力于此。

为什么开源?

当我第一次开始写 Elasticsearch 的时候,我知道它必须是开源的。开源作为一种开发模式和分发方式,提供了接触更多人的机会。所有这些人都能做出贡献。当然,通过代码可以做出贡献,但也可以通过使用免费的软件,持续不断的推进可能的边界。

与社区的合作可以确保,当你的项目成功时,会有一群热情的、专门的开发者指导你的特性开发,并将产品推向新的有趣的方向。例如,将聚合功能引入 Elasticsearch 让其可被当做一个可扩展的用于数据分析的产品。而像 Kibana 和 Logstash 这样的项目,以及后来的 Beats 的加入,无不令人鼓舞。随着我们用户的需求变得更加深入和专业,我们总能找到新的方法来支持他们,有些是通过新的功能、有些是产品,比如机器学习、APM 和站内搜索。

我们对开源的承诺深入了。这是我们花费大部分工程力量投入的地方,我们的社区贡献者和用户对我们创新进程也同样至关重要。但是,像我们这样快速推进产品的发展,需要大量的投资,这也是我们围绕这些技术成立一家公司的原因。

为什么商业软件?

那么,如果我们对开源软件已有如此深的见解,那为什么还是编写了商业软件呢?

我们是一家企业。作为企业的一部分,我们相信那些能够付款给我们的企业,应该付款给我们。而那些不能的,他们也不必付款给我们。作为回报,我们有义务确保我们继续添加功能和价值给我们所有的用户,并确保与我们的商业关系对客户有益。这是一家健康的公司所需要的平衡。

销售支持订阅服务是一个常见的开源软件的商业模式。可悲的是,只有支持的商业模式会朝向关于什么对用户最好以及什么对公司最好这样的冲突之中。在这种情况下,公司将没有动力让他们的产品更加简单好用,更加稳固和可扩展,因为那意味着这将吞噬其技术支持的利益。我们从来没有,也永远不会忍受为了确保公司继续经营而不让我们的软件变的更好。我们想要继续改进,我们支持服务的目标是让你的项目成功,然后你能成为你自有 Elastic Stack 部署的专家。

另外一种办法 -- 如果你们听过我的演讲,你们可能听我讨论过这个问题 -- 即构建一个‘企业版’的软件。这种,从本质上来讲,导致了社区的分裂,并在客户和用户之间产生了分歧。它的结果就是创建一种版本 -- 要么企业版,要么社区版 -- 被认为是权威的,往往滞后 master 很多。一个缺少特性的版本。一个在不同周期测试和发布的版本。一个有效的关闭了源代码的版本,因为您无法知道为了支持商业特性而更改了哪些内容。在 Elastic,所有我们的客户同时也是我们开源软件用户,使用相同版本的软件产品。我们不会创建一个社区版与企业版的版本。

那还有什么?识别高价值特性并将其作为核心软件的商业扩展。这种商业模式,我们有时候叫它“open core”,这是我们创造 X-Pack 的最终产物。为了构建和集成由我们维护知识产权(IP)的特性和功能,并提供订阅服务或免费的基础授权。保持我们对知识产权的控制,使我们能够有能力投资我们大部分的工程资源和时间,可以继续改进我们的核心,我们的开源产品。

这种方法使我们能够在世界各地建立一个分布式的公司,让我们感到惊讶的是,Elastic Stack 是如何被用来解决各种实际的、具体的问题的。添加适用于我们用户的特性和功能,并开发一些使我们能够持续到未来的功能。

但是这种方法也存在挑战…

更加开放

你是否知道 X-Pack 提供了一层免费的功能?这些能力诸如 Monitoring、Search Profiler、Grok Debugger 以及额外的 Elastic Maps 缩放级别。你是否知道我们还将在这一层继续添加更多功能,如 Canvas 和 Elasticsearch SQL?

当我们往X-Pack 里添加免费功能的时候,我们这么做是因为我们知道这些功能可以帮助用户更好的使用 Elastic Stack。不幸的是,太多功能你都不知道 -- 也许知道 -- 或得益于这些功能。所以这意味着有很大一部分用户在使用我们软件的时候往往不是最佳实践。

我们也知道,获得这个免费软件的过程是一个糟糕的用户体验,涉及到一个完整的集群重启。并且如果你想查看代码,抱歉,不可以。尤其是这些免费功能和很大一部分用户相关,你会问我们一些很好但是很难的问题,比如:“我如何就这些免费功能与你们交互?”,“我如何开启一个 issue 或是贡献代码?”

而我们没有很好的答案。

通过公开 X-Pack 的代码,我们解决了这些我们部分产品开源以及部分产品不是的问题。很快,所有的免费的和商业的特性你都可以开启一个 issue、查看特性讨论、检查源代码、与我们协助和提交一个 pull request。

具体细节

这意味着什么,技术上来说?

自 6.3 版本起,所有 $PRODUCT(项目)仓库(Elasticsearch, Logstash, Kibana, Beats) :

  • 所有现存的 Apache 2.0 协议的代码都将保持相同的协议,什么都不用动。
  • 我们会创建一个新的 X-Pack 目录,将 x-pack-$PRODUCT 的代码放入到该目录,基于 Elastic EULA 协议,允许相应的衍生和贡献。
  • 我们将修改最顶层的协议为一个简单的 Elastic License,包含这个仓库里面那些文件是Apache 2.0,那些是 Elastic EULA 的详细细节。

同时,X-Pack 功能将打包到默认的发行版里面。所有免费的功能都包含在里面且默认开启且永远不会出现‘过期’,而商业特性则可以通过试用证书可选的启用。因为免费的证书永远不会过期,所以你再也不用通过注册来就直接获取它了。除此以外,一个只包含 Apache 2.0 协议代码的包也会同样会创建并提供下载。

更多信息以及常见问题,可以在 Opening X-Pack 页找到。

总结

我们相信开源。作为一种分布模式。作为一种建立企业的方法。作为我们公司的未来。 我们承诺并保持我们将保持开放,并对我们将在 6.3 比以往任何时候都更加开放而感到兴奋。

感谢你们对我们的信任。

Elastic 宣布 2018 年 Elastic Cause Awards 的获奖者

资讯动态medcl 发表了文章 • 0 个评论 • 648 次浏览 • 2018-02-28 12:42 • 来自相关话题

IMG_4195.JPG

嘉奖 Elastic 社群促进全球福祉的杰出项目

旧金山,2018 年 2 月 27 日 - (GLOBE NEWSWIRE)--(Elastic{ON} 2018) - Elasticsearch 和 Elastic Stack 幕后公司 Elastic 今日在 Elastic {ON} 2018 开幕礼主题演讲中宣布第二届 Elastic Cause Awards 的获奖者。为表彰Elastic 社群的热情、创新和奉献精神,2018 年 Elastic Cause Awards 嘉奖了四个推动 Elastic 软件发展并造福全球的项目。今年的获奖者包括:Dimagi、Libraries Without Borders (Bibliothèques Sans Frontières) 、Refugee Datathon Munich 和 Thorn: Digital Defenders of Children。

Elastic Cause Awards 是 Elastic 不断扩展的慈善使命之一,该公司将继续致力于慈善事业,以进一步惠及使用Elastic Stack 的非牟利组织。第二届 Cause Awards 覆盖数十家组织提名,致力改善人类状况,改善环境或协助当地、地区或全球有需要的人口。评审包括 Elastic 创始人兼首席执行官 Shay Banon、人力资源部副总裁Leah Sutton,以及由 Elastic 开发人员、产品和客户专家组成的小组,他们根据其影响、利他主义和影响力评估入围者。每个获选的项目团队均可获得最多两位项目成员的免费会议门票和酒店住宿,并将在 Elastic {ON} 2018 的各项活动中亮相。 Banon 表示﹕“在我们开始使用 Elastic 时,我知道我们的软件产品可用来帮助开发人员解决组织内的重要实用范例,但我从来没有预料到它会对解决全球人道主义和环境问题带来影响。我的灵感来自我们通过今年的 Elastic Cause Awards 了解到改变生计的举措,并为我们实现这一目标所作出的微不足道的努力而感到谦卑。”

  • Dimagi Dimagi 正在印度帮助打击肺结核(tuberculosis / TB)流行病,该流行病占全球肺结核病例的 23%,并通过集成的移动和网络应用程序帮助医护人员追踪结核病患者。在 Dimagi 的软件平台 CommCare 基础上,该应用程序利用 Elastic Stack 从初步诊断以至整个护理过程中追踪获治疗者,并在整个过程中提供可操作的数据。 该应用程序目前能够实时汇总数据,以追踪选定地区的 150,000 名患者。 Dimagi 高级工程师 Farid Rener 表示﹕“印度每三分钟便有两人死于肺结核。这是一种需要实时关注和需要创新解决方案的流行病。我们相信移动解决方案可改变服务交付计划的效率、质量和影响力。通过将我们的移动数据收集平台与 Elastic Stack 的强大功能互相结合,我们正在提高医护人员追踪患者的效率,并让政府决策者更准确、及时地掌握当前计划的效果。”

  • Libraries Without Borders (Bibliothèques Sans Frontières) Libraries Without Borders 促进自由开放的信息和教育,为全球弱势社群提供学习和发展的工具和技能。该组织正在推出数字图书馆(KoomBook)以及便携式“弹出式”数字媒体中心(Ideas Box),为需要帮助的小区提供教育和文化资源,包括全球难民和流离失所的人群,以及发达国家中服务不足的小区。通过 Elastic Stack 提供的日志分析和仪表板可实时了解数字资源的使用情况以及用户的浏览习惯和兴趣,从而令组织能更有效地评估影响和相关性,并改善用户体验。 Bibliothèques Sans Frontières 数字项目经理 Steven Walliman 表示﹕“Elastic Stack 能够处理各种原始日志,同时也能产生具有吸引力的视觉效果,这种功能完全符合我们的需求。通过让 IT 团队更好地了解性能和稳定性,以及能够衡量图书馆员的选择的相关性,Elastic Stack 增强了我们项目的影响力。我们期待着深化两个组织之间的联系,因为我们具有实现增强弱势社群能力和改善全球数以百万计人口生计的愿景。”

  • Refugee Datathon Munich Refugee Datathon Munich 于 2015 年秋季成立,在慕尼黑为难民提供大规模支持,并为欧洲难民活动家提供最新和可靠的数据。该组织的软件从官方网站提取寻求庇护者的统计数据,然后依靠 Elastic Stack 在发布信息之前分析数据。该软件帮助活动家实时掌握当前庇护趋势(如各原籍国的批准率),同时通过驳回错误陈述和难民偏见报告为公众提供服务。 Refugee Datathon Munich 数据架构师 Suny Kim 表示﹕“当我们看到活动家难以使用 Excel 以解释难民情况时,我们意识到有必要给予他们更多的探索能力,为其提供更多最新的数据和减少工作量。Elastic Stack 帮助我们从欧盟统计局的统计数据中获取大量数据,并以交互方式来进行分析。对我们来说,这就是民主所在:获得信息,参与其中。全球难民形势是我们这个时代的重大挑战之一,我们的项目是通过体面和充分的方式应对这一挑战的民主进程的一部分。”

  • Thorn: Digital Defenders of Children Thorn 由 Ashton Kutcher 和 Demi Moore 共同创立,通过技术开发来保护儿童免遭性虐待。对于寻找和救援更多孩子而言,必须做到分秒必争。Thorn 在其产品中使用 Elastic Stack 来简化功能,帮助执法机构搜索数以百万条记录,并快速找到识别儿童的小片信息。2016 年和 2017 年,加快识别性交易受害儿童的 Spotlight 帮助确定了 5,791 名儿童性贩运受害者(每天8名)。Thorn 的另一个产品 Solis 已被 17 个国家的执法部门使用,并已救出 72 名儿童性虐待受害者,这些儿童的照片在暗网上散布。 Thorn 首席执行官 Julie Cordua 表示﹕“通过与 Elastic 这样的领先技术公司合作,我们成功建立了能更快找到儿童性虐待受害者的尖端工具,使网络环境更安全,并阻止犯罪行为。在通过技术打击儿童性虐待犯罪的过程中,我们意识到技术的强大之处,我们选择善用有关技术,以成功打击儿童性贩卖和其他网上贩卖活动。”

Elastic Cause Award 最终入围名单包括﹕

  • Action Network:帮助进步组织进行有针对性的宣传和外展
  • CBC Radio:能发掘各类型的新兴音乐艺术家
  • Factr:通过共建情报流促进解决全球问题
  • Mark43:通过更好的软件减少暴力犯罪
  • Internet of Things for Disaster Risk Reduction (IoT-DRR):通过监测和分析智能雨水箱和河流水位来减少灾害风险
  • University of Bristol:促进应用门德尔随机化
  • US NAVY:通过网络安全保护美国海军的水兵和士兵
  • 弗吉尼亚理工学院和州立大学(Virginia Polytechnic Institute and State University / Virginia Tech ):为环境和农业利益相关者监测流域
  • weblyzard Technology:为联合国环境规划署(UNEP)创建环境网页情报门户,以确定意见领袖并根据主题和地理位置构建公众辩论途径
  • Zebra Medical Vision:策划临床和算法数据集

关于Elastic

Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品包括开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一种托管服务)。迄今为止,这些产品的累积下载次数已超过 2.25 亿。Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 800 位员工,分布于世界上 30 多个国家和地区。欲了解详情请访问:elastic.co。

媒体联系人:

Michael Lindenberger

Reidy Communications for Elastic

Michael@reidycommunications.com

(415) 531-1449

亚太地区 Jeff Yoshimura

Communications @ Elastic

pr@elastic.co

Elastic 在年度用户大会 Elastic{ON} 2018 上发布众多新功能和技术预览

资讯动态medcl 发表了文章 • 1 个评论 • 1689 次浏览 • 2018-02-28 12:39 • 来自相关话题

IMG_0533.JPG

下载超过 2.25 亿次,Elastic 公开 X-Pack 源代码

旧金山 (Elastic{ON} 2018) – 2018 年 2 月 27 日 – Elastic,Elasticsearch 和 Elastic Stack背后的公司,今天宣布其产品累计下载次数达到 2.25 亿次的里程牌,去年累计下载次数是 1 亿。除此之外,Elastic 宣布公开其X-Pack 的源代码作为策略的一部分,让用户更容易地下载、检查和与 Elastic 工程团队一起在 X-Pack 特性开发上进行协作。给用户更简单的下载、检查及协助。X-Pack 目前包括了 security、alerting、monitoring、Graph 和machine learning 等众多功能。

“我们的产品被数以百万计的开发人员和成千上万的客户所依赖,他们依靠这些产品来驱动关键型业务,这令我们受宠若惊,” Elastic 创始人兼 CEO Shay Banon 表示, “正如他们与我们开源的产品打交道的一样,公开我们的 X-Pack 源代码能给我们的用户完全的透明度和具备与我们一起协助的能力。这样可以激励每一位开发人员、客户和使用我们软件的合作伙伴,帮助我们创造更好的产品和特性以及允许我们构建一个可持续发展的商业模式。”

Elastic 在过去18个月内收购了三家新公司,并在全世界发展了超过 100,000 多位开发者的技术社区。 Elastic{ON} 2018, 是一个最大型的 Elasticsearch 用户聚集的大会。在三天的时间里,超过 2500 名与会者聚在一起学习和分享创意,观看新功能的发布,并获得即将发布的新技术的预览。

  • Elastic APM: 这是 Elastic APM 第一个可被用于生产环境的版本,作为 Elastic 产品栈进入应用性能监控领域的一个延伸。它允许应用程序开发人员和 devops 工程师能够监视和分析特定的代码行对系统和业务性能的影响。这不仅仅是提升速度,同时也能扩展调试流程,将代码性能变化与操作历史有机结合。Elastic APM 将数据存储到 Elasticsearch 的索引里面,允许将 APM 数据与来自 Logstash 或者 Beats 的日志和监控指标进行关联分析,包含针对 Nodejs、Python、Ruby 和 JavaScript 的服务端组件和探针。还提供一个 APM 分析应用来实施典型的 APM 工作流。Elastic APM 已经作为 6.2 发布的一部分可被下载。

  • Swiftype App Search: 为开发者构建用以为他们的应用程序提供强大的搜索能力,Swiftype App Search 交付一系列稳健的 API 和额外的搜索相关的特性,如搜索结果重排、同义词和容错等。Swiftype App Search 是一个一站式的 Saas 解决方案,不需要基础设施、管理和维护,提供一个简单上手的用户体验。 Swiftype App Search 现已公测。

  • Machine Learning Forecasting: Elastic 机器学习能力的第一个主要扩展,用于预测分析领域。用户可以对时间序列数据进行建模,并使用复杂的、现成的机器学习算法来预测未来可能发生的结果。借助按需预测,用户可以使用现有的机器学习工作,并使用内置的预测模型,来准确预测改模型在预测周期内的增长情况。预测结果被写入到 Elasticsearch 的索引中,用户可用来和实际的数据进行比较。Elastic 的机器预测能力已包含在 6.2 的版本里面。

  • GIS App: Elastic 的一个全新研究项目,GIS(地理信息系统)是一个被设计用来捕获、存储、操作、分析、管理和呈现所有地理类型数据的系统。作为 Kibana 的一部分,这个 应用让你以一种全新的方式来执行特定的地理位置分析,在 Dashboard 里面加入内置的增强地图可视化组件。它的核心特性包括,多层地图的支持,映射独立的坐标点和用户端样式自定义。GIS App 目前已提供技术预览版。

  • SQL for Elasticsearch: 这个新特性为世界上最成熟的 SQL 数据库开发人员打开了释放 Elastic Stack 强大能力的大门,允许用户用熟悉的 SQL 语法来查询 Elasticsearch 里面的数据。JDBC 协议的支持,大大的简化了将 Elasticsearch 导出到外部 SQL 环境使用的情况。通过允许 Elasticsearch 通过 RESTful 协议理解 SQL,Elasticsearch SQL 允许你使用 SQL 语法来查询 Elasticsearch 里面的数据,以 SQL 引擎一致的表格形式返回那些查询结果,并提供一个用户接口来探索这些数据。Elasticsearch SQL 去年还只是作为一个概念被推出,现在马上将发布 alpha 和 beta 版本。

  • Canvas: Canvas 为下一代数据可视化和数据呈现展现了一个全新的篇章。随着 Kibana 越来越受欢迎,Canvas 展现了一种新的方式,可以将数据从 Elasticsearch 中获得的洞察赋予在线的、实时的仪表盘、幻灯片演示和信息图表。Canvas 能让用户能以一种前所未有的方式来表达 Elasticsearch 数据背后的故事,消除将数据导出到 Excel 中的详尽、重复和耗时的过程,来构建 PowerPoint。 Canvas 同样也是可插拔的,允许用户带来新的数据源、可视化类型和 UI 可视化组件。Canvas 去年作为一个概念被提出,目前已提供技术预览版可被下载。

  • Rollups: 一般来说,具备关联的指标和日志数据需要长时间保存,rollups 可以让用户存储有限的数据集,减少历史数据的磁盘占用。Elasticsearch 的 rollup 作业可以让用户配置一个定时任务来对数据进行 “rollup” 或预聚合,并保存结果到一个索引。举一个指标监控的例子,如:“web 服务器每小时的平均负载”,也就是说,平均数据被 rollup 起来并存储,但是其它原始数据,如特定用户、页面、IP 信息却不会。该功能将很快在 Elasticsearch 里面提供测试版本并随后在 Kibana 里面提供支持。

  • Flexible Deployment Configurations: 随着客户将随着越来越多的数据放进 Elasticsearch 并扩展越来越多的使用场景,Elastic 引入 “sliders” 功能来让用户获得定制他们集群配置的能力。Elastic Cloud 和 Elastic Cloud Enterprise (ECE) 客户将获得这些新能力:支持多种类型的硬件可供选择;支持集群模板和 hot/warm 集群;给现有集群添加机器学习节点、独立 master 节点和 APM 节点的能力。这些新特性很快将能在 Elastic Cloud 和 Elastic Cloud Enterprise 上可用。

  • Logstash Azure Monitoring Module: 通过与微软合作,Logstash Azure 监控模块目前是借助 Elastic Stack 监控你的 Azure 基础设施和服务的最简单的方式。新模块集成了 Azure 的集中式日志服务来标准化 Azure 日志和指标,并转换成 JSON 格式。使用 Logstash 来消费这些数据录入到 Elasticsearch。同时借助 Kibana,用户能够分析基础设施的改变和授权信息;识别可疑的行为和潜在的恶意用户;通过调查用户行为来执行根源分析;监控和优化 SQL 数据库的部署。该功能将很快提供 beta 版本。

最后,Elastic 宣布一个新的、官方的 Elastic 认证计划。在用户要求获得专业认证的推动下,Elastic 将为用户提供新的培训课程,让他们成为专家,并通过 Elastic 认证。新课程 Elasticsearch Engineer I 和 Elasticsearch Engineer II 将为用户提供安装、管理和优化 Elasticsearch 集群的第一手知识,也包括,开发新的解决方案来分析他们的数据。这些课程是成为一名 Elastic 认证工程师的基础,包括动手、技术和基于性能的认证考试,通过考试将获得由官方颁发的 Elastic 电子认证徽章。

了解更多

Elastic Opening X-Pack Blog Opening X-Pack FAQ Elastic Certification Elastic Cause Awards

关于 Elastic

Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品包括开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一种托管服务)。迄今为止,这些产品的累积下载次数已超过 2.25 亿。Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 800 位员工,分布于世界上 30 多个国家和地区。欲了解详情请访问:elastic.co。

媒体联系人:

Michael Lindenberger

Reidy Communications for Elastic

Michael@reidycommunications.com

(415) 531-1449

亚太地区 Jeff Yoshimura

Communications @ Elastic

pr@elastic.co

【阿里云】专访阿里云 MVP & Elastic中文社区发起人 曾勇—— 做你想做的事情,培养解决问题的能力

Elasticsearchfeil 发表了文章 • 1 个评论 • 578 次浏览 • 2018-02-06 13:45 • 来自相关话题

本期邀请阿里云MVP & Elastic中文社区发起人曾勇进行专访! 详细专访请戳这里或扫描下图中二维码查看,谢谢! 曾勇用专业传递技术能量,分享自身技术发展之路,从技术人转型到技术管理者的历程,创新的技术能量希望对你有所启发!
封面-曾勇.jpg
 
本期邀请阿里云MVP & Elastic中文社区发起人曾勇进行专访! 详细专访请戳这里或扫描下图中二维码查看,谢谢! 曾勇用专业传递技术能量,分享自身技术发展之路,从技术人转型到技术管理者的历程,创新的技术能量希望对你有所启发!
封面-曾勇.jpg
 

Elastic Stack 全新推出 6.0.0

资讯动态medcl 发表了文章 • 2 个评论 • 2002 次浏览 • 2017-11-15 13:34 • 来自相关话题

1510725544562.jpg

https://www.elastic.co/cn/blog/elastic-stack-6-0-0-released

全新推出 6.0.0。

无需多说。你应该立即下载试用,或者通过你最喜欢的托管式 Elasticsearch 和 Kibana 提供平台 Elastic Cloud 亲身体验。

如果你在过去几个月没有跟上我们的发布节奏,可能会对今天的公告感到意外。今天标志着成千上万的 pull 请求和成百上千位代码提交者的努力终见成效。期间共有两个 alpha 版本、两个 beta 版本、两个候选版本以及最终的通用版本 (GA)。这个里程碑离不开 Elastic 各路团队的努力。还要感谢参与先锋计划的用户提出的意见和反馈。

今天,我们不仅发布了整套 Elastic Stack,还发布了 Elastic Cloud Enterprise 1.1,其中包括 6.0 支持、离线安装,并且对用户体验进行了一系列改进,旨在简化集群的配置、管理和监控。同天发布多款产品的正式版本还不够……还有仍是 Alpha 版本的 APM ,我们邀请大家在 6.0.0 中对它进行测试。

一个版本有如此多的亮点,该从哪里说起呢?你们撰文细述也好,提供详情链接也好,祝你们有愉快的阅读体验……更重要的是……祝你们有愉快的搜索、分析和可视化体验。

Elasticsearch

全新零停机升级体验,增加了序列 ID、改进了对稀疏数据的处理、加快了查询速度、分布式执行 watch 等等。功能摘要请查看详情

Kibana

支持 “Dashboard Only” 模式,支持 “全屏” 模式,能够将保存的搜索结果导出到 .csv,X-Pack 黄金版及以上版本支持通过 UI 创建告警,X-Pack 基础版提供迁移助手,我们还通过调整对比度、支持快捷键来产品易用性,让用户使用起来更方便。数据交互的未来详见此贴

Logstash

单一 Logstash 实例中可存在多个自成体系的管道,另有新增 UI 组件 - X-Pack 基础版中的管道查看器,以及 X-Pack 黄金版中的 Logstash 管道管理。了解详情,点这里

Beats

Beats <3 容器以及 Beats <3 模块(并且改进了适用于这些模块的仪表板)。再结合全新命令和配置布局,在 Metricbeat 实现更高效的存储。此外,全新推出 Auditbeat。细节详见这里

ES-Hadoop

对Spark的结构化数据流的一流支持已经降落到了 6.0,并重新编写了连接器映射代码以更好地支持多个映射。支持读写新的连接字段也被添加了。用户现在也可以利用非内联脚本类型的更新操作。详细信息

立即获取!

Elastic Meetup 长沙交流会

活动medcl 发表了文章 • 0 个评论 • 1396 次浏览 • 2017-10-18 16:06 • 来自相关话题

timg_(3).jpeg
  Elastic Meetup 下半年活动首站位于长沙,是湖南省省会,古称潭州,别名星城,历经三千年城名、城址不变,有“屈贾之乡”、“楚汉名城”、“潇湘洙泗”之称。   主办: 本次活动由 Elastic 与长沙软件园联合举办。   时间: 2017.10.28​  下午2:30-5:30   地点: 长沙市岳麓区岳麓大道588号芯城科技园2栋4楼会议室   主题:
  1. Elastic - Medcl - Elastic Stack 6.0 新功能介绍
  2. 芒果 TV - 刘波涛 - 芒果日志之旅
  3. 基于爬虫和 Elasticsearch 快速构建站内搜索引擎
  4. 闪电分享(5-10分钟,可现场报名)
  参会报名: http://elasticsearch.mikecrm.com/O6o0yq3     武汉、广州、深圳也在筹备中:https://elasticsearch.cn/article/261     关于 Elastic Meetup Elastic Meetup 由 Elastic 中文社区定期举办的线下交流活动,主要围绕 Elastic 的开源产品(Elasticsearch、Logstash、Kibana 和 Beats)及周边技术,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。   关于 Elastic
elastic-logo-H-full-color.jpg
Elastic 通过构建软件,让用户能够实时地、大规模地将数据用于搜索、日志和分析场景。Elastic 创立于 2012 年,相继开发了开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、X-Pack(商业功能)和 Elastic Cloud(托管服务)。截至目前,累计下载量超过 1.5 亿。Benchmark Capital、Index Ventures 和 NEA 为 Elastic 提供了超过 1 亿美元资金作为支持,Elastic 共有 600 多名员工,分布在 30 个国家/地区。有关更多信息,请访问 elastic.co/cn。   关于长沙软件园
WechatIMG29.jpg
长沙软件园有限公司成立于2001年,注册资本3000万元人民币,位于长沙高新区麓谷科技新城,是国家科技部批准的国家火炬计划软件产业基地、国家数字媒体技术产业化基地、国家863软件专业孵化器,是国家发改委、信息产业部批准的中部地区唯一的国家软件产业基地。 现有专职的管理和专业技术人员40多人,全部具有大学本科及以上学历,其中硕士和博士学历人员占35%左右,具有中高级职称人员占50%左右,具备丰富的软件行业管理、产业服务和专业技术服务的经历和经验。 从软件园有限公司正式成立以来,先后承担科技部火炬计划项目:“中间件技术公共应用开发平台”和“长沙资源信息管理系统”、“长沙软件园优势领域关键共性技术开发应用平台”;承担了2个国家科技部863项目:“面向网络应用集成的软件支撑环境”、“支持银税类控制设备智能化升级的嵌入式软件平台”,承担了国家火炬计划课题,所有课题均顺利结题。     再次感谢长沙软件园的大力支持!

Elastic与阿里云达成合作伙伴关系 提供 ” 阿里云 Elasticsearch ” 的新服务

资讯动态medcl 发表了文章 • 4 个评论 • 1163 次浏览 • 2017-10-13 14:39 • 来自相关话题

新服务发布 -阿里云 Elasticsearch 将包含 Elasticsearch、Kibana 及 Elastic 的 X-Pack 功能 Elastic - 旗下拥有 Elasticsearch,以及使用最广泛的开源产品集合 Elastic Stack,用于解决搜索、日志和数据分析等关键任务型用例 - 今天宣布与阿里巴巴集团(纽约证券交易所代码:BABA,「阿里巴巴」)旗下云计算平台阿里云达成新的合作伙伴关系,旨在共同研发及发布于阿里云上提供托管的 Elasticsearch,为中国市场提供崭新的用户体验。 这项名为 “ 阿里云 Elasticsearch ” 的新服务能让阿里巴巴的客户随心所欲地运用 Elasticsearch 强大的实时搜索、采集及数据分析功能,是一站式而且主导性的解决方案。 阿里云总裁胡晓明先生表示:“作为全球领先的云计算服务提供商,阿里云内致力于通过我们的平台向客户提供最先进的产品,使其保持竞争优势并促进创新。” 他指出:“阿里云 Elasticsearch 将会成为一项高度差异化的服务,因为它运用了 Elastic 先进的搜索产品及强大的 X-Pack 功能,不论在服务的任何层面上,均容易上手使用以及方便管理。” 阿里云 Elasticsearch 现已正式上线,简单配置即可添加到客户的云计算服务之上。通过 Elasticsearch 实时搜索的能力与客户应用相结合,以 Logstash 或 Beats 将数据导入阿里云 Elasticsearch 里,使用 Kibana 仪表板把实时及历史数据可视化,加上 X-Pack 的一系列功能如 security、alerting、monitoring、reporting、Graph 分析及 machine learning,为开发人员提供一站式产品的体验。 此外,阿里云和 Elastic 会着力于技术提升,确保阿里云 Elasticsearch 与时并进,拥有最新的功能。在未来,日志导入功能及其他服务也将相继可用。 Elastic 创始人兼首席执行官 Shay Banon 先生表示:“中国对我们来说是一个不断增长的市场,过去几年间,我们看到 Elasticsearch 的社区版图扩展至超过 5000 多位开发人员。 通过与亚洲最大的云端供应商阿里云合作,并配合 Elasticsearch 的实时处理能力、强大的 X-Pack 功能,如 security,alerting和 machine learning,我们能够一同加快中国广大开发者生态的创新步伐,构建、托管及管理更多不同的应用。”
aliyun-alibaba-simon-shay-handshake.jpg
阿里云总裁胡晓明与 Elastic 创始人兼首席执行官 Shay Banon 了解更多 阿里云 Elasticsearch Elastic &amp; Alibaba Blog 关于阿里云 阿里云创立于 2009 年, 为阿里巴巴集团旗下云计算业务。现时被 Gartner 评为全球 3 大基础设施即服务 (IaaS) 供货商之一。根据 IDC 2016年调研显示,阿里云为中国最大的公共云端服务供货商,基础设施即服务 (IaaS) 收入全球排行第四。阿里云提供全面的云计算服务,支持世界各地的企业,包括在阿里巴巴集团市场上做生意的商家、初创公司、企业级客户及政府机构等。阿里云现时为国际奥林匹克委员会官方云服务官方合作伙伴。有关更多信息,请访问 https://www.aliyun.com关于 Elastic Elastic 通过构建软件,让用户能够实时地、大规模地将数据用于搜索、日志和分析场景。Elastic 创立于 2012 年,相继开发了开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、X-Pack(商业功能)和 Elastic Cloud(托管服务)。截至目前,累计下载量超过 1.5 亿。Benchmark Capital、Index Ventures 和 NEA 为 Elastic 提供了超过 1 亿美元资金作为支持,Elastic 共有 600 多名员工,分布在 30 个国家/地区。有关更多信息,请访问 elastic.co/cn。 https://www.elastic.co/cn/abou ... cloud

Elastic Stack 6.0 发布 beta 版本啦!

资讯动态medcl 发表了文章 • 11 个评论 • 3063 次浏览 • 2017-08-09 10:29 • 来自相关话题

头条新闻:Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn      注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。
DGu1frNXoAEVYlM.jpg
  6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。   Elasticsearch [下载] [6.0 Breaking Chages] https://www.elastic.co/blog/el ... eased
  • Sequence numbers and fast recovery
新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
  • Search scalability
移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
  • Preventing full disks
新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
  • Removal of default passwords
为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
  • 优化 Profiling 的开销占用,进一步较少针对超时及查询取消的检查开销
  • 提升 Percolator 的性能
 更多改进:[Beta1 Release Notes]     Kibana [下载] [Breaking Changes] https://www.elastic.co/blog/ki ... eased
  • Upgrade Assistant and Rolling Upgrade Support
  新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。
issue_1619_2.png
  • Watcher UI for Threshold Based Alerts
新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。
Snip20170809_9.png
  • Experimental Kibana Query Language
引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
  • Refactoring of the Visualizations Code
通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。
issue_11786_0.JPG
  • X-Pack Monitoring Email Notifications for Cluster Alerts
支持设置监控的告警邮件发送。
Snip20170809_7.png
  • Cluster Alert for X-Pack License Expiration
证书过期现在有自动的提示了。
image_(3).png
  • New Colors to Improve Accessibility
改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。
Screen_Shot_2017-07-28_at_1.26_.42_PM_.png
Snip20170809_10.png
  • Full Screen Mode for Dashboard
新增的全屏模式对 Dashboard 的大屏展现更加友好。
Snip20170809_8.png
更多详情:[6.0 Beta1 Release Notes]     Logstash [下载]  https://www.elastic.co/blog/lo ... eased
  • Pipeline Viewer
X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。
pipeline_viz2.png
  • Centrally manage configurations
用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。
Snip20170809_11.png
  • Ingest to Logstash convertor
提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。
$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf 

   Beats [下载] [Breaking Changes] https://www.elastic.co/blog/be ... eased
  • Auditbeat
一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。
auditbeat-file-integrity-dashboard.png
  • New commands and configuration layout
一些常见的操作,你现在可以直接通过命令的方式来快速操作了。
$ metricbeat modules list
$ metricbeat modules enable redis
$ metricbeat modules disable redis
  • Add Docker metadata to the Docker logs
将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
  • Internal pipeline refactoring
Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。   更多详情:[Beta1 Release Notes]    ES-Hadoop [下载] https://www.elastic.co/blog/es ... eased
  • Spark 2.2.0 and Stable Support for Spark Structured Streaming
  • Support for new Join Fields
  • Multiple Mappings and Multiple Index Reads
  更多详情:[Release Notes]   上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!  

[招聘] 📡Elastic 邀您一起共创开源事业 ❄️

求职招聘medcl 发表了文章 • 3 个评论 • 3387 次浏览 • 2017-07-27 16:20 • 来自相关话题

ElasticON16-Group-Photo-small.jpg
想不想去最棒的开源软件公司工作? 想不想不用朝9晚5浪费大量时间在路上,在家就能办公? 想不想让您的代码运行在成千上万台服务器上面,拯救世界? 想不想工作与生活的完美结合,做自己感兴趣的事情? ... ... 那考虑来Elastic吧,与全球顶尖工程师一起合作,福利待遇从优,一年至少2次出国机会。 基本要求:
  • 英语流利沟通
  • 掌握现代开发技术
  • 贡献过Elastic相关开源项目者优先
    下面是热招职位,位置不限,We are Distributed!  除了上面这些,还有很多其他市场商务类职务, 查看 Elastic 全部在招职位信息,点击这里关于 Elastic Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品:开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一个 SaaS 服务)。迄今为止,这些产品的累积下载次数已超过 3.5 亿。 成千上万的企业包括思科、易趣、高盛、美国宇航局、微软、梅约诊所、纽约时报、维基百科以及微讯通信等都在使用 Elastic 来助力其关键业务应用。  Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 1000 位员工,分布于世界上 30 多个国家和地区。了解更多请访问: elastic.co 。

ElasticHD: ElasticSearch Dashboard Application

Elasticsearchfarmerx 发表了文章 • 26 个评论 • 30966 次浏览 • 2017-06-06 14:55 • 来自相关话题

ElasticHD 是一款 ElasticSearch的可视化应用。不依赖ES的插件安装,更便捷;导航栏直接填写对应的ES IP和端口就可以操作Es了。目前支持如下功能:

  •  ES Real time data search
  •  ES Dashboard data visualization
  •  ES Index Template (在线修改、查看、上传)
  •  ES Indices Index deletion and search
  •  SQL Converts to Elasticsearch DSL
  •  ES 基本查询文档

Install elasticHD Precompiled binaries for supported operating systems are available. Basic Usage
  •   linux and MacOs use ElasticHD
  1. 下载对应的elasticHD版本,unzip xxx_elasticHd_xxx.zip 
  2. 修改权限 chmod 0777 ElasticHD 
  3. 可指定ip端口运行elastichd ./ElasticHD -p 127.0.0.1:9800 默认 ip和端口也是这个
  •  windows use ElasticHD 
  • 直接下载对应windows版本,解压,双击运行。当然想指定端口的话同linux
  
     Application Info  

    Elastic{ON} Dev China 2016 开始报名了!

    资讯动态medcl 发表了文章 • 8 个评论 • 2873 次浏览 • 2016-09-20 22:23 • 来自相关话题

    大会网站:https://info.elastic.co/elasticon-dev-china.html  大会网站:​[url=http://conf.elasticsearch.cn]http://conf.elasticsearch.cn​[/url] 大会介绍: Elastic 中国开发者大会 2016(Elastic{ON} Dev China 2016)是由 Elastic 官方在中国举办的第一次开发者大会,前身 ESCC (Elasticsearch China Conference) 是由 Elastic 中文社区每年定期举办的线下交流活动,主要围绕 Elastic 的开源产品: Elasticsearch、Logstash、Kibana 和 Beats,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。  大会时间: 2016-12-10 08:00 至 2016-12-10 18:00 周六   如何参与: 提供赞助:http://elasticsearch.mikecrm.com/nECSP4 提交演讲:http://elasticsearch.mikecrm.com/x0y56G 当志愿者:http://elasticsearch.mikecrm.com/n5BVwP 购买门票:http://event.3188.la/460820612/   大会具体场地和日程不断更新中,敬请关注!

    如何反向设置es mapping template

    Elasticsearchrunc 发表了文章 • 1 个评论 • 2786 次浏览 • 2016-08-31 14:26 • 来自相关话题

    比如,由logstash打到es中的数据,除了其中一个字段比如message,其余字段都想设置为not analyzed,这种情况如何设置?貌似目前es只支持设置那些具体的字段为not analyzed,而不能反过来设置啊?
    比如,由logstash打到es中的数据,除了其中一个字段比如message,其余字段都想设置为not analyzed,这种情况如何设置?貌似目前es只支持设置那些具体的字段为not analyzed,而不能反过来设置啊?