X-Pack 代码已公开并上线

几个小时前, Elastic 商业插件 X-Pack 的源代码已正式 Merge 进 Master,作为一家开源软件公司,能够将商业部分的代码也公开,实在是需要很大的勇气(我深感自豪),这一切都是为了更好的打造一个更加好用的产品:Elastic Stack,只有开放才能走的更远!

想了解更多关于 X-Pack 代码公开背后的介绍,可以看 Elastic 创始人 Shay 的这篇博客:https://elasticsearch.cn/article/513

相关代码已在 github 上面可以找到:

Elasticsearch

Kibana

Logstash

Beats

有关问题可以在此回复,我会一一解答。

继续阅读 »

几个小时前, Elastic 商业插件 X-Pack 的源代码已正式 Merge 进 Master,作为一家开源软件公司,能够将商业部分的代码也公开,实在是需要很大的勇气(我深感自豪),这一切都是为了更好的打造一个更加好用的产品:Elastic Stack,只有开放才能走的更远!

想了解更多关于 X-Pack 代码公开背后的介绍,可以看 Elastic 创始人 Shay 的这篇博客:https://elasticsearch.cn/article/513

相关代码已在 github 上面可以找到:

Elasticsearch

Kibana

Logstash

Beats

有关问题可以在此回复,我会一一解答。

收起阅读 »

开放公开,火力全开:Elastic 宣布公开其商业产品 X-Pack 的源代码

by Elastic CEO Shay Banon 原文

IMG_4009.JPG

我很高兴的宣布,我们将公开我们 X-Pack 特性的所有代码 - Security、Monitoring、Alerting、Graph、Reporting、专门的 APM UI、Canvas、Elasticsearch SQL、Search Profiler、Grok Debugger、Elastic Maps Service zoom levels 以及 Machine Learning - 为了促进我们与客户及社区的更大的协作,正如我们今天为我们的开源代码所做的一样。

我为我们公司围绕我们的开源产品而自豪,一直以来我们都没有破坏创新或放弃对开放的承诺。当我们展望未来的时候,我们看到了一个机会,让我们更加坚信开放,甚至更加彻底,同时引入一个新的、更加高效的模式来构建一个成功的、可持续的围绕开源的商业模式。

这篇博客概述了我们做出这些改变的想法和细节,不过,让我澄清一件事 - 我们是一家开源软件公司。我们将继续保持为一家开源软件公司。我们比以往任何时候都要更加开放,我个人,我的团队,整体而言,都致力于此。

为什么开源?

当我第一次开始写 Elasticsearch 的时候,我知道它必须是开源的。开源作为一种开发模式和分发方式,提供了接触更多人的机会。所有这些人都能做出贡献。当然,通过代码可以做出贡献,但也可以通过使用免费的软件,持续不断的推进可能的边界。

与社区的合作可以确保,当你的项目成功时,会有一群热情的、专门的开发者指导你的特性开发,并将产品推向新的有趣的方向。例如,将聚合功能引入 Elasticsearch 让其可被当做一个可扩展的用于数据分析的产品。而像 Kibana 和 Logstash 这样的项目,以及后来的 Beats 的加入,无不令人鼓舞。随着我们用户的需求变得更加深入和专业,我们总能找到新的方法来支持他们,有些是通过新的功能、有些是产品,比如机器学习、APM 和站内搜索。

我们对开源的承诺深入了。这是我们花费大部分工程力量投入的地方,我们的社区贡献者和用户对我们创新进程也同样至关重要。但是,像我们这样快速推进产品的发展,需要大量的投资,这也是我们围绕这些技术成立一家公司的原因。

为什么商业软件?

那么,如果我们对开源软件已有如此深的见解,那为什么还是编写了商业软件呢?

我们是一家企业。作为企业的一部分,我们相信那些能够付款给我们的企业,应该付款给我们。而那些不能的,他们也不必付款给我们。作为回报,我们有义务确保我们继续添加功能和价值给我们所有的用户,并确保与我们的商业关系对客户有益。这是一家健康的公司所需要的平衡。

销售支持订阅服务是一个常见的开源软件的商业模式。可悲的是,只有支持的商业模式会朝向关于什么对用户最好以及什么对公司最好这样的冲突之中。在这种情况下,公司将没有动力让他们的产品更加简单好用,更加稳固和可扩展,因为那意味着这将吞噬其技术支持的利益。我们从来没有,也永远不会忍受为了确保公司继续经营而不让我们的软件变的更好。我们想要继续改进,我们支持服务的目标是让你的项目成功,然后你能成为你自有 Elastic Stack 部署的专家。

另外一种办法 -- 如果你们听过我的演讲,你们可能听我讨论过这个问题 -- 即构建一个‘企业版’的软件。这种,从本质上来讲,导致了社区的分裂,并在客户和用户之间产生了分歧。它的结果就是创建一种版本 -- 要么企业版,要么社区版 -- 被认为是权威的,往往滞后 master 很多。一个缺少特性的版本。一个在不同周期测试和发布的版本。一个有效的关闭了源代码的版本,因为您无法知道为了支持商业特性而更改了哪些内容。在 Elastic,所有我们的客户同时也是我们开源软件用户,使用相同版本的软件产品。我们不会创建一个社区版与企业版的版本。

那还有什么?识别高价值特性并将其作为核心软件的商业扩展。这种商业模式,我们有时候叫它“open core”,这是我们创造 X-Pack 的最终产物。为了构建和集成由我们维护知识产权(IP)的特性和功能,并提供订阅服务或免费的基础授权。保持我们对知识产权的控制,使我们能够有能力投资我们大部分的工程资源和时间,可以继续改进我们的核心,我们的开源产品。

这种方法使我们能够在世界各地建立一个分布式的公司,让我们感到惊讶的是,Elastic Stack 是如何被用来解决各种实际的、具体的问题的。添加适用于我们用户的特性和功能,并开发一些使我们能够持续到未来的功能。

但是这种方法也存在挑战…

更加开放

你是否知道 X-Pack 提供了一层免费的功能?这些能力诸如 Monitoring、Search Profiler、Grok Debugger 以及额外的 Elastic Maps 缩放级别。你是否知道我们还将在这一层继续添加更多功能,如 Canvas 和 Elasticsearch SQL?

当我们往X-Pack 里添加免费功能的时候,我们这么做是因为我们知道这些功能可以帮助用户更好的使用 Elastic Stack。不幸的是,太多功能你都不知道 -- 也许知道 -- 或得益于这些功能。所以这意味着有很大一部分用户在使用我们软件的时候往往不是最佳实践。

我们也知道,获得这个免费软件的过程是一个糟糕的用户体验,涉及到一个完整的集群重启。并且如果你想查看代码,抱歉,不可以。尤其是这些免费功能和很大一部分用户相关,你会问我们一些很好但是很难的问题,比如:“我如何就这些免费功能与你们交互?”,“我如何开启一个 issue 或是贡献代码?”

而我们没有很好的答案。

通过公开 X-Pack 的代码,我们解决了这些我们部分产品开源以及部分产品不是的问题。很快,所有的免费的和商业的特性你都可以开启一个 issue、查看特性讨论、检查源代码、与我们协助和提交一个 pull request。

具体细节

这意味着什么,技术上来说?

自 6.3 版本起,所有 $PRODUCT(项目)仓库(Elasticsearch, Logstash, Kibana, Beats) :

  • 所有现存的 Apache 2.0 协议的代码都将保持相同的协议,什么都不用动。
  • 我们会创建一个新的 X-Pack 目录,将 x-pack-$PRODUCT 的代码放入到该目录,基于 Elastic EULA 协议,允许相应的衍生和贡献。
  • 我们将修改最顶层的协议为一个简单的 Elastic License,包含这个仓库里面那些文件是Apache 2.0,那些是 Elastic EULA 的详细细节。

同时,X-Pack 功能将打包到默认的发行版里面。所有免费的功能都包含在里面且默认开启且永远不会出现‘过期’,而商业特性则可以通过试用证书可选的启用。因为免费的证书永远不会过期,所以你再也不用通过注册来就直接获取它了。除此以外,一个只包含 Apache 2.0 协议代码的包也会同样会创建并提供下载。

更多信息以及常见问题,可以在 Opening X-Pack 页找到。

总结

我们相信开源。作为一种分布模式。作为一种建立企业的方法。作为我们公司的未来。 我们承诺并保持我们将保持开放,并对我们将在 6.3 比以往任何时候都更加开放而感到兴奋。

感谢你们对我们的信任。

继续阅读 »

by Elastic CEO Shay Banon 原文

IMG_4009.JPG

我很高兴的宣布,我们将公开我们 X-Pack 特性的所有代码 - Security、Monitoring、Alerting、Graph、Reporting、专门的 APM UI、Canvas、Elasticsearch SQL、Search Profiler、Grok Debugger、Elastic Maps Service zoom levels 以及 Machine Learning - 为了促进我们与客户及社区的更大的协作,正如我们今天为我们的开源代码所做的一样。

我为我们公司围绕我们的开源产品而自豪,一直以来我们都没有破坏创新或放弃对开放的承诺。当我们展望未来的时候,我们看到了一个机会,让我们更加坚信开放,甚至更加彻底,同时引入一个新的、更加高效的模式来构建一个成功的、可持续的围绕开源的商业模式。

这篇博客概述了我们做出这些改变的想法和细节,不过,让我澄清一件事 - 我们是一家开源软件公司。我们将继续保持为一家开源软件公司。我们比以往任何时候都要更加开放,我个人,我的团队,整体而言,都致力于此。

为什么开源?

当我第一次开始写 Elasticsearch 的时候,我知道它必须是开源的。开源作为一种开发模式和分发方式,提供了接触更多人的机会。所有这些人都能做出贡献。当然,通过代码可以做出贡献,但也可以通过使用免费的软件,持续不断的推进可能的边界。

与社区的合作可以确保,当你的项目成功时,会有一群热情的、专门的开发者指导你的特性开发,并将产品推向新的有趣的方向。例如,将聚合功能引入 Elasticsearch 让其可被当做一个可扩展的用于数据分析的产品。而像 Kibana 和 Logstash 这样的项目,以及后来的 Beats 的加入,无不令人鼓舞。随着我们用户的需求变得更加深入和专业,我们总能找到新的方法来支持他们,有些是通过新的功能、有些是产品,比如机器学习、APM 和站内搜索。

我们对开源的承诺深入了。这是我们花费大部分工程力量投入的地方,我们的社区贡献者和用户对我们创新进程也同样至关重要。但是,像我们这样快速推进产品的发展,需要大量的投资,这也是我们围绕这些技术成立一家公司的原因。

为什么商业软件?

那么,如果我们对开源软件已有如此深的见解,那为什么还是编写了商业软件呢?

我们是一家企业。作为企业的一部分,我们相信那些能够付款给我们的企业,应该付款给我们。而那些不能的,他们也不必付款给我们。作为回报,我们有义务确保我们继续添加功能和价值给我们所有的用户,并确保与我们的商业关系对客户有益。这是一家健康的公司所需要的平衡。

销售支持订阅服务是一个常见的开源软件的商业模式。可悲的是,只有支持的商业模式会朝向关于什么对用户最好以及什么对公司最好这样的冲突之中。在这种情况下,公司将没有动力让他们的产品更加简单好用,更加稳固和可扩展,因为那意味着这将吞噬其技术支持的利益。我们从来没有,也永远不会忍受为了确保公司继续经营而不让我们的软件变的更好。我们想要继续改进,我们支持服务的目标是让你的项目成功,然后你能成为你自有 Elastic Stack 部署的专家。

另外一种办法 -- 如果你们听过我的演讲,你们可能听我讨论过这个问题 -- 即构建一个‘企业版’的软件。这种,从本质上来讲,导致了社区的分裂,并在客户和用户之间产生了分歧。它的结果就是创建一种版本 -- 要么企业版,要么社区版 -- 被认为是权威的,往往滞后 master 很多。一个缺少特性的版本。一个在不同周期测试和发布的版本。一个有效的关闭了源代码的版本,因为您无法知道为了支持商业特性而更改了哪些内容。在 Elastic,所有我们的客户同时也是我们开源软件用户,使用相同版本的软件产品。我们不会创建一个社区版与企业版的版本。

那还有什么?识别高价值特性并将其作为核心软件的商业扩展。这种商业模式,我们有时候叫它“open core”,这是我们创造 X-Pack 的最终产物。为了构建和集成由我们维护知识产权(IP)的特性和功能,并提供订阅服务或免费的基础授权。保持我们对知识产权的控制,使我们能够有能力投资我们大部分的工程资源和时间,可以继续改进我们的核心,我们的开源产品。

这种方法使我们能够在世界各地建立一个分布式的公司,让我们感到惊讶的是,Elastic Stack 是如何被用来解决各种实际的、具体的问题的。添加适用于我们用户的特性和功能,并开发一些使我们能够持续到未来的功能。

但是这种方法也存在挑战…

更加开放

你是否知道 X-Pack 提供了一层免费的功能?这些能力诸如 Monitoring、Search Profiler、Grok Debugger 以及额外的 Elastic Maps 缩放级别。你是否知道我们还将在这一层继续添加更多功能,如 Canvas 和 Elasticsearch SQL?

当我们往X-Pack 里添加免费功能的时候,我们这么做是因为我们知道这些功能可以帮助用户更好的使用 Elastic Stack。不幸的是,太多功能你都不知道 -- 也许知道 -- 或得益于这些功能。所以这意味着有很大一部分用户在使用我们软件的时候往往不是最佳实践。

我们也知道,获得这个免费软件的过程是一个糟糕的用户体验,涉及到一个完整的集群重启。并且如果你想查看代码,抱歉,不可以。尤其是这些免费功能和很大一部分用户相关,你会问我们一些很好但是很难的问题,比如:“我如何就这些免费功能与你们交互?”,“我如何开启一个 issue 或是贡献代码?”

而我们没有很好的答案。

通过公开 X-Pack 的代码,我们解决了这些我们部分产品开源以及部分产品不是的问题。很快,所有的免费的和商业的特性你都可以开启一个 issue、查看特性讨论、检查源代码、与我们协助和提交一个 pull request。

具体细节

这意味着什么,技术上来说?

自 6.3 版本起,所有 $PRODUCT(项目)仓库(Elasticsearch, Logstash, Kibana, Beats) :

  • 所有现存的 Apache 2.0 协议的代码都将保持相同的协议,什么都不用动。
  • 我们会创建一个新的 X-Pack 目录,将 x-pack-$PRODUCT 的代码放入到该目录,基于 Elastic EULA 协议,允许相应的衍生和贡献。
  • 我们将修改最顶层的协议为一个简单的 Elastic License,包含这个仓库里面那些文件是Apache 2.0,那些是 Elastic EULA 的详细细节。

同时,X-Pack 功能将打包到默认的发行版里面。所有免费的功能都包含在里面且默认开启且永远不会出现‘过期’,而商业特性则可以通过试用证书可选的启用。因为免费的证书永远不会过期,所以你再也不用通过注册来就直接获取它了。除此以外,一个只包含 Apache 2.0 协议代码的包也会同样会创建并提供下载。

更多信息以及常见问题,可以在 Opening X-Pack 页找到。

总结

我们相信开源。作为一种分布模式。作为一种建立企业的方法。作为我们公司的未来。 我们承诺并保持我们将保持开放,并对我们将在 6.3 比以往任何时候都更加开放而感到兴奋。

感谢你们对我们的信任。

收起阅读 »

Elastic 宣布 2018 年 Elastic Cause Awards 的获奖者

IMG_4195.JPG

嘉奖 Elastic 社群促进全球福祉的杰出项目

旧金山,2018 年 2 月 27 日 - (GLOBE NEWSWIRE)--(Elastic{ON} 2018) - Elasticsearch 和 Elastic Stack 幕后公司 Elastic 今日在 Elastic {ON} 2018 开幕礼主题演讲中宣布第二届 Elastic Cause Awards 的获奖者。为表彰Elastic 社群的热情、创新和奉献精神,2018 年 Elastic Cause Awards 嘉奖了四个推动 Elastic 软件发展并造福全球的项目。今年的获奖者包括:Dimagi、Libraries Without Borders (Bibliothèques Sans Frontières) 、Refugee Datathon Munich 和 Thorn: Digital Defenders of Children。

Elastic Cause Awards 是 Elastic 不断扩展的慈善使命之一,该公司将继续致力于慈善事业,以进一步惠及使用Elastic Stack 的非牟利组织。第二届 Cause Awards 覆盖数十家组织提名,致力改善人类状况,改善环境或协助当地、地区或全球有需要的人口。评审包括 Elastic 创始人兼首席执行官 Shay Banon、人力资源部副总裁Leah Sutton,以及由 Elastic 开发人员、产品和客户专家组成的小组,他们根据其影响、利他主义和影响力评估入围者。每个获选的项目团队均可获得最多两位项目成员的免费会议门票和酒店住宿,并将在 Elastic {ON} 2018 的各项活动中亮相。 Banon 表示﹕“在我们开始使用 Elastic 时,我知道我们的软件产品可用来帮助开发人员解决组织内的重要实用范例,但我从来没有预料到它会对解决全球人道主义和环境问题带来影响。我的灵感来自我们通过今年的 Elastic Cause Awards 了解到改变生计的举措,并为我们实现这一目标所作出的微不足道的努力而感到谦卑。”

  • Dimagi Dimagi 正在印度帮助打击肺结核(tuberculosis / TB)流行病,该流行病占全球肺结核病例的 23%,并通过集成的移动和网络应用程序帮助医护人员追踪结核病患者。在 Dimagi 的软件平台 CommCare 基础上,该应用程序利用 Elastic Stack 从初步诊断以至整个护理过程中追踪获治疗者,并在整个过程中提供可操作的数据。 该应用程序目前能够实时汇总数据,以追踪选定地区的 150,000 名患者。 Dimagi 高级工程师 Farid Rener 表示﹕“印度每三分钟便有两人死于肺结核。这是一种需要实时关注和需要创新解决方案的流行病。我们相信移动解决方案可改变服务交付计划的效率、质量和影响力。通过将我们的移动数据收集平台与 Elastic Stack 的强大功能互相结合,我们正在提高医护人员追踪患者的效率,并让政府决策者更准确、及时地掌握当前计划的效果。”

  • Libraries Without Borders (Bibliothèques Sans Frontières) Libraries Without Borders 促进自由开放的信息和教育,为全球弱势社群提供学习和发展的工具和技能。该组织正在推出数字图书馆(KoomBook)以及便携式“弹出式”数字媒体中心(Ideas Box),为需要帮助的小区提供教育和文化资源,包括全球难民和流离失所的人群,以及发达国家中服务不足的小区。通过 Elastic Stack 提供的日志分析和仪表板可实时了解数字资源的使用情况以及用户的浏览习惯和兴趣,从而令组织能更有效地评估影响和相关性,并改善用户体验。 Bibliothèques Sans Frontières 数字项目经理 Steven Walliman 表示﹕“Elastic Stack 能够处理各种原始日志,同时也能产生具有吸引力的视觉效果,这种功能完全符合我们的需求。通过让 IT 团队更好地了解性能和稳定性,以及能够衡量图书馆员的选择的相关性,Elastic Stack 增强了我们项目的影响力。我们期待着深化两个组织之间的联系,因为我们具有实现增强弱势社群能力和改善全球数以百万计人口生计的愿景。”

  • Refugee Datathon Munich Refugee Datathon Munich 于 2015 年秋季成立,在慕尼黑为难民提供大规模支持,并为欧洲难民活动家提供最新和可靠的数据。该组织的软件从官方网站提取寻求庇护者的统计数据,然后依靠 Elastic Stack 在发布信息之前分析数据。该软件帮助活动家实时掌握当前庇护趋势(如各原籍国的批准率),同时通过驳回错误陈述和难民偏见报告为公众提供服务。 Refugee Datathon Munich 数据架构师 Suny Kim 表示﹕“当我们看到活动家难以使用 Excel 以解释难民情况时,我们意识到有必要给予他们更多的探索能力,为其提供更多最新的数据和减少工作量。Elastic Stack 帮助我们从欧盟统计局的统计数据中获取大量数据,并以交互方式来进行分析。对我们来说,这就是民主所在:获得信息,参与其中。全球难民形势是我们这个时代的重大挑战之一,我们的项目是通过体面和充分的方式应对这一挑战的民主进程的一部分。”

  • Thorn: Digital Defenders of Children Thorn 由 Ashton Kutcher 和 Demi Moore 共同创立,通过技术开发来保护儿童免遭性虐待。对于寻找和救援更多孩子而言,必须做到分秒必争。Thorn 在其产品中使用 Elastic Stack 来简化功能,帮助执法机构搜索数以百万条记录,并快速找到识别儿童的小片信息。2016 年和 2017 年,加快识别性交易受害儿童的 Spotlight 帮助确定了 5,791 名儿童性贩运受害者(每天8名)。Thorn 的另一个产品 Solis 已被 17 个国家的执法部门使用,并已救出 72 名儿童性虐待受害者,这些儿童的照片在暗网上散布。 Thorn 首席执行官 Julie Cordua 表示﹕“通过与 Elastic 这样的领先技术公司合作,我们成功建立了能更快找到儿童性虐待受害者的尖端工具,使网络环境更安全,并阻止犯罪行为。在通过技术打击儿童性虐待犯罪的过程中,我们意识到技术的强大之处,我们选择善用有关技术,以成功打击儿童性贩卖和其他网上贩卖活动。”

Elastic Cause Award 最终入围名单包括﹕

  • Action Network:帮助进步组织进行有针对性的宣传和外展
  • CBC Radio:能发掘各类型的新兴音乐艺术家
  • Factr:通过共建情报流促进解决全球问题
  • Mark43:通过更好的软件减少暴力犯罪
  • Internet of Things for Disaster Risk Reduction (IoT-DRR):通过监测和分析智能雨水箱和河流水位来减少灾害风险
  • University of Bristol:促进应用门德尔随机化
  • US NAVY:通过网络安全保护美国海军的水兵和士兵
  • 弗吉尼亚理工学院和州立大学(Virginia Polytechnic Institute and State University / Virginia Tech ):为环境和农业利益相关者监测流域
  • weblyzard Technology:为联合国环境规划署(UNEP)创建环境网页情报门户,以确定意见领袖并根据主题和地理位置构建公众辩论途径
  • Zebra Medical Vision:策划临床和算法数据集

关于Elastic

Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品包括开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一种托管服务)。迄今为止,这些产品的累积下载次数已超过 2.25 亿。Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 800 位员工,分布于世界上 30 多个国家和地区。欲了解详情请访问:elastic.co。

媒体联系人:

Michael Lindenberger

Reidy Communications for Elastic

Michael@reidycommunications.com

(415) 531-1449

亚太地区 Jeff Yoshimura

Communications @ Elastic

pr@elastic.co

继续阅读 »

IMG_4195.JPG

嘉奖 Elastic 社群促进全球福祉的杰出项目

旧金山,2018 年 2 月 27 日 - (GLOBE NEWSWIRE)--(Elastic{ON} 2018) - Elasticsearch 和 Elastic Stack 幕后公司 Elastic 今日在 Elastic {ON} 2018 开幕礼主题演讲中宣布第二届 Elastic Cause Awards 的获奖者。为表彰Elastic 社群的热情、创新和奉献精神,2018 年 Elastic Cause Awards 嘉奖了四个推动 Elastic 软件发展并造福全球的项目。今年的获奖者包括:Dimagi、Libraries Without Borders (Bibliothèques Sans Frontières) 、Refugee Datathon Munich 和 Thorn: Digital Defenders of Children。

Elastic Cause Awards 是 Elastic 不断扩展的慈善使命之一,该公司将继续致力于慈善事业,以进一步惠及使用Elastic Stack 的非牟利组织。第二届 Cause Awards 覆盖数十家组织提名,致力改善人类状况,改善环境或协助当地、地区或全球有需要的人口。评审包括 Elastic 创始人兼首席执行官 Shay Banon、人力资源部副总裁Leah Sutton,以及由 Elastic 开发人员、产品和客户专家组成的小组,他们根据其影响、利他主义和影响力评估入围者。每个获选的项目团队均可获得最多两位项目成员的免费会议门票和酒店住宿,并将在 Elastic {ON} 2018 的各项活动中亮相。 Banon 表示﹕“在我们开始使用 Elastic 时,我知道我们的软件产品可用来帮助开发人员解决组织内的重要实用范例,但我从来没有预料到它会对解决全球人道主义和环境问题带来影响。我的灵感来自我们通过今年的 Elastic Cause Awards 了解到改变生计的举措,并为我们实现这一目标所作出的微不足道的努力而感到谦卑。”

  • Dimagi Dimagi 正在印度帮助打击肺结核(tuberculosis / TB)流行病,该流行病占全球肺结核病例的 23%,并通过集成的移动和网络应用程序帮助医护人员追踪结核病患者。在 Dimagi 的软件平台 CommCare 基础上,该应用程序利用 Elastic Stack 从初步诊断以至整个护理过程中追踪获治疗者,并在整个过程中提供可操作的数据。 该应用程序目前能够实时汇总数据,以追踪选定地区的 150,000 名患者。 Dimagi 高级工程师 Farid Rener 表示﹕“印度每三分钟便有两人死于肺结核。这是一种需要实时关注和需要创新解决方案的流行病。我们相信移动解决方案可改变服务交付计划的效率、质量和影响力。通过将我们的移动数据收集平台与 Elastic Stack 的强大功能互相结合,我们正在提高医护人员追踪患者的效率,并让政府决策者更准确、及时地掌握当前计划的效果。”

  • Libraries Without Borders (Bibliothèques Sans Frontières) Libraries Without Borders 促进自由开放的信息和教育,为全球弱势社群提供学习和发展的工具和技能。该组织正在推出数字图书馆(KoomBook)以及便携式“弹出式”数字媒体中心(Ideas Box),为需要帮助的小区提供教育和文化资源,包括全球难民和流离失所的人群,以及发达国家中服务不足的小区。通过 Elastic Stack 提供的日志分析和仪表板可实时了解数字资源的使用情况以及用户的浏览习惯和兴趣,从而令组织能更有效地评估影响和相关性,并改善用户体验。 Bibliothèques Sans Frontières 数字项目经理 Steven Walliman 表示﹕“Elastic Stack 能够处理各种原始日志,同时也能产生具有吸引力的视觉效果,这种功能完全符合我们的需求。通过让 IT 团队更好地了解性能和稳定性,以及能够衡量图书馆员的选择的相关性,Elastic Stack 增强了我们项目的影响力。我们期待着深化两个组织之间的联系,因为我们具有实现增强弱势社群能力和改善全球数以百万计人口生计的愿景。”

  • Refugee Datathon Munich Refugee Datathon Munich 于 2015 年秋季成立,在慕尼黑为难民提供大规模支持,并为欧洲难民活动家提供最新和可靠的数据。该组织的软件从官方网站提取寻求庇护者的统计数据,然后依靠 Elastic Stack 在发布信息之前分析数据。该软件帮助活动家实时掌握当前庇护趋势(如各原籍国的批准率),同时通过驳回错误陈述和难民偏见报告为公众提供服务。 Refugee Datathon Munich 数据架构师 Suny Kim 表示﹕“当我们看到活动家难以使用 Excel 以解释难民情况时,我们意识到有必要给予他们更多的探索能力,为其提供更多最新的数据和减少工作量。Elastic Stack 帮助我们从欧盟统计局的统计数据中获取大量数据,并以交互方式来进行分析。对我们来说,这就是民主所在:获得信息,参与其中。全球难民形势是我们这个时代的重大挑战之一,我们的项目是通过体面和充分的方式应对这一挑战的民主进程的一部分。”

  • Thorn: Digital Defenders of Children Thorn 由 Ashton Kutcher 和 Demi Moore 共同创立,通过技术开发来保护儿童免遭性虐待。对于寻找和救援更多孩子而言,必须做到分秒必争。Thorn 在其产品中使用 Elastic Stack 来简化功能,帮助执法机构搜索数以百万条记录,并快速找到识别儿童的小片信息。2016 年和 2017 年,加快识别性交易受害儿童的 Spotlight 帮助确定了 5,791 名儿童性贩运受害者(每天8名)。Thorn 的另一个产品 Solis 已被 17 个国家的执法部门使用,并已救出 72 名儿童性虐待受害者,这些儿童的照片在暗网上散布。 Thorn 首席执行官 Julie Cordua 表示﹕“通过与 Elastic 这样的领先技术公司合作,我们成功建立了能更快找到儿童性虐待受害者的尖端工具,使网络环境更安全,并阻止犯罪行为。在通过技术打击儿童性虐待犯罪的过程中,我们意识到技术的强大之处,我们选择善用有关技术,以成功打击儿童性贩卖和其他网上贩卖活动。”

Elastic Cause Award 最终入围名单包括﹕

  • Action Network:帮助进步组织进行有针对性的宣传和外展
  • CBC Radio:能发掘各类型的新兴音乐艺术家
  • Factr:通过共建情报流促进解决全球问题
  • Mark43:通过更好的软件减少暴力犯罪
  • Internet of Things for Disaster Risk Reduction (IoT-DRR):通过监测和分析智能雨水箱和河流水位来减少灾害风险
  • University of Bristol:促进应用门德尔随机化
  • US NAVY:通过网络安全保护美国海军的水兵和士兵
  • 弗吉尼亚理工学院和州立大学(Virginia Polytechnic Institute and State University / Virginia Tech ):为环境和农业利益相关者监测流域
  • weblyzard Technology:为联合国环境规划署(UNEP)创建环境网页情报门户,以确定意见领袖并根据主题和地理位置构建公众辩论途径
  • Zebra Medical Vision:策划临床和算法数据集

关于Elastic

Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品包括开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一种托管服务)。迄今为止,这些产品的累积下载次数已超过 2.25 亿。Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 800 位员工,分布于世界上 30 多个国家和地区。欲了解详情请访问:elastic.co。

媒体联系人:

Michael Lindenberger

Reidy Communications for Elastic

Michael@reidycommunications.com

(415) 531-1449

亚太地区 Jeff Yoshimura

Communications @ Elastic

pr@elastic.co

收起阅读 »

Elastic 在年度用户大会 Elastic{ON} 2018 上发布众多新功能和技术预览

IMG_0533.JPG

下载超过 2.25 亿次,Elastic 公开 X-Pack 源代码

旧金山 (Elastic{ON} 2018) – 2018 年 2 月 27 日 – Elastic,Elasticsearch 和 Elastic Stack背后的公司,今天宣布其产品累计下载次数达到 2.25 亿次的里程牌,去年累计下载次数是 1 亿。除此之外,Elastic 宣布公开其X-Pack 的源代码作为策略的一部分,让用户更容易地下载、检查和与 Elastic 工程团队一起在 X-Pack 特性开发上进行协作。给用户更简单的下载、检查及协助。X-Pack 目前包括了 security、alerting、monitoring、Graph 和machine learning 等众多功能。

“我们的产品被数以百万计的开发人员和成千上万的客户所依赖,他们依靠这些产品来驱动关键型业务,这令我们受宠若惊,” Elastic 创始人兼 CEO Shay Banon 表示, “正如他们与我们开源的产品打交道的一样,公开我们的 X-Pack 源代码能给我们的用户完全的透明度和具备与我们一起协助的能力。这样可以激励每一位开发人员、客户和使用我们软件的合作伙伴,帮助我们创造更好的产品和特性以及允许我们构建一个可持续发展的商业模式。”

Elastic 在过去18个月内收购了三家新公司,并在全世界发展了超过 100,000 多位开发者的技术社区。 Elastic{ON} 2018, 是一个最大型的 Elasticsearch 用户聚集的大会。在三天的时间里,超过 2500 名与会者聚在一起学习和分享创意,观看新功能的发布,并获得即将发布的新技术的预览。

  • Elastic APM: 这是 Elastic APM 第一个可被用于生产环境的版本,作为 Elastic 产品栈进入应用性能监控领域的一个延伸。它允许应用程序开发人员和 devops 工程师能够监视和分析特定的代码行对系统和业务性能的影响。这不仅仅是提升速度,同时也能扩展调试流程,将代码性能变化与操作历史有机结合。Elastic APM 将数据存储到 Elasticsearch 的索引里面,允许将 APM 数据与来自 Logstash 或者 Beats 的日志和监控指标进行关联分析,包含针对 Nodejs、Python、Ruby 和 JavaScript 的服务端组件和探针。还提供一个 APM 分析应用来实施典型的 APM 工作流。Elastic APM 已经作为 6.2 发布的一部分可被下载。

  • Swiftype App Search: 为开发者构建用以为他们的应用程序提供强大的搜索能力,Swiftype App Search 交付一系列稳健的 API 和额外的搜索相关的特性,如搜索结果重排、同义词和容错等。Swiftype App Search 是一个一站式的 Saas 解决方案,不需要基础设施、管理和维护,提供一个简单上手的用户体验。 Swiftype App Search 现已公测。

  • Machine Learning Forecasting: Elastic 机器学习能力的第一个主要扩展,用于预测分析领域。用户可以对时间序列数据进行建模,并使用复杂的、现成的机器学习算法来预测未来可能发生的结果。借助按需预测,用户可以使用现有的机器学习工作,并使用内置的预测模型,来准确预测改模型在预测周期内的增长情况。预测结果被写入到 Elasticsearch 的索引中,用户可用来和实际的数据进行比较。Elastic 的机器预测能力已包含在 6.2 的版本里面。

  • GIS App: Elastic 的一个全新研究项目,GIS(地理信息系统)是一个被设计用来捕获、存储、操作、分析、管理和呈现所有地理类型数据的系统。作为 Kibana 的一部分,这个 应用让你以一种全新的方式来执行特定的地理位置分析,在 Dashboard 里面加入内置的增强地图可视化组件。它的核心特性包括,多层地图的支持,映射独立的坐标点和用户端样式自定义。GIS App 目前已提供技术预览版。

  • SQL for Elasticsearch: 这个新特性为世界上最成熟的 SQL 数据库开发人员打开了释放 Elastic Stack 强大能力的大门,允许用户用熟悉的 SQL 语法来查询 Elasticsearch 里面的数据。JDBC 协议的支持,大大的简化了将 Elasticsearch 导出到外部 SQL 环境使用的情况。通过允许 Elasticsearch 通过 RESTful 协议理解 SQL,Elasticsearch SQL 允许你使用 SQL 语法来查询 Elasticsearch 里面的数据,以 SQL 引擎一致的表格形式返回那些查询结果,并提供一个用户接口来探索这些数据。Elasticsearch SQL 去年还只是作为一个概念被推出,现在马上将发布 alpha 和 beta 版本。

  • Canvas: Canvas 为下一代数据可视化和数据呈现展现了一个全新的篇章。随着 Kibana 越来越受欢迎,Canvas 展现了一种新的方式,可以将数据从 Elasticsearch 中获得的洞察赋予在线的、实时的仪表盘、幻灯片演示和信息图表。Canvas 能让用户能以一种前所未有的方式来表达 Elasticsearch 数据背后的故事,消除将数据导出到 Excel 中的详尽、重复和耗时的过程,来构建 PowerPoint。 Canvas 同样也是可插拔的,允许用户带来新的数据源、可视化类型和 UI 可视化组件。Canvas 去年作为一个概念被提出,目前已提供技术预览版可被下载。

  • Rollups: 一般来说,具备关联的指标和日志数据需要长时间保存,rollups 可以让用户存储有限的数据集,减少历史数据的磁盘占用。Elasticsearch 的 rollup 作业可以让用户配置一个定时任务来对数据进行 “rollup” 或预聚合,并保存结果到一个索引。举一个指标监控的例子,如:“web 服务器每小时的平均负载”,也就是说,平均数据被 rollup 起来并存储,但是其它原始数据,如特定用户、页面、IP 信息却不会。该功能将很快在 Elasticsearch 里面提供测试版本并随后在 Kibana 里面提供支持。

  • Flexible Deployment Configurations: 随着客户将随着越来越多的数据放进 Elasticsearch 并扩展越来越多的使用场景,Elastic 引入 “sliders” 功能来让用户获得定制他们集群配置的能力。Elastic Cloud 和 Elastic Cloud Enterprise (ECE) 客户将获得这些新能力:支持多种类型的硬件可供选择;支持集群模板和 hot/warm 集群;给现有集群添加机器学习节点、独立 master 节点和 APM 节点的能力。这些新特性很快将能在 Elastic Cloud 和 Elastic Cloud Enterprise 上可用。

  • Logstash Azure Monitoring Module: 通过与微软合作,Logstash Azure 监控模块目前是借助 Elastic Stack 监控你的 Azure 基础设施和服务的最简单的方式。新模块集成了 Azure 的集中式日志服务来标准化 Azure 日志和指标,并转换成 JSON 格式。使用 Logstash 来消费这些数据录入到 Elasticsearch。同时借助 Kibana,用户能够分析基础设施的改变和授权信息;识别可疑的行为和潜在的恶意用户;通过调查用户行为来执行根源分析;监控和优化 SQL 数据库的部署。该功能将很快提供 beta 版本。

最后,Elastic 宣布一个新的、官方的 Elastic 认证计划。在用户要求获得专业认证的推动下,Elastic 将为用户提供新的培训课程,让他们成为专家,并通过 Elastic 认证。新课程 Elasticsearch Engineer I 和 Elasticsearch Engineer II 将为用户提供安装、管理和优化 Elasticsearch 集群的第一手知识,也包括,开发新的解决方案来分析他们的数据。这些课程是成为一名 Elastic 认证工程师的基础,包括动手、技术和基于性能的认证考试,通过考试将获得由官方颁发的 Elastic 电子认证徽章。

了解更多

Elastic Opening X-Pack Blog Opening X-Pack FAQ Elastic Certification Elastic Cause Awards

关于 Elastic

Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品包括开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一种托管服务)。迄今为止,这些产品的累积下载次数已超过 2.25 亿。Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 800 位员工,分布于世界上 30 多个国家和地区。欲了解详情请访问:elastic.co。

媒体联系人:

Michael Lindenberger

Reidy Communications for Elastic

Michael@reidycommunications.com

(415) 531-1449

亚太地区 Jeff Yoshimura

Communications @ Elastic

pr@elastic.co

继续阅读 »

IMG_0533.JPG

下载超过 2.25 亿次,Elastic 公开 X-Pack 源代码

旧金山 (Elastic{ON} 2018) – 2018 年 2 月 27 日 – Elastic,Elasticsearch 和 Elastic Stack背后的公司,今天宣布其产品累计下载次数达到 2.25 亿次的里程牌,去年累计下载次数是 1 亿。除此之外,Elastic 宣布公开其X-Pack 的源代码作为策略的一部分,让用户更容易地下载、检查和与 Elastic 工程团队一起在 X-Pack 特性开发上进行协作。给用户更简单的下载、检查及协助。X-Pack 目前包括了 security、alerting、monitoring、Graph 和machine learning 等众多功能。

“我们的产品被数以百万计的开发人员和成千上万的客户所依赖,他们依靠这些产品来驱动关键型业务,这令我们受宠若惊,” Elastic 创始人兼 CEO Shay Banon 表示, “正如他们与我们开源的产品打交道的一样,公开我们的 X-Pack 源代码能给我们的用户完全的透明度和具备与我们一起协助的能力。这样可以激励每一位开发人员、客户和使用我们软件的合作伙伴,帮助我们创造更好的产品和特性以及允许我们构建一个可持续发展的商业模式。”

Elastic 在过去18个月内收购了三家新公司,并在全世界发展了超过 100,000 多位开发者的技术社区。 Elastic{ON} 2018, 是一个最大型的 Elasticsearch 用户聚集的大会。在三天的时间里,超过 2500 名与会者聚在一起学习和分享创意,观看新功能的发布,并获得即将发布的新技术的预览。

  • Elastic APM: 这是 Elastic APM 第一个可被用于生产环境的版本,作为 Elastic 产品栈进入应用性能监控领域的一个延伸。它允许应用程序开发人员和 devops 工程师能够监视和分析特定的代码行对系统和业务性能的影响。这不仅仅是提升速度,同时也能扩展调试流程,将代码性能变化与操作历史有机结合。Elastic APM 将数据存储到 Elasticsearch 的索引里面,允许将 APM 数据与来自 Logstash 或者 Beats 的日志和监控指标进行关联分析,包含针对 Nodejs、Python、Ruby 和 JavaScript 的服务端组件和探针。还提供一个 APM 分析应用来实施典型的 APM 工作流。Elastic APM 已经作为 6.2 发布的一部分可被下载。

  • Swiftype App Search: 为开发者构建用以为他们的应用程序提供强大的搜索能力,Swiftype App Search 交付一系列稳健的 API 和额外的搜索相关的特性,如搜索结果重排、同义词和容错等。Swiftype App Search 是一个一站式的 Saas 解决方案,不需要基础设施、管理和维护,提供一个简单上手的用户体验。 Swiftype App Search 现已公测。

  • Machine Learning Forecasting: Elastic 机器学习能力的第一个主要扩展,用于预测分析领域。用户可以对时间序列数据进行建模,并使用复杂的、现成的机器学习算法来预测未来可能发生的结果。借助按需预测,用户可以使用现有的机器学习工作,并使用内置的预测模型,来准确预测改模型在预测周期内的增长情况。预测结果被写入到 Elasticsearch 的索引中,用户可用来和实际的数据进行比较。Elastic 的机器预测能力已包含在 6.2 的版本里面。

  • GIS App: Elastic 的一个全新研究项目,GIS(地理信息系统)是一个被设计用来捕获、存储、操作、分析、管理和呈现所有地理类型数据的系统。作为 Kibana 的一部分,这个 应用让你以一种全新的方式来执行特定的地理位置分析,在 Dashboard 里面加入内置的增强地图可视化组件。它的核心特性包括,多层地图的支持,映射独立的坐标点和用户端样式自定义。GIS App 目前已提供技术预览版。

  • SQL for Elasticsearch: 这个新特性为世界上最成熟的 SQL 数据库开发人员打开了释放 Elastic Stack 强大能力的大门,允许用户用熟悉的 SQL 语法来查询 Elasticsearch 里面的数据。JDBC 协议的支持,大大的简化了将 Elasticsearch 导出到外部 SQL 环境使用的情况。通过允许 Elasticsearch 通过 RESTful 协议理解 SQL,Elasticsearch SQL 允许你使用 SQL 语法来查询 Elasticsearch 里面的数据,以 SQL 引擎一致的表格形式返回那些查询结果,并提供一个用户接口来探索这些数据。Elasticsearch SQL 去年还只是作为一个概念被推出,现在马上将发布 alpha 和 beta 版本。

  • Canvas: Canvas 为下一代数据可视化和数据呈现展现了一个全新的篇章。随着 Kibana 越来越受欢迎,Canvas 展现了一种新的方式,可以将数据从 Elasticsearch 中获得的洞察赋予在线的、实时的仪表盘、幻灯片演示和信息图表。Canvas 能让用户能以一种前所未有的方式来表达 Elasticsearch 数据背后的故事,消除将数据导出到 Excel 中的详尽、重复和耗时的过程,来构建 PowerPoint。 Canvas 同样也是可插拔的,允许用户带来新的数据源、可视化类型和 UI 可视化组件。Canvas 去年作为一个概念被提出,目前已提供技术预览版可被下载。

  • Rollups: 一般来说,具备关联的指标和日志数据需要长时间保存,rollups 可以让用户存储有限的数据集,减少历史数据的磁盘占用。Elasticsearch 的 rollup 作业可以让用户配置一个定时任务来对数据进行 “rollup” 或预聚合,并保存结果到一个索引。举一个指标监控的例子,如:“web 服务器每小时的平均负载”,也就是说,平均数据被 rollup 起来并存储,但是其它原始数据,如特定用户、页面、IP 信息却不会。该功能将很快在 Elasticsearch 里面提供测试版本并随后在 Kibana 里面提供支持。

  • Flexible Deployment Configurations: 随着客户将随着越来越多的数据放进 Elasticsearch 并扩展越来越多的使用场景,Elastic 引入 “sliders” 功能来让用户获得定制他们集群配置的能力。Elastic Cloud 和 Elastic Cloud Enterprise (ECE) 客户将获得这些新能力:支持多种类型的硬件可供选择;支持集群模板和 hot/warm 集群;给现有集群添加机器学习节点、独立 master 节点和 APM 节点的能力。这些新特性很快将能在 Elastic Cloud 和 Elastic Cloud Enterprise 上可用。

  • Logstash Azure Monitoring Module: 通过与微软合作,Logstash Azure 监控模块目前是借助 Elastic Stack 监控你的 Azure 基础设施和服务的最简单的方式。新模块集成了 Azure 的集中式日志服务来标准化 Azure 日志和指标,并转换成 JSON 格式。使用 Logstash 来消费这些数据录入到 Elasticsearch。同时借助 Kibana,用户能够分析基础设施的改变和授权信息;识别可疑的行为和潜在的恶意用户;通过调查用户行为来执行根源分析;监控和优化 SQL 数据库的部署。该功能将很快提供 beta 版本。

最后,Elastic 宣布一个新的、官方的 Elastic 认证计划。在用户要求获得专业认证的推动下,Elastic 将为用户提供新的培训课程,让他们成为专家,并通过 Elastic 认证。新课程 Elasticsearch Engineer I 和 Elasticsearch Engineer II 将为用户提供安装、管理和优化 Elasticsearch 集群的第一手知识,也包括,开发新的解决方案来分析他们的数据。这些课程是成为一名 Elastic 认证工程师的基础,包括动手、技术和基于性能的认证考试,通过考试将获得由官方颁发的 Elastic 电子认证徽章。

了解更多

Elastic Opening X-Pack Blog Opening X-Pack FAQ Elastic Certification Elastic Cause Awards

关于 Elastic

Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品包括开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一种托管服务)。迄今为止,这些产品的累积下载次数已超过 2.25 亿。Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 800 位员工,分布于世界上 30 多个国家和地区。欲了解详情请访问:elastic.co。

媒体联系人:

Michael Lindenberger

Reidy Communications for Elastic

Michael@reidycommunications.com

(415) 531-1449

亚太地区 Jeff Yoshimura

Communications @ Elastic

pr@elastic.co

收起阅读 »

社区新增幻灯片分享功能

Snip20180208_5.png


https://elasticsearch.cn/slides/
 
对不起,来晚了!
应该是期待已久的功能!
社区年年都有很多的精彩的分享(感谢所有参与社区分享的同学,赞),以前的资料都丢在百度网盘里面,大家还能凑合着用,谁知道前段时间,网盘居然把所有的链接都弄失效了,分享出去没多久就自动失效了。
国外的 slides share、speakerdeck,统统不能用,哎。国内的幻灯片分享平台实在没有找到合适的。
经常有同学私下问我要 PPT,什么时候分享啊,什么的。
看个幻灯片,太麻烦啊。
这次终于忍不了了。
自己动手、丰衣足食。
于是抽空几天为社区开发了幻灯片分享功能。
使用 PDF.js 做前端展现,pdf 传上去就能直接查看,目前只在 chrome 和 Firefox 下测试是 OK 的,抱歉了,IE 我已放弃。
封面使用 ImageMagick 做一个 pdf 到 png 的转换即可,上传完 PDF 同步就开始转,咱这个功能社区自己用,没什么压力。
目前还没给所有人开放上传分享的功能(主要现在还没有做修改和删除的功能,[捂脸])。
 
已上传完本社区的历史分享的小 100 个 PPT,重复的分享没有传,也可能存在漏掉和遗忘的,大家可以帮忙查漏补缺。
 
今年线下交流活动继续走起,欢迎大家踊跃报名分享,
分享提交链接:http://elasticsearch.mikecrm.com/A6QbFvU

农历新年马上到了,祝大家新年愉快,工作顺利!
 
 
 
继续阅读 »
Snip20180208_5.png


https://elasticsearch.cn/slides/
 
对不起,来晚了!
应该是期待已久的功能!
社区年年都有很多的精彩的分享(感谢所有参与社区分享的同学,赞),以前的资料都丢在百度网盘里面,大家还能凑合着用,谁知道前段时间,网盘居然把所有的链接都弄失效了,分享出去没多久就自动失效了。
国外的 slides share、speakerdeck,统统不能用,哎。国内的幻灯片分享平台实在没有找到合适的。
经常有同学私下问我要 PPT,什么时候分享啊,什么的。
看个幻灯片,太麻烦啊。
这次终于忍不了了。
自己动手、丰衣足食。
于是抽空几天为社区开发了幻灯片分享功能。
使用 PDF.js 做前端展现,pdf 传上去就能直接查看,目前只在 chrome 和 Firefox 下测试是 OK 的,抱歉了,IE 我已放弃。
封面使用 ImageMagick 做一个 pdf 到 png 的转换即可,上传完 PDF 同步就开始转,咱这个功能社区自己用,没什么压力。
目前还没给所有人开放上传分享的功能(主要现在还没有做修改和删除的功能,[捂脸])。
 
已上传完本社区的历史分享的小 100 个 PPT,重复的分享没有传,也可能存在漏掉和遗忘的,大家可以帮忙查漏补缺。
 
今年线下交流活动继续走起,欢迎大家踊跃报名分享,
分享提交链接:http://elasticsearch.mikecrm.com/A6QbFvU

农历新年马上到了,祝大家新年愉快,工作顺利!
 
 
  收起阅读 »

社区搜索试运行

访问地址:
https://index.elasticsearch.cn

badge.png

 
姑且叫做:Elastic 情报局!
这个东西有什么用?
聚合 Elastic 社区的各种资源,
  • Elastic 官网资料、文档、博客、视频
  • Elastic 中文社区
  • Elastic 英文社区
  • Github 仓库的最新事件
  • 其他社区的相关主题,如 StackOverflow、Reddit等

用来提供一站式的垂直搜索,
方便提供您更好的学习和寻找参考资料。

Snip20171225_3.png

 
基于开源爬虫 GOPAElasticsearch 搭建,目前试运行,功能和数据正在完善中,欢迎反馈。
继续阅读 »
访问地址:
https://index.elasticsearch.cn

badge.png

 
姑且叫做:Elastic 情报局!
这个东西有什么用?
聚合 Elastic 社区的各种资源,
  • Elastic 官网资料、文档、博客、视频
  • Elastic 中文社区
  • Elastic 英文社区
  • Github 仓库的最新事件
  • 其他社区的相关主题,如 StackOverflow、Reddit等

用来提供一站式的垂直搜索,
方便提供您更好的学习和寻找参考资料。

Snip20171225_3.png

 
基于开源爬虫 GOPAElasticsearch 搭建,目前试运行,功能和数据正在完善中,欢迎反馈。 收起阅读 »

Elastic Stack 全新推出 6.0.0

1510725544562.jpg

https://www.elastic.co/cn/blog/elastic-stack-6-0-0-released

全新推出 6.0.0。

无需多说。你应该立即下载试用,或者通过你最喜欢的托管式 Elasticsearch 和 Kibana 提供平台 Elastic Cloud 亲身体验。

如果你在过去几个月没有跟上我们的发布节奏,可能会对今天的公告感到意外。今天标志着成千上万的 pull 请求和成百上千位代码提交者的努力终见成效。期间共有两个 alpha 版本、两个 beta 版本、两个候选版本以及最终的通用版本 (GA)。这个里程碑离不开 Elastic 各路团队的努力。还要感谢参与先锋计划的用户提出的意见和反馈。

今天,我们不仅发布了整套 Elastic Stack,还发布了 Elastic Cloud Enterprise 1.1,其中包括 6.0 支持、离线安装,并且对用户体验进行了一系列改进,旨在简化集群的配置、管理和监控。同天发布多款产品的正式版本还不够……还有仍是 Alpha 版本的 APM ,我们邀请大家在 6.0.0 中对它进行测试。

一个版本有如此多的亮点,该从哪里说起呢?你们撰文细述也好,提供详情链接也好,祝你们有愉快的阅读体验……更重要的是……祝你们有愉快的搜索、分析和可视化体验。

Elasticsearch

全新零停机升级体验,增加了序列 ID、改进了对稀疏数据的处理、加快了查询速度、分布式执行 watch 等等。功能摘要请查看详情

Kibana

支持 “Dashboard Only” 模式,支持 “全屏” 模式,能够将保存的搜索结果导出到 .csv,X-Pack 黄金版及以上版本支持通过 UI 创建告警,X-Pack 基础版提供迁移助手,我们还通过调整对比度、支持快捷键来产品易用性,让用户使用起来更方便。数据交互的未来详见此贴

Logstash

单一 Logstash 实例中可存在多个自成体系的管道,另有新增 UI 组件 - X-Pack 基础版中的管道查看器,以及 X-Pack 黄金版中的 Logstash 管道管理。了解详情,点这里

Beats

Beats <3 容器以及 Beats <3 模块(并且改进了适用于这些模块的仪表板)。再结合全新命令和配置布局,在 Metricbeat 实现更高效的存储。此外,全新推出 Auditbeat。细节详见这里

ES-Hadoop

对Spark的结构化数据流的一流支持已经降落到了 6.0,并重新编写了连接器映射代码以更好地支持多个映射。支持读写新的连接字段也被添加了。用户现在也可以利用非内联脚本类型的更新操作。详细信息

立即获取!

继续阅读 »

1510725544562.jpg

https://www.elastic.co/cn/blog/elastic-stack-6-0-0-released

全新推出 6.0.0。

无需多说。你应该立即下载试用,或者通过你最喜欢的托管式 Elasticsearch 和 Kibana 提供平台 Elastic Cloud 亲身体验。

如果你在过去几个月没有跟上我们的发布节奏,可能会对今天的公告感到意外。今天标志着成千上万的 pull 请求和成百上千位代码提交者的努力终见成效。期间共有两个 alpha 版本、两个 beta 版本、两个候选版本以及最终的通用版本 (GA)。这个里程碑离不开 Elastic 各路团队的努力。还要感谢参与先锋计划的用户提出的意见和反馈。

今天,我们不仅发布了整套 Elastic Stack,还发布了 Elastic Cloud Enterprise 1.1,其中包括 6.0 支持、离线安装,并且对用户体验进行了一系列改进,旨在简化集群的配置、管理和监控。同天发布多款产品的正式版本还不够……还有仍是 Alpha 版本的 APM ,我们邀请大家在 6.0.0 中对它进行测试。

一个版本有如此多的亮点,该从哪里说起呢?你们撰文细述也好,提供详情链接也好,祝你们有愉快的阅读体验……更重要的是……祝你们有愉快的搜索、分析和可视化体验。

Elasticsearch

全新零停机升级体验,增加了序列 ID、改进了对稀疏数据的处理、加快了查询速度、分布式执行 watch 等等。功能摘要请查看详情

Kibana

支持 “Dashboard Only” 模式,支持 “全屏” 模式,能够将保存的搜索结果导出到 .csv,X-Pack 黄金版及以上版本支持通过 UI 创建告警,X-Pack 基础版提供迁移助手,我们还通过调整对比度、支持快捷键来产品易用性,让用户使用起来更方便。数据交互的未来详见此贴

Logstash

单一 Logstash 实例中可存在多个自成体系的管道,另有新增 UI 组件 - X-Pack 基础版中的管道查看器,以及 X-Pack 黄金版中的 Logstash 管道管理。了解详情,点这里

Beats

Beats <3 容器以及 Beats <3 模块(并且改进了适用于这些模块的仪表板)。再结合全新命令和配置布局,在 Metricbeat 实现更高效的存储。此外,全新推出 Auditbeat。细节详见这里

ES-Hadoop

对Spark的结构化数据流的一流支持已经降落到了 6.0,并重新编写了连接器映射代码以更好地支持多个映射。支持读写新的连接字段也被添加了。用户现在也可以利用非内联脚本类型的更新操作。详细信息

立即获取!

收起阅读 »

Elastic XPack 对初创公司开放优惠申请啦!

好消息来啦!好消息来啦!好消息来啦!
 
如果你是创业公司的员工,并且你们在使用 elastic 的产品解决自己的业务问题,比如 elasticsearch、kibana、logstash 等,又对 X-Pack 很感兴趣,现在可以申请初创公司优惠价格了,真的很优惠,走过路过不要错过!
 
初创公司定义为:
1. 公司人数50人以内
2. 年销售额500万以内
3. 注册资金2500万以内。
 
申请方式为:
 
访问 http://elastictech.cn ,点击右上角的【创业公司优惠申请】链接填写相关信息即可!
继续阅读 »
好消息来啦!好消息来啦!好消息来啦!
 
如果你是创业公司的员工,并且你们在使用 elastic 的产品解决自己的业务问题,比如 elasticsearch、kibana、logstash 等,又对 X-Pack 很感兴趣,现在可以申请初创公司优惠价格了,真的很优惠,走过路过不要错过!
 
初创公司定义为:
1. 公司人数50人以内
2. 年销售额500万以内
3. 注册资金2500万以内。
 
申请方式为:
 
访问 http://elastictech.cn ,点击右上角的【创业公司优惠申请】链接填写相关信息即可! 收起阅读 »

Elastic 中国 Partner 的网站 elastictech.cn 上线了!对 X-Pack 付费功能感兴趣的可以聊起来了!

上海普翔信息科技发展有限公司是 Elastic 在中国的 Partner ,负责 X-Pack 的销售、咨询服务,今天上线了业务网站 http://elastictech.cn 。
从官网介绍可以看出,主要业务都是和 Elastic 相关的,分别是:
  • X-Pack License 购买服务
  • Elastic 本地咨询服务
  • Elastic 本地培训服务


[size=18]对X-Pack 刚兴趣的可以去留言咨询了!当然也可以私信和我沟通哦![/size]


site_crop-min_2_(1).png

 
继续阅读 »
上海普翔信息科技发展有限公司是 Elastic 在中国的 Partner ,负责 X-Pack 的销售、咨询服务,今天上线了业务网站 http://elastictech.cn 。
从官网介绍可以看出,主要业务都是和 Elastic 相关的,分别是:
  • X-Pack License 购买服务
  • Elastic 本地咨询服务
  • Elastic 本地培训服务


[size=18]对X-Pack 刚兴趣的可以去留言咨询了!当然也可以私信和我沟通哦![/size]


site_crop-min_2_(1).png

  收起阅读 »

Elastic与阿里云达成合作伙伴关系 提供 ” 阿里云 Elasticsearch ” 的新服务

新服务发布 -阿里云 Elasticsearch 将包含 Elasticsearch、Kibana 及 Elastic 的 X-Pack 功能

Elastic - 旗下拥有 Elasticsearch,以及使用最广泛的开源产品集合 Elastic Stack,用于解决搜索、日志和数据分析等关键任务型用例 - 今天宣布与阿里巴巴集团(纽约证券交易所代码:BABA,「阿里巴巴」)旗下云计算平台阿里云达成新的合作伙伴关系,旨在共同研发及发布于阿里云上提供托管的 Elasticsearch,为中国市场提供崭新的用户体验。

这项名为 “ 阿里云 Elasticsearch ” 的新服务能让阿里巴巴的客户随心所欲地运用 Elasticsearch 强大的实时搜索、采集及数据分析功能,是一站式而且主导性的解决方案。

阿里云总裁胡晓明先生表示:“作为全球领先的云计算服务提供商,阿里云内致力于通过我们的平台向客户提供最先进的产品,使其保持竞争优势并促进创新。” 他指出:“阿里云 Elasticsearch 将会成为一项高度差异化的服务,因为它运用了 Elastic 先进的搜索产品及强大的 X-Pack 功能,不论在服务的任何层面上,均容易上手使用以及方便管理。”

阿里云 Elasticsearch 现已正式上线,简单配置即可添加到客户的云计算服务之上。通过 Elasticsearch 实时搜索的能力与客户应用相结合,以 Logstash 或 Beats 将数据导入阿里云 Elasticsearch 里,使用 Kibana 仪表板把实时及历史数据可视化,加上 X-Pack 的一系列功能如 security、alerting、monitoring、reporting、Graph 分析及 machine learning,为开发人员提供一站式产品的体验。

此外,阿里云和 Elastic 会着力于技术提升,确保阿里云 Elasticsearch 与时并进,拥有最新的功能。在未来,日志导入功能及其他服务也将相继可用。

Elastic 创始人兼首席执行官 Shay Banon 先生表示:“中国对我们来说是一个不断增长的市场,过去几年间,我们看到 Elasticsearch 的社区版图扩展至超过 5000 多位开发人员。 通过与亚洲最大的云端供应商阿里云合作,并配合 Elasticsearch 的实时处理能力、强大的 X-Pack 功能,如 security,alerting和 machine learning,我们能够一同加快中国广大开发者生态的创新步伐,构建、托管及管理更多不同的应用。”



aliyun-alibaba-simon-shay-handshake.jpg


阿里云总裁胡晓明与 Elastic 创始人兼首席执行官 Shay Banon



了解更多

阿里云 Elasticsearch
Elastic &amp; Alibaba Blog

关于阿里云

阿里云创立于 2009 年, 为阿里巴巴集团旗下云计算业务。现时被 Gartner 评为全球 3 大基础设施即服务 (IaaS) 供货商之一。根据 IDC 2016年调研显示,阿里云为中国最大的公共云端服务供货商,基础设施即服务 (IaaS) 收入全球排行第四。阿里云提供全面的云计算服务,支持世界各地的企业,包括在阿里巴巴集团市场上做生意的商家、初创公司、企业级客户及政府机构等。阿里云现时为国际奥林匹克委员会官方云服务官方合作伙伴。有关更多信息,请访问 https://www.aliyun.com

关于 Elastic

Elastic 通过构建软件,让用户能够实时地、大规模地将数据用于搜索、日志和分析场景。Elastic 创立于 2012 年,相继开发了开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、X-Pack(商业功能)和 Elastic Cloud(托管服务)。截至目前,累计下载量超过 1.5 亿。Benchmark Capital、Index Ventures 和 NEA 为 Elastic 提供了超过 1 亿美元资金作为支持,Elastic 共有 600 多名员工,分布在 30 个国家/地区。有关更多信息,请访问 elastic.co/cn。

https://www.elastic.co/cn/abou ... cloud
继续阅读 »
新服务发布 -阿里云 Elasticsearch 将包含 Elasticsearch、Kibana 及 Elastic 的 X-Pack 功能

Elastic - 旗下拥有 Elasticsearch,以及使用最广泛的开源产品集合 Elastic Stack,用于解决搜索、日志和数据分析等关键任务型用例 - 今天宣布与阿里巴巴集团(纽约证券交易所代码:BABA,「阿里巴巴」)旗下云计算平台阿里云达成新的合作伙伴关系,旨在共同研发及发布于阿里云上提供托管的 Elasticsearch,为中国市场提供崭新的用户体验。

这项名为 “ 阿里云 Elasticsearch ” 的新服务能让阿里巴巴的客户随心所欲地运用 Elasticsearch 强大的实时搜索、采集及数据分析功能,是一站式而且主导性的解决方案。

阿里云总裁胡晓明先生表示:“作为全球领先的云计算服务提供商,阿里云内致力于通过我们的平台向客户提供最先进的产品,使其保持竞争优势并促进创新。” 他指出:“阿里云 Elasticsearch 将会成为一项高度差异化的服务,因为它运用了 Elastic 先进的搜索产品及强大的 X-Pack 功能,不论在服务的任何层面上,均容易上手使用以及方便管理。”

阿里云 Elasticsearch 现已正式上线,简单配置即可添加到客户的云计算服务之上。通过 Elasticsearch 实时搜索的能力与客户应用相结合,以 Logstash 或 Beats 将数据导入阿里云 Elasticsearch 里,使用 Kibana 仪表板把实时及历史数据可视化,加上 X-Pack 的一系列功能如 security、alerting、monitoring、reporting、Graph 分析及 machine learning,为开发人员提供一站式产品的体验。

此外,阿里云和 Elastic 会着力于技术提升,确保阿里云 Elasticsearch 与时并进,拥有最新的功能。在未来,日志导入功能及其他服务也将相继可用。

Elastic 创始人兼首席执行官 Shay Banon 先生表示:“中国对我们来说是一个不断增长的市场,过去几年间,我们看到 Elasticsearch 的社区版图扩展至超过 5000 多位开发人员。 通过与亚洲最大的云端供应商阿里云合作,并配合 Elasticsearch 的实时处理能力、强大的 X-Pack 功能,如 security,alerting和 machine learning,我们能够一同加快中国广大开发者生态的创新步伐,构建、托管及管理更多不同的应用。”



aliyun-alibaba-simon-shay-handshake.jpg


阿里云总裁胡晓明与 Elastic 创始人兼首席执行官 Shay Banon



了解更多

阿里云 Elasticsearch
Elastic &amp; Alibaba Blog

关于阿里云

阿里云创立于 2009 年, 为阿里巴巴集团旗下云计算业务。现时被 Gartner 评为全球 3 大基础设施即服务 (IaaS) 供货商之一。根据 IDC 2016年调研显示,阿里云为中国最大的公共云端服务供货商,基础设施即服务 (IaaS) 收入全球排行第四。阿里云提供全面的云计算服务,支持世界各地的企业,包括在阿里巴巴集团市场上做生意的商家、初创公司、企业级客户及政府机构等。阿里云现时为国际奥林匹克委员会官方云服务官方合作伙伴。有关更多信息,请访问 https://www.aliyun.com

关于 Elastic

Elastic 通过构建软件,让用户能够实时地、大规模地将数据用于搜索、日志和分析场景。Elastic 创立于 2012 年,相继开发了开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、X-Pack(商业功能)和 Elastic Cloud(托管服务)。截至目前,累计下载量超过 1.5 亿。Benchmark Capital、Index Ventures 和 NEA 为 Elastic 提供了超过 1 亿美元资金作为支持,Elastic 共有 600 多名员工,分布在 30 个国家/地区。有关更多信息,请访问 elastic.co/cn。

https://www.elastic.co/cn/abou ... cloud 收起阅读 »

Elastic Stack 6.0 发布 beta 版本啦!

头条新闻:Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn 
 
 
注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。
DGu1frNXoAEVYlM.jpg

 

6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。
 

Elasticsearch [下载] [6.0 Breaking Chages]
https://www.elastic.co/blog/el ... eased
  • Sequence numbers and fast recovery

新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
  • Search scalability

移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
  • Preventing full disks

新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
  • Removal of default passwords

为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
  • 优化 Profiling 的开销占用,进一步较少针对超时及查询取消的检查开销
  • 提升 Percolator 的性能

 更多改进:[Beta1 Release Notes]
 
 
Kibana [下载] [Breaking Changes]
https://www.elastic.co/blog/ki ... eased
  • Upgrade Assistant and Rolling Upgrade Support

 
新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。
issue_1619_2.png

  • Watcher UI for Threshold Based Alerts

新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。

Snip20170809_9.png

  • Experimental Kibana Query Language

引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
  • Refactoring of the Visualizations Code

通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。

issue_11786_0.JPG

  • X-Pack Monitoring Email Notifications for Cluster Alerts

支持设置监控的告警邮件发送。

Snip20170809_7.png

  • Cluster Alert for X-Pack License Expiration

证书过期现在有自动的提示了。

image_(3).png

  • New Colors to Improve Accessibility

改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。

Screen_Shot_2017-07-28_at_1.26_.42_PM_.png

Snip20170809_10.png

  • Full Screen Mode for Dashboard

新增的全屏模式对 Dashboard 的大屏展现更加友好。

Snip20170809_8.png

更多详情:[6.0 Beta1 Release Notes]  

 
Logstash [下载] 
https://www.elastic.co/blog/lo ... eased
  • Pipeline Viewer

X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。

pipeline_viz2.png

  • Centrally manage configurations

用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。

Snip20170809_11.png

  • Ingest to Logstash convertor

提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。
$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf 


 
 Beats [下载] [Breaking Changes]
https://www.elastic.co/blog/be ... eased
  • Auditbeat

一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。

auditbeat-file-integrity-dashboard.png

  • New commands and configuration layout

一些常见的操作,你现在可以直接通过命令的方式来快速操作了。
$ metricbeat modules list
$ metricbeat modules enable redis
$ metricbeat modules disable redis

  • Add Docker metadata to the Docker logs

将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
  • Internal pipeline refactoring

Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。
 
更多详情:[Beta1 Release Notes] 
 
ES-Hadoop [下载]
https://www.elastic.co/blog/es ... eased
  • Spark 2.2.0 and Stable Support for Spark Structured Streaming
  • Support for new Join Fields
  • Multiple Mappings and Multiple Index Reads

 
更多详情:[Release Notes]
 
上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!
 
继续阅读 »
头条新闻:Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn 
 
 
注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。
DGu1frNXoAEVYlM.jpg

 

6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。
 

Elasticsearch [下载] [6.0 Breaking Chages]
https://www.elastic.co/blog/el ... eased
  • Sequence numbers and fast recovery

新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
  • Search scalability

移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
  • Preventing full disks

新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
  • Removal of default passwords

为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
  • 优化 Profiling 的开销占用,进一步较少针对超时及查询取消的检查开销
  • 提升 Percolator 的性能

 更多改进:[Beta1 Release Notes]
 
 
Kibana [下载] [Breaking Changes]
https://www.elastic.co/blog/ki ... eased
  • Upgrade Assistant and Rolling Upgrade Support

 
新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。
issue_1619_2.png

  • Watcher UI for Threshold Based Alerts

新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。

Snip20170809_9.png

  • Experimental Kibana Query Language

引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
  • Refactoring of the Visualizations Code

通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。

issue_11786_0.JPG

  • X-Pack Monitoring Email Notifications for Cluster Alerts

支持设置监控的告警邮件发送。

Snip20170809_7.png

  • Cluster Alert for X-Pack License Expiration

证书过期现在有自动的提示了。

image_(3).png

  • New Colors to Improve Accessibility

改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。

Screen_Shot_2017-07-28_at_1.26_.42_PM_.png

Snip20170809_10.png

  • Full Screen Mode for Dashboard

新增的全屏模式对 Dashboard 的大屏展现更加友好。

Snip20170809_8.png

更多详情:[6.0 Beta1 Release Notes]  

 
Logstash [下载] 
https://www.elastic.co/blog/lo ... eased
  • Pipeline Viewer

X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。

pipeline_viz2.png

  • Centrally manage configurations

用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。

Snip20170809_11.png

  • Ingest to Logstash convertor

提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。
$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf 


 
 Beats [下载] [Breaking Changes]
https://www.elastic.co/blog/be ... eased
  • Auditbeat

一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。

auditbeat-file-integrity-dashboard.png

  • New commands and configuration layout

一些常见的操作,你现在可以直接通过命令的方式来快速操作了。
$ metricbeat modules list
$ metricbeat modules enable redis
$ metricbeat modules disable redis

  • Add Docker metadata to the Docker logs

将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
  • Internal pipeline refactoring

Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。
 
更多详情:[Beta1 Release Notes] 
 
ES-Hadoop [下载]
https://www.elastic.co/blog/es ... eased
  • Spark 2.2.0 and Stable Support for Spark Structured Streaming
  • Support for new Join Fields
  • Multiple Mappings and Multiple Index Reads

 
更多详情:[Release Notes]
 
上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!
  收起阅读 »

超过5千以上的Kibana实例裸奔在互联网上,国内第二!

消息来自:https://medium.com/%40SergiuSe ... 4af48
因为这个网址不存在,所以搬过来大家一起看看,请自查自家服务器是不是快乐的在裸奔,嘿,要管管了啊。
试试:
https://www.zoomeye.org/search ... Dhost 
https://www.shodan.io/search?query=kibana​ 
 

Over 5,000 Kibana instances exposed on the internet

I’m not a big fan of writing articles so I’ll keep it short… I was using Shodan.io recently for research purposes and while searching for different devices I came across 5,591 Kibana instances exposed over the internet. A significant number of those instances didn’t use any authentication mechanisms and several had +100 million log events recorded.

The query syntax that I used was the following: kibana port:”5601".

1-Hq_v5wzUz4DVDWfDDKM1_w.png

 
Risk: Kibana is deployed alone or together with Elasticsearch and Logstash (the ELK Stack) for log management purposes and it gained notoriety in the last couple of years as an open source alternative to more expensive commercial solutions. Log management solutions usually contain sensitive info and should not be exposed over the internet… (people who are familiar with information security know what I’m talking about).

Solution: For all the entities affected please refer to the following link and enable authentication on your Kibana implementations: https://www.elastic.co/guide/e ... .html

1-ZhLEr1uzB5du22GM1cZ8PA.png

 
去年的大规模勒索事件,大家应该还记得吧,什么,ES你也裸奔着,你。。。
 
继续阅读 »
消息来自:https://medium.com/%40SergiuSe ... 4af48
因为这个网址不存在,所以搬过来大家一起看看,请自查自家服务器是不是快乐的在裸奔,嘿,要管管了啊。
试试:
https://www.zoomeye.org/search ... Dhost 
https://www.shodan.io/search?query=kibana​ 
 

Over 5,000 Kibana instances exposed on the internet

I’m not a big fan of writing articles so I’ll keep it short… I was using Shodan.io recently for research purposes and while searching for different devices I came across 5,591 Kibana instances exposed over the internet. A significant number of those instances didn’t use any authentication mechanisms and several had +100 million log events recorded.

The query syntax that I used was the following: kibana port:”5601".

1-Hq_v5wzUz4DVDWfDDKM1_w.png

 
Risk: Kibana is deployed alone or together with Elasticsearch and Logstash (the ELK Stack) for log management purposes and it gained notoriety in the last couple of years as an open source alternative to more expensive commercial solutions. Log management solutions usually contain sensitive info and should not be exposed over the internet… (people who are familiar with information security know what I’m talking about).

Solution: For all the entities affected please refer to the following link and enable authentication on your Kibana implementations: https://www.elastic.co/guide/e ... .html

1-ZhLEr1uzB5du22GM1cZ8PA.png

 
去年的大规模勒索事件,大家应该还记得吧,什么,ES你也裸奔着,你。。。
  收起阅读 »

Elastic 收购 Opbeat,进入 APM 领域

IMG_7227.PNG


IMG_7226.JPG


IMG_7224.JPG

 
https://www.elastic.co/blog/we ... amily
https://techcrunch.com/2017/06 ... tion/
 
 
Today, at Elastic’s customer event in London, the company announced it has acquired Opbeat, a SaaS-application performance management vendor for an undisclosed amount. All 15 employees have already joined the Elastic team.

Opbeat focuses on monitoring applications written in Javascript. What’s more, it maps production application issues directly to the relevant developer source code, making it easier to fix the problem without having to hunt in the code to find the problem area.

Elastic is probably best known for its search product, Elasticsearch, an open source search tool that runs on some of the world’s biggest properties including Wikipedia, Yelp and eBay. In recent years, the company has moved beyond straight search and into analytics, particularly focusing on log data that puts them squarely in competition with companies like Splunk. Last year, it pulled all of the products together into a platform play they called Elastic Stack.

Elastic CEO Shay Banon sees today’s acquisition through a strategic lens, giving his company a leg up on the competition by offering not only a way to search log data, but also giving insights into the applications that are generating the data and why they may be performing poorly.

Rasmus Makwarth, who was CEO at Opbeat says joining Elastic allows the company to speed up the product roadmap and take advantage of the breadth of the Elastic platform. “We’ve been running a SaaS platform for some time now, giving application insights to developers, but haven’t been able to give customers insight into the entire application,” he explained. Joining Elastic lets his company take advantage of the search tool, as well as analytics, logging and data visualization available on the Elastic platform to greatly expand the vision.

Opbeat’s employees have already joined Elastic and are working with the Elastic team to build an on-prem application to go with the existing SaaS piece. Banon said that the company hopes to take advantage of Opbeat’s cloud background to expand its cloud offerings.

Taking a cloud-native application and engineering it to be on-prem is no simple task, but the two companies hope to have an on-prem version ready in several month. It’s worth noting that Opbeat was using Elasticsearch in its product, but as Banon pointed out using a product and making it part of the stack are two different matters, and it will take a significant engineering effort to incorporate the new company into the fold as both a cloud and on-prem product.

You may recall that Cisco bought APM vendor AppDynamics earlier this year for $3.7 billion right before the company was about to IPO. While Banon wouldn’t reveal today’s purchase price, he joked that it was substantially less than that.

Given that Opbeat was founded in 2013 in Copenhagen, Denmark and has raised approximately $2.8 million, that’s a fair bet. The company will remain in Denmark.
继续阅读 »
IMG_7227.PNG


IMG_7226.JPG


IMG_7224.JPG

 
https://www.elastic.co/blog/we ... amily
https://techcrunch.com/2017/06 ... tion/
 
 
Today, at Elastic’s customer event in London, the company announced it has acquired Opbeat, a SaaS-application performance management vendor for an undisclosed amount. All 15 employees have already joined the Elastic team.

Opbeat focuses on monitoring applications written in Javascript. What’s more, it maps production application issues directly to the relevant developer source code, making it easier to fix the problem without having to hunt in the code to find the problem area.

Elastic is probably best known for its search product, Elasticsearch, an open source search tool that runs on some of the world’s biggest properties including Wikipedia, Yelp and eBay. In recent years, the company has moved beyond straight search and into analytics, particularly focusing on log data that puts them squarely in competition with companies like Splunk. Last year, it pulled all of the products together into a platform play they called Elastic Stack.

Elastic CEO Shay Banon sees today’s acquisition through a strategic lens, giving his company a leg up on the competition by offering not only a way to search log data, but also giving insights into the applications that are generating the data and why they may be performing poorly.

Rasmus Makwarth, who was CEO at Opbeat says joining Elastic allows the company to speed up the product roadmap and take advantage of the breadth of the Elastic platform. “We’ve been running a SaaS platform for some time now, giving application insights to developers, but haven’t been able to give customers insight into the entire application,” he explained. Joining Elastic lets his company take advantage of the search tool, as well as analytics, logging and data visualization available on the Elastic platform to greatly expand the vision.

Opbeat’s employees have already joined Elastic and are working with the Elastic team to build an on-prem application to go with the existing SaaS piece. Banon said that the company hopes to take advantage of Opbeat’s cloud background to expand its cloud offerings.

Taking a cloud-native application and engineering it to be on-prem is no simple task, but the two companies hope to have an on-prem version ready in several month. It’s worth noting that Opbeat was using Elasticsearch in its product, but as Banon pointed out using a product and making it part of the stack are two different matters, and it will take a significant engineering effort to incorporate the new company into the fold as both a cloud and on-prem product.

You may recall that Cisco bought APM vendor AppDynamics earlier this year for $3.7 billion right before the company was about to IPO. While Banon wouldn’t reveal today’s purchase price, he joked that it was substantially less than that.

Given that Opbeat was founded in 2013 in Copenhagen, Denmark and has raised approximately $2.8 million, that’s a fair bet. The company will remain in Denmark. 收起阅读 »

Elasticsearch 5.4.1 和 5.3.3 发布

昨日 Elastic 正式发布针对 5.4 Bug 的修复版本 Elasticsearch 5.4.1(基于 Lucene6.5.1 ),以及基于 Lucene6.4.2的 Elasticsearch 5.3.3。 Elasticsearch 5.4.1 是目前最新的稳定版本,在官方的 Elastic Cloud 上已可以直接部署和升级。此次发布包括两个安全补丁-- 所有 X-Pack Security 用户都应该升级。

5.4.x 相关链接:
Elasticsearch 5.4.1 下载地址
Elasticsearch 5.4.1 发行说明
Elasticsearch 5.4 重要改变
X-Pack 5.4.1 发行说明

5.3.x 相关链接:
Elasticsearch 5.3.3 下载地址
Elasticsearch 5.3.3 发行说明
Elasticsearch 5.3.3 重要改变
X-Pack 5.3.3 发行说明

你可以通过阅读上面的详细的发行说明来了解具体的发布内容,下面是一些重点摘要:

X-Pack Document Level Security and Aliases (ESA-2017-09) 

X-Pack 安全组件在版本 5.4.1 和 5.3.3 之前对于索引别名的文档层面的安全设置存在漏洞,这个 bug 允许单个用户在特定的操作下能通过别名查看未经允许的数据。

影响版本
X-Pack Security 从 5.0.0 到 5.4.0 都受影响。

解决方案
所有 X-Pack 安全组件的用户升级到 5.3.3 或者 5.4.1。如果不能升级,通过禁用索引层面的 request cache 可以临时解决这个问题。

CVE ID: CVE-2017-8441

 
X-Pack Privilege Escalation (ESA-2017-06)

修复 run_as 功能存在的一个特权扩大的bug。正常情况下,当使用run_as执行某些操作会以特定的身份来执行,这个bug 让用户无法正常转换为 run_as 指定的用户身份,从而导致查询失败和结果异常。

如果你不使用 run_as 功能或 _user 属性,则不受此bug影响。

影响版本
X-Pack Security 从 5.0.0 到 5.4.0 都受影响。

解决方案
建议升级 Elastic Stack 到 5.4.1,如果不能升级,请移除模板里面的 {{_user.username}} 占位符并确保 run_as 设置不会被不可信用户修改。

CVE ID: CVE-2017-8438


其它重要变化:
  1. 修复 bug,单分片进行 scroll 操作可能引起 X-Pack Security 造成节点僵死及 OOM。
  2. Elasticsearch 5.4.0 启用 TLS 不能对 5.3.x 和之前的节点进行认证。
  3. LDAP 认证用户在撤销认证之后后可能任然驻留在缓存。
  4. 现在,Netty在处理线程池、缓冲池和其他资源时,尊重处理器的设置,而不是在其他容器上运行时,可能会对这些资源进行过度的调整。
  5. 对关闭的索引进行 Index setting 修改将进行验证,保护因为错误的配置造成索引无法打开的问题。
  6. 修复 TransportClient 关于嗅探可能造成客户端挂起的异常。
  7. 修复在KERBEROS安全模式,HDFS repository 插件与 Java Security Manager 发生的冲突。
  8. 修复 Snapshot/restore 在 Elasticsearch 5.2.x 及之前的版本在取回所有快照时异常缓慢的问题。


 
最后,请下载和试用最新的 Elasticsearch 5.4.1,欢迎前往GitHub issue反馈任何遇到的问题。
继续阅读 »
昨日 Elastic 正式发布针对 5.4 Bug 的修复版本 Elasticsearch 5.4.1(基于 Lucene6.5.1 ),以及基于 Lucene6.4.2的 Elasticsearch 5.3.3。 Elasticsearch 5.4.1 是目前最新的稳定版本,在官方的 Elastic Cloud 上已可以直接部署和升级。此次发布包括两个安全补丁-- 所有 X-Pack Security 用户都应该升级。

5.4.x 相关链接:
Elasticsearch 5.4.1 下载地址
Elasticsearch 5.4.1 发行说明
Elasticsearch 5.4 重要改变
X-Pack 5.4.1 发行说明

5.3.x 相关链接:
Elasticsearch 5.3.3 下载地址
Elasticsearch 5.3.3 发行说明
Elasticsearch 5.3.3 重要改变
X-Pack 5.3.3 发行说明

你可以通过阅读上面的详细的发行说明来了解具体的发布内容,下面是一些重点摘要:

X-Pack Document Level Security and Aliases (ESA-2017-09) 

X-Pack 安全组件在版本 5.4.1 和 5.3.3 之前对于索引别名的文档层面的安全设置存在漏洞,这个 bug 允许单个用户在特定的操作下能通过别名查看未经允许的数据。

影响版本
X-Pack Security 从 5.0.0 到 5.4.0 都受影响。

解决方案
所有 X-Pack 安全组件的用户升级到 5.3.3 或者 5.4.1。如果不能升级,通过禁用索引层面的 request cache 可以临时解决这个问题。

CVE ID: CVE-2017-8441

 
X-Pack Privilege Escalation (ESA-2017-06)

修复 run_as 功能存在的一个特权扩大的bug。正常情况下,当使用run_as执行某些操作会以特定的身份来执行,这个bug 让用户无法正常转换为 run_as 指定的用户身份,从而导致查询失败和结果异常。

如果你不使用 run_as 功能或 _user 属性,则不受此bug影响。

影响版本
X-Pack Security 从 5.0.0 到 5.4.0 都受影响。

解决方案
建议升级 Elastic Stack 到 5.4.1,如果不能升级,请移除模板里面的 {{_user.username}} 占位符并确保 run_as 设置不会被不可信用户修改。

CVE ID: CVE-2017-8438


其它重要变化:
  1. 修复 bug,单分片进行 scroll 操作可能引起 X-Pack Security 造成节点僵死及 OOM。
  2. Elasticsearch 5.4.0 启用 TLS 不能对 5.3.x 和之前的节点进行认证。
  3. LDAP 认证用户在撤销认证之后后可能任然驻留在缓存。
  4. 现在,Netty在处理线程池、缓冲池和其他资源时,尊重处理器的设置,而不是在其他容器上运行时,可能会对这些资源进行过度的调整。
  5. 对关闭的索引进行 Index setting 修改将进行验证,保护因为错误的配置造成索引无法打开的问题。
  6. 修复 TransportClient 关于嗅探可能造成客户端挂起的异常。
  7. 修复在KERBEROS安全模式,HDFS repository 插件与 Java Security Manager 发生的冲突。
  8. 修复 Snapshot/restore 在 Elasticsearch 5.2.x 及之前的版本在取回所有快照时异常缓慢的问题。


 
最后,请下载和试用最新的 Elasticsearch 5.4.1,欢迎前往GitHub issue反馈任何遇到的问题。 收起阅读 »

Elasticsearch 5.4 发布,新增机器学习功能

出大事了,Elastic Stack 今日发布 5.4 版本,X-Pack 新增机器学习模块!
https://www.elastic.co/cn/blog ... stack
 今天,我们非常荣幸地宣布,首次发布通过 X-Pack 提供的 Elastic Stack Machine Learning 功能。加入 Elastic 就像跳上了火箭船,但是经过 7 个月不可思议的工作,我们现已将 Prelert Machine Learning 技术完全集成到 Elastic Stack。这让我们很激动,而且我们非常迫切地想要收到用户的反馈。

温馨提示:请注意,不要太过激动,这项功能在 5.4.0 版本中尚标记为 beta。

Machine Learning

我们的目标是通过一系列工具为用户赋能,让他们可以从自己的 Elasticsearch 数据中获取价值和洞察。与此同时,我们将 Machine Learning 视为 Elasticsearch 搜索和分析能力的自然延伸。举例来说,Elasticsearch 能够让您在大量数据中,实时地搜索用户“steve”的交易,或者利用聚合和可视化,展示一段时间以来的十大畅销产品或交易趋势。而现在有了 Machine Learning 功能,您就可以更加深入地探究数据,例如 “有没有哪项服务的行为发生了变化?” 或者 “主机上是否运行有异常进程?” 那么要想回答这些问题,就必须要利用 Machine Learning 技术,通过数据自动构建主机或服务的行为模式。

不过, Machine Learning 目前是软件行业最被夸大其词的术语之一,因为从本质上来讲,它就是用来实现数据驱动型预测、决策和建模的一系列广泛的算法和方法。因此,我们有必要隔绝干扰信息,具体说说我们所做的工作。

时间序列异常检测

目前,X-Pack Machine Learning 功能的着眼点是,利用无监督式机器学习,提供 “时间序列异常检测” 功能。

随着时间的推移,我们计划增加更多 Machine Learning 功能,但是我们目前只专注于为用户存储的时间序列数据(例如日志文件、应用程序和性能指标、网络流量或 Elasticsearch 中的财务/交易数据)提供附加值。

示例 1 - 自动提醒关键绩效指标值的异常变化

要说这项技术最直观的用例,那就是可以识别指标值或事件速率偏离正常行为的情况。例如,服务响应时间有没有显著增加?网站访客预期数量与同一时段正常情况相比,是否存在明显差异?传统情况下,人们会利用规则、阈值或简单的统计方法来进行此类分析。但遗憾的是,这些简单的方法鲜少能够高效地处理实际数据,原因在于此类方法往往是基于无效的统计假设(例如:高斯分布),因此不支持趋势分析(长期性或周期性趋势),或者在信号发生变化时缺乏稳定性。

所以说, Machine Learning 功能的首个切入点是单一指标作业,您可以借此了解该产品如何学习正常模式,如何识别单变量时间序列数据中存在的异常。如果您发现的异常是有意义的,您就可以连续地实时运行这项分析,并在发生异常时发出警报。

尽管这看上去像是一个比较简单的用例,但是产品后台包含大量复杂的无监督式机器学习算法和统计模型,因此我们对于任意信号具有鲁棒性,并且能够准确反映。

此外,为了让该功能可以在 Elasticsearch 集群中像原生程序一样运行,我们对功能实现进行了优化,因此几秒钟即可分析数以百万计的事件。

machine-learning-1.gif



示例 2 - 自动追踪数以千计的指标

Machine Learning 产品可以扩展到数十万指标和日志文件,那么下一步就是要同时分析多个指标。这些指标可能是来自同一个主机的多个相关指标,可能是来自同一个数据库或应用程序的性能指标,也可能是来自多个主机的多个日志文件。在这种情况下,我们可以直接单独分析,再将结果聚合到同一个窗口,展示整体的系统异常情况。

例如,假设我要处理来自一大组应用程序服务的响应时间,我可以直接分析各个服务一段时间以来的响应时间,分别确认各个行为异常的服务,同时展示整体的系统异常情况:

machine-learning-2-1.gif


示例 3 - 高级作业

最后,我们的产品还有大量更高级的用途。比方说,如果您想找出与整体相比行为异常的用户、异常的 DNS 流量,或者伦敦街头的拥堵路段,这时您就可以利用高级作业,灵活地分析 Elasticsearch 中存储的任何时间序列数据。

Elastic Stack 整合

Machine Learning 是 X-Pack 中的一项功能。这就意味着,安装 X-Pack 之后,就可以使用 Machine Learning 功能实时分析 Elasticsearch 中的时间序列数据。 Machine Learning 作业与索引和分片基本类似,能够跨 Elasticsearch 集群自动分布和管理。这还意味着 Machine Learning 作业对节点故障有很好的适应性。从性能角度看,紧密集成意味着数据永远不需要离开集群,而且我们可以利用 Elasticsearch 聚合极大地提高某些作业类型的性能。而紧密集成带来的另外一个好处就是,您可以直接从 Kibana 创建异常检测作业并查看结果。

由于这种方法对数据进行原位分析,数据从不离开集群,因此与将 Elasticsearch 数据集成到外部数据科学工具相比,这种方法能够带来显著的性能和运维优势。随着我们在这个领域开发出越来越多的技术,这种架构的优势将会更加显著。


blog-machine-learning-5-4-release.png



立即试用并反馈

这些 Machine Learning 功能是 X-Pack 5.4 中的 beta 功能,现已可用。我们急切地想要听听您的使用体会,所以请下载 5.4 版本,安装 X-Pack,然后直接联系我们,或者通过我们的讨论论坛联系我们。
下载地址:https://www.elastic.co/cn/downloads
 
继续阅读 »
出大事了,Elastic Stack 今日发布 5.4 版本,X-Pack 新增机器学习模块!
https://www.elastic.co/cn/blog ... stack
 今天,我们非常荣幸地宣布,首次发布通过 X-Pack 提供的 Elastic Stack Machine Learning 功能。加入 Elastic 就像跳上了火箭船,但是经过 7 个月不可思议的工作,我们现已将 Prelert Machine Learning 技术完全集成到 Elastic Stack。这让我们很激动,而且我们非常迫切地想要收到用户的反馈。

温馨提示:请注意,不要太过激动,这项功能在 5.4.0 版本中尚标记为 beta。

Machine Learning

我们的目标是通过一系列工具为用户赋能,让他们可以从自己的 Elasticsearch 数据中获取价值和洞察。与此同时,我们将 Machine Learning 视为 Elasticsearch 搜索和分析能力的自然延伸。举例来说,Elasticsearch 能够让您在大量数据中,实时地搜索用户“steve”的交易,或者利用聚合和可视化,展示一段时间以来的十大畅销产品或交易趋势。而现在有了 Machine Learning 功能,您就可以更加深入地探究数据,例如 “有没有哪项服务的行为发生了变化?” 或者 “主机上是否运行有异常进程?” 那么要想回答这些问题,就必须要利用 Machine Learning 技术,通过数据自动构建主机或服务的行为模式。

不过, Machine Learning 目前是软件行业最被夸大其词的术语之一,因为从本质上来讲,它就是用来实现数据驱动型预测、决策和建模的一系列广泛的算法和方法。因此,我们有必要隔绝干扰信息,具体说说我们所做的工作。

时间序列异常检测

目前,X-Pack Machine Learning 功能的着眼点是,利用无监督式机器学习,提供 “时间序列异常检测” 功能。

随着时间的推移,我们计划增加更多 Machine Learning 功能,但是我们目前只专注于为用户存储的时间序列数据(例如日志文件、应用程序和性能指标、网络流量或 Elasticsearch 中的财务/交易数据)提供附加值。

示例 1 - 自动提醒关键绩效指标值的异常变化

要说这项技术最直观的用例,那就是可以识别指标值或事件速率偏离正常行为的情况。例如,服务响应时间有没有显著增加?网站访客预期数量与同一时段正常情况相比,是否存在明显差异?传统情况下,人们会利用规则、阈值或简单的统计方法来进行此类分析。但遗憾的是,这些简单的方法鲜少能够高效地处理实际数据,原因在于此类方法往往是基于无效的统计假设(例如:高斯分布),因此不支持趋势分析(长期性或周期性趋势),或者在信号发生变化时缺乏稳定性。

所以说, Machine Learning 功能的首个切入点是单一指标作业,您可以借此了解该产品如何学习正常模式,如何识别单变量时间序列数据中存在的异常。如果您发现的异常是有意义的,您就可以连续地实时运行这项分析,并在发生异常时发出警报。

尽管这看上去像是一个比较简单的用例,但是产品后台包含大量复杂的无监督式机器学习算法和统计模型,因此我们对于任意信号具有鲁棒性,并且能够准确反映。

此外,为了让该功能可以在 Elasticsearch 集群中像原生程序一样运行,我们对功能实现进行了优化,因此几秒钟即可分析数以百万计的事件。

machine-learning-1.gif



示例 2 - 自动追踪数以千计的指标

Machine Learning 产品可以扩展到数十万指标和日志文件,那么下一步就是要同时分析多个指标。这些指标可能是来自同一个主机的多个相关指标,可能是来自同一个数据库或应用程序的性能指标,也可能是来自多个主机的多个日志文件。在这种情况下,我们可以直接单独分析,再将结果聚合到同一个窗口,展示整体的系统异常情况。

例如,假设我要处理来自一大组应用程序服务的响应时间,我可以直接分析各个服务一段时间以来的响应时间,分别确认各个行为异常的服务,同时展示整体的系统异常情况:

machine-learning-2-1.gif


示例 3 - 高级作业

最后,我们的产品还有大量更高级的用途。比方说,如果您想找出与整体相比行为异常的用户、异常的 DNS 流量,或者伦敦街头的拥堵路段,这时您就可以利用高级作业,灵活地分析 Elasticsearch 中存储的任何时间序列数据。

Elastic Stack 整合

Machine Learning 是 X-Pack 中的一项功能。这就意味着,安装 X-Pack 之后,就可以使用 Machine Learning 功能实时分析 Elasticsearch 中的时间序列数据。 Machine Learning 作业与索引和分片基本类似,能够跨 Elasticsearch 集群自动分布和管理。这还意味着 Machine Learning 作业对节点故障有很好的适应性。从性能角度看,紧密集成意味着数据永远不需要离开集群,而且我们可以利用 Elasticsearch 聚合极大地提高某些作业类型的性能。而紧密集成带来的另外一个好处就是,您可以直接从 Kibana 创建异常检测作业并查看结果。

由于这种方法对数据进行原位分析,数据从不离开集群,因此与将 Elasticsearch 数据集成到外部数据科学工具相比,这种方法能够带来显著的性能和运维优势。随着我们在这个领域开发出越来越多的技术,这种架构的优势将会更加显著。


blog-machine-learning-5-4-release.png



立即试用并反馈

这些 Machine Learning 功能是 X-Pack 5.4 中的 beta 功能,现已可用。我们急切地想要听听您的使用体会,所以请下载 5.4 版本,安装 X-Pack,然后直接联系我们,或者通过我们的讨论论坛联系我们。
下载地址:https://www.elastic.co/cn/downloads
  收起阅读 »