我刚打酱油去了,不好意思

【线下活动-分享主题征集-武汉】 2019年3月 Elastic&尚德机构技术沙龙

活动medcl 回复了问题 • 3 人关注 • 1 个回复 • 5719 次浏览 • 2019-02-22 15:42 • 来自相关话题

2018 年 Elastic Advent Calendar 分享活动已结束 ??

Adventmedcl 发表了文章 • 44 个评论 • 7885 次浏览 • 2018-11-20 22:33 • 来自相关话题

活动规则很简单:
 
活动创意来自于圣诞节倒计时,从12月1号开始到12月25日结束。
 
每天固定一篇文章分享,内容长短都可。
 
报名现在开始,留言报名即可,留言格式: Day[日期] -  你的分享标题。

一共25篇,报满即止。
 
虽然是西方的节日,不过目的是为了大家一起分享,重在参与嘛。
 
往期活动可参考:https://elasticsearch.cn/topic/advent
 
活动参与名单:

 
 
 如何发布?
自己选择发布文章,按你的标题在12月你的这一天发布出来就好了。

1543474748734.jpg


 

【线下活动 - 分享主题征集 - 上海】2018 Elastic & 东方航空大数据技术沙龙

活动kennywu76 发表了文章 • 5 个评论 • 3690 次浏览 • 2018-10-18 11:10 • 来自相关话题

Elastic中文社区联合东方航空公司,将于2018年12月08日,在上海举办一次线下技术交流活动。 本次活动交流内容不限于Elastic Stack,可以是搜索、推荐、机器学习、商业智能、智能运维等任意大数据相关技术的最佳应用实践。 活动分享主题正?征集中! 
 
有意参与本次主题分享的同学,请发送邮件至kennywu76@outlook.com,并提供如下信息:
  1. 个人简介
  2. 分享主题
  3. 内容提纲

 
为确保本次活动的紧凑,分享主题将控制在5个以内。 部分同学提交的内容可能无法安排进本次活动日程,但我们将保留所有提交的主题,并尽力安排在后续的线下活动进行分享 。
 
征集截止时间:  2018年11月10日
活动时间:  2018年12月08日(暂定)
活动地址:  东航城(上海市闵行区虹翔三路)
 
欢迎社区同学踊跃报名,期待你的分享!

Elastic 官方开发者认证现场考试+ Elastic 开发者大会 VIP 门票

活动medcl 发表了文章 • 9 个评论 • 9117 次浏览 • 2018-10-11 14:51 • 来自相关话题

Snip20181011_4.png

 
什么东西?
Elastic 官方的技能认证,官网介绍链接:
https://www.elastic.co/training/certification
 
考试内容及范围:
https://training.elastic.co/ex ... ineer
 
绝无仅有!搭着 Elastic 开发者大会的便车,也只有中国区才有的专属福利,原价400美金的Elastic工程师认证,现在只需要1500人民币,还包含大会的VIP门票(这么多干货主题,算是赠送),一共仅限20位,现场考试(其他都是远程)。
 
Elastic 认证工程师计划才刚刚开始,全球通过的现在加起来都不过百人,机会就放在这里了,只给有准备的人。
 
考试时间及地点:
时间:2018年11月9日,下午2点到下午5点
地点:深圳金茂 JW 万豪酒店2层会议中心,1号会议室
 
抢票地址:
https://www.bagevent.com/event/elastic
 
Snip20181011_3.png

Elastic 中国开发者大会 2018 疯狂来袭!

活动medcl 发表了文章 • 0 个评论 • 4533 次浏览 • 2018-08-28 17:52 • 来自相关话题

10月5日,Elastic 正式在纽交所上市了,股票代码 ESTC,当日股票涨幅超过100%,超越14年阿里巴巴,开盘价创有史以来新高。

261538793140_.pic_hd_.jpg



Elastic这么受欢迎,说明大家手里的 Elastic 技术更值钱了,那么在国内的年度开发者交流大会更是不能错过啦,并且现在福利来了,大会门票抢购中,[https://www.bagevent.com/event ... 50OFF](https://www.bagevent.com/event ... D50OFF) 手快有,手慢无啊!

知道 ELK 么?知道 Elasticsearch 么?目前最流行的开源数据库及分析类软件,目前已新晋级到数据库兵器谱排名第七位,搜索引擎排行榜长期霸占第一位,想要了解更多他的本事,快来了解一下他的官方用户大会:Elastic 中国开发者大会,时间2018年11月10日周六,地点深圳金茂 JW 万豪酒店。届时,将有来自 Elastic、eBay、暴雪、Grab、华为、阿里巴巴、顺丰等公司的25位各领域的专家大拿为你带来围绕 Elastic 开源技术的各自精彩干货分享。

640.jpeg



Elastic Stack 作为目前全球最流行的数据搜索与实时分析引擎套件,其产品累计下载次数已超过三亿五千万次,各行各业从一线互联网公司到传统的行业都能找到使用 Elasticsearch 的身影。Elastic 的开源技术正越来越受到众多开发者的青睐,已然成为大数据领域分析工具的最佳选择。

640-1.jpeg



[来自 db-engines.com的最新综合排名]

Elastic 中国开发者大会 2018(Elastic Developers China 2018)是由 Elastic 官方在中国举办的第二次开发者大会,主要围绕 Elastic 的开源产品: Elasticsearch、Logstash、Kibana 和 Beats,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。

举办 Elastic 开发者大会的目的是为中国广大的 Elastic 开发者提供一个技术交流和学习切磋的地方,汇集业界众多的成功案例,集思广益,发散思维,促进社区和行业的进步。

不管您是 Elasticsearch 的初学者还是资深的用户,您都应该参加!

大会亮点


01 部分精彩议题


  1. Beats 创始人 Monica Sarbu 带来的运维分析的三连击

  2. 新产品 Codesearch(原 Insight.io) 的初次亮相

  3. Elastic 内部是如何使用 Elastic 产品的案例

  4. 暴雪中国借助 ELK 运营游戏的经验分享

  5. 东南亚打车软件 Grab 的 POI 搜索平台迁移史

  6. 东半球对 Kibana 二次开发最多团队带来的经验分享

  7. 千亿数据规模下的 Elasticsearch 深度应用

  8. Elasticsearch 和 AI 的深度结合与用户画像系统

    更多在互联网、证券、快递、新零售、安全等领域的分享,点击[这里](https://www.bagevent.com/event ... D50OFF)了解更多


    02 部分嘉宾阵容


    640-2.jpeg



    640-3.jpeg




    03 Elastic AMA 展台


    640-4.jpeg



    AMA 即 Ask Me Anything,意思是尽管随便问,您可以在大会当天,尽情的在现场咨询 Elastic 官方工作人员任意的问题,可以是技术的咨询,可以是特性的讲解,可以是最佳实践,可以是商务合作。AMA 展台,您一定不要错过。


    04 Elastic Demo 展台


    640-5.jpeg



    如果您对 Elastic 能够帮您做哪些事情比较感兴趣,最直观的方式就是来到 Elastic 的 Demo 展台,现场有 Elastic 技术专家为您讲解各种酷炫的 Demo 以及具体的如何使用 Elastic Stack 来完成特定的任务。 Demo 展台有趣又好玩,记得打卡。


    05 闪电演讲


    640-6.jpeg



    您也来讲讲,大会的最后一个环节名叫闪电演讲,参会者可以现场报名,每位分享者可以有5分钟的时间来进行分享,可以是任何相关的话题,可以是 Demo 演示,可以是技术脱口秀,或是您的一个开源的项目,名额有限,先报先得。

    最后,赶紧报名吧!
    [https://www.bagevent.com/event ... 50OFF](https://www.bagevent.com/event ... D50OFF)

9月8日 Elastic Meetup 北京线下沙龙报名中

活动medcl 发表了文章 • 15 个评论 • 6247 次浏览 • 2018-08-16 17:57 • 来自相关话题


meetup-beijing.png

 时间:9月8日
地点:北京市海淀区上地西路6号,联想研究院圆楼三层报告厅
活动页面:https://meetup.elasticsearch.cn/2018/beijing.html 

议题:征集中,等你来投稿
  • 58到家搜索服务化实践和演进  -- 邢天宇/五八到家
  • Elasticsearch在百度aladdin日志系统的应用  -- 王鹏/百度
  • elasticsearch 在58集团信息安全部的应用 -- 亢伟楠/五八集体
  • Waterdrop:构建在Spark之上的简单高效数据处理系统  -- 霍晨/新浪网
  • 基于 ElasticSearch 构建个性化推荐和高级搜索  -- 周金阳/果壳网/在行

 
报名地址:http://elasticsearch.mikecrm.com/fUqiv0T 

演讲主题介绍
 
#1 基于 ElasticSearch 构建个性化推荐和高级搜索
[周金阳]周金阳果壳网/在行 算法工程师
使用 ES 来构建一个简易却行之有效的个性化推荐系统,以及一些高级搜索排序的实践。
搜索排序主要是分享一些机器学习工具与 ES 配合的实践心得。
 
#2 elasticsearch 在58集团信息安全部的应用

[亢伟楠]亢伟楠58集团 资深开发工程师
全面介绍 ELK Stack 在58集团信息安全部的落地,升级,优化以及应用。
包括如下等方面:接入背景,存储选型,性能挑战,master node以及data node优化,安全实践,高吞吐量以及低延迟搜索优化;kibana 的落地,本地化使其更方便产品、运营使用。
 
#3 58到家搜索服务化实践和演进

[邢天宇]邢天宇北京五八到家信息技术有限公司 java工程师
介绍58到家搜索服务体系的构建和普及,elasticsearch在到家中的各种应用以及优化等等。
 
#4 Waterdrop:构建在Spark之上的简单高效数据处理系统

[霍晨]霍晨新浪网,大数据研发工程师
大数据时代,随着Spark等工具的出现,数据处理能力在逐渐提升。
但是Spark本身的开发和运维具有一定的成本,为此我们开源了Waterdrop,通过配置文件的形式配置Spark任务,企图降低Spark的使用门槛,减小开发和运维成本
- 什么是waterdrop
- Waterdrop架构介绍
- Waterdrop VS Spark
- Waterdrop VS Logstash
- Waterdrop的优势
- Waterdrop使用场景
- Roadmap
 
#5 elasticsearch在百度aladdin日志系统的应用

[王鹏]王鹏百度,研发工程师
背景:aladdin建库问题相关的case追查,日志统计分析,问题需要解决。
方案:使用ES(es版本: 6.0.0)做存储和检索系统,日志以json格式,抽取重要字段建索引,每天一个index,index名字包含时间后缀,保存三天内的数据;建库10个模块,每天有100亿条记录,20T左右数据;使用20个容器做集群。
效果:毫秒级返回查询结果,利用kibana实时分析建库情况,同时能方便按需提供数据给业务方。

 
报名地址:http://elasticsearch.mikecrm.com/fUqiv0T 
 
 
Elastic 中国开发者大会 2018,阵容强大,正在火热售票中 ?
https://conf.elasticsearch.cn/2018/shenzhen.html

7月21日,周六,Elastic 上海 线下 Meetup [活动结束, PPT已上传]

活动medcl 发表了文章 • 34 个评论 • 7513 次浏览 • 2018-06-05 13:37 • 来自相关话题

当当当!
上海的小伙伴们注意啦!
今年的 Elastic 上海 Meetup 活动初步定于 7 月 21 日在 eBay 上海研发中心举行,现在开始征集分享嘉宾,欢迎大家自告奋勇!
活动日程信息:http://meetup.elasticsearch.cn/2018/shanghai.html 
分享报名链接:http://elasticsearch.mikecrm.com/A6QbFvU
参会报名链接:http://elasticsearch.mikecrm.com/fUqiv0T 
 
PPT 查看地址:

 

场地大小有限,大家尽量观看直播,

线上直播注册和【回看】观看入口:

 
Snip20180720_25.png

 

社区活动,重在参与,欢迎大家报名,一起分享交流!

开放公开,火力全开:Elastic 宣布公开其商业产品 X-Pack 的源代码

资讯动态medcl 发表了文章 • 21 个评论 • 14449 次浏览 • 2018-02-28 12:47 • 来自相关话题

by Elastic CEO Shay Banon [原文](https://www.elastic.co/blog/doubling-down-on-open)

IMG_4009.JPG



我很高兴的宣布,我们将公开我们 X-Pack 特性的所有代码 - Security、Monitoring、Alerting、Graph、Reporting、专门的 APM UI、Canvas、Elasticsearch SQL、Search Profiler、Grok Debugger、Elastic Maps Service zoom levels 以及 Machine Learning - 为了促进我们与客户及社区的更大的协作,正如我们今天为我们的开源代码所做的一样。

我为我们公司围绕我们的开源产品而自豪,一直以来我们都没有破坏创新或放弃对开放的承诺。当我们展望未来的时候,我们看到了一个机会,让我们更加坚信开放,甚至更加彻底,同时引入一个新的、更加高效的模式来构建一个成功的、可持续的围绕开源的商业模式。

这篇博客概述了我们做出这些改变的想法和细节,不过,让我澄清一件事 - 我们是一家开源软件公司。我们将继续保持为一家开源软件公司。我们比以往任何时候都要更加开放,我个人,我的团队,整体而言,都致力于此。

为什么开源?


当我第一次开始写 Elasticsearch 的时候,我知道它必须是开源的。开源作为一种开发模式和分发方式,提供了接触更多人的机会。所有这些人都能做出贡献。当然,通过代码可以做出贡献,但也可以通过使用免费的软件,持续不断的推进可能的边界。

与社区的合作可以确保,当你的项目成功时,会有一群热情的、专门的开发者指导你的特性开发,并将产品推向新的有趣的方向。例如,将聚合功能引入 Elasticsearch 让其可被当做一个可扩展的用于数据分析的产品。而像 Kibana 和 Logstash 这样的项目,以及后来的 Beats 的加入,无不令人鼓舞。随着我们用户的需求变得更加深入和专业,我们总能找到新的方法来支持他们,有些是通过新的功能、有些是产品,比如机器学习、APM 和站内搜索。

我们对开源的承诺深入了。这是我们花费大部分工程力量投入的地方,我们的社区贡献者和用户对我们创新进程也同样至关重要。但是,像我们这样快速推进产品的发展,需要大量的投资,这也是我们围绕这些技术成立一家公司的原因。

为什么商业软件?


那么,如果我们对开源软件已有如此深的见解,那为什么还是编写了商业软件呢?

我们是一家企业。作为企业的一部分,我们相信那些能够付款给我们的企业,应该付款给我们。而那些不能的,他们也不必付款给我们。作为回报,我们有义务确保我们继续添加功能和价值给我们所有的用户,并确保与我们的商业关系对客户有益。这是一家健康的公司所需要的平衡。

销售支持订阅服务是一个常见的开源软件的商业模式。可悲的是,只有支持的商业模式会朝向关于什么对用户最好以及什么对公司最好这样的冲突之中。在这种情况下,公司将没有动力让他们的产品更加简单好用,更加稳固和可扩展,因为那意味着这将吞噬其技术支持的利益。我们从来没有,也永远不会忍受为了确保公司继续经营而不让我们的软件变的更好。我们想要继续改进,我们支持服务的目标是让你的项目成功,然后你能成为你自有 Elastic Stack 部署的专家。

另外一种办法 -- 如果你们听过我的演讲,你们可能听我讨论过这个问题 -- 即构建一个‘企业版’的软件。这种,从本质上来讲,导致了社区的分裂,并在客户和用户之间产生了分歧。它的结果就是创建一种版本 -- 要么企业版,要么社区版 -- 被认为是权威的,往往滞后 master 很多。一个缺少特性的版本。一个在不同周期测试和发布的版本。一个有效的关闭了源代码的版本,因为您无法知道为了支持商业特性而更改了哪些内容。在 Elastic,所有我们的客户同时也是我们开源软件用户,使用相同版本的软件产品。我们不会创建一个社区版与企业版的版本。

那还有什么?识别高价值特性并将其作为核心软件的商业扩展。这种商业模式,我们有时候叫它“open core”,这是我们创造 X-Pack 的最终产物。为了构建和集成由我们维护知识产权(IP)的特性和功能,并提供订阅服务或免费的基础授权。保持我们对知识产权的控制,使我们能够有能力投资我们大部分的工程资源和时间,可以继续改进我们的核心,我们的开源产品。

这种方法使我们能够在世界各地建立一个分布式的公司,让我们感到惊讶的是,Elastic Stack 是如何被用来解决各种实际的、具体的问题的。添加适用于我们用户的特性和功能,并开发一些使我们能够持续到未来的功能。

但是这种方法也存在挑战…

更加开放


你是否知道 X-Pack 提供了一层免费的功能?这些能力诸如 Monitoring、Search Profiler、Grok Debugger 以及额外的 Elastic Maps 缩放级别。你是否知道我们还将在这一层继续添加更多功能,如 Canvas 和 Elasticsearch SQL?

当我们往X-Pack 里添加免费功能的时候,我们这么做是因为我们知道这些功能可以帮助用户更好的使用 Elastic Stack。不幸的是,太多功能你都不知道 -- 也许知道 -- 或得益于这些功能。所以这意味着有很大一部分用户在使用我们软件的时候往往不是最佳实践。

我们也知道,获得这个免费软件的过程是一个糟糕的用户体验,涉及到一个完整的集群重启。并且如果你想查看代码,抱歉,不可以。尤其是这些免费功能和很大一部分用户相关,你会问我们一些很好但是很难的问题,比如:“我如何就这些免费功能与你们交互?”,“我如何开启一个 issue 或是贡献代码?”

而我们没有很好的答案。

通过公开 X-Pack 的代码,我们解决了这些我们部分产品开源以及部分产品不是的问题。很快,所有的免费的和商业的特性你都可以开启一个 issue、查看特性讨论、检查源代码、与我们协助和提交一个 pull request。

具体细节


这意味着什么,技术上来说?

自 6.3 版本起,所有 $PRODUCT(项目)仓库(Elasticsearch, Logstash, Kibana, Beats) :

  • 所有现存的 Apache 2.0 协议的代码都将保持相同的协议,什么都不用动。
  • 我们会创建一个新的 X-Pack 目录,将 x-pack-$PRODUCT 的代码放入到该目录,基于 Elastic EULA 协议,允许相应的衍生和贡献。
  • 我们将修改最顶层的协议为一个简单的 Elastic License,包含这个仓库里面那些文件是Apache 2.0,那些是 Elastic EULA 的详细细节。

    同时,X-Pack 功能将打包到默认的发行版里面。所有免费的功能都包含在里面且默认开启且永远不会出现‘过期’,而商业特性则可以通过试用证书可选的启用。因为免费的证书永远不会过期,所以你再也不用通过注册来就直接获取它了。除此以外,一个只包含 Apache 2.0 协议代码的包也会同样会创建并提供下载。

    更多信息以及常见问题,可以在 [Opening X-Pack](http://elastic.co/products/x-pack/open) 页找到。

    总结


    我们相信开源。作为一种分布模式。作为一种建立企业的方法。作为我们公司的未来。
    我们承诺并保持我们将保持开放,并对我们将在 6.3 比以往任何时候都更加开放而感到兴奋。


    感谢你们对我们的信任。

Elastic 在年度用户大会 Elastic{ON} 2018 上发布众多新功能和技术预览

资讯动态medcl 发表了文章 • 1 个评论 • 5005 次浏览 • 2018-02-28 12:39 • 来自相关话题

IMG_0533.JPG



下载超过 2.25 亿次,Elastic 公开 X-Pack 源代码


旧金山 (Elastic{ON} 2018) – 2018 年 2 月 27 日 – Elastic,Elasticsearch 和 Elastic Stack背后的公司,今天宣布其产品累计下载次数达到 2.25 亿次的里程牌,去年累计下载次数是 1 亿。除此之外,Elastic 宣布公开其X-Pack 的源代码作为策略的一部分,让用户更容易地下载、检查和与 Elastic 工程团队一起在 X-Pack 特性开发上进行协作。给用户更简单的下载、检查及协助。X-Pack 目前包括了 security、alerting、monitoring、Graph 和machine learning 等众多功能。


“我们的产品被数以百万计的开发人员和成千上万的客户所依赖,他们依靠这些产品来驱动关键型业务,这令我们受宠若惊,” Elastic 创始人兼 CEO Shay Banon 表示, “正如他们与我们开源的产品打交道的一样,公开我们的 X-Pack 源代码能给我们的用户完全的透明度和具备与我们一起协助的能力。这样可以激励每一位开发人员、客户和使用我们软件的合作伙伴,帮助我们创造更好的产品和特性以及允许我们构建一个可持续发展的商业模式。”

Elastic 在过去18个月内收购了三家新公司,并在全世界发展了超过 100,000 多位开发者的技术社区。 Elastic{ON} 2018, 是一个最大型的 Elasticsearch 用户聚集的大会。在三天的时间里,超过 2500 名与会者聚在一起学习和分享创意,观看新功能的发布,并获得即将发布的新技术的预览。

  • Elastic APM: 这是 Elastic APM 第一个可被用于生产环境的版本,作为 Elastic 产品栈进入应用性能监控领域的一个延伸。它允许应用程序开发人员和 devops 工程师能够监视和分析特定的代码行对系统和业务性能的影响。这不仅仅是提升速度,同时也能扩展调试流程,将代码性能变化与操作历史有机结合。Elastic APM 将数据存储到 Elasticsearch 的索引里面,允许将 APM 数据与来自 Logstash 或者 Beats 的日志和监控指标进行关联分析,包含针对 Nodejs、Python、Ruby 和 JavaScript 的服务端组件和探针。还提供一个 APM 分析应用来实施典型的 APM 工作流。Elastic APM 已经作为 6.2 发布的一部分可被下载。

  • Swiftype App Search: 为开发者构建用以为他们的应用程序提供强大的搜索能力,Swiftype App Search 交付一系列稳健的 API 和额外的搜索相关的特性,如搜索结果重排、同义词和容错等。Swiftype App Search 是一个一站式的 Saas 解决方案,不需要基础设施、管理和维护,提供一个简单上手的用户体验。 Swiftype App Search 现已公测。

  • Machine Learning Forecasting: Elastic 机器学习能力的第一个主要扩展,用于预测分析领域。用户可以对时间序列数据进行建模,并使用复杂的、现成的机器学习算法来预测未来可能发生的结果。借助按需预测,用户可以使用现有的机器学习工作,并使用内置的预测模型,来准确预测改模型在预测周期内的增长情况。预测结果被写入到 Elasticsearch 的索引中,用户可用来和实际的数据进行比较。Elastic 的机器预测能力已包含在 6.2 的版本里面。

  • GIS App: Elastic 的一个全新研究项目,GIS(地理信息系统)是一个被设计用来捕获、存储、操作、分析、管理和呈现所有地理类型数据的系统。作为 Kibana 的一部分,这个 应用让你以一种全新的方式来执行特定的地理位置分析,在 Dashboard 里面加入内置的增强地图可视化组件。它的核心特性包括,多层地图的支持,映射独立的坐标点和用户端样式自定义。GIS App 目前已提供技术预览版。

  • SQL for Elasticsearch: 这个新特性为世界上最成熟的 SQL 数据库开发人员打开了释放 Elastic Stack 强大能力的大门,允许用户用熟悉的 SQL 语法来查询 Elasticsearch 里面的数据。JDBC 协议的支持,大大的简化了将 Elasticsearch 导出到外部 SQL 环境使用的情况。通过允许 Elasticsearch 通过 RESTful 协议理解 SQL,Elasticsearch SQL 允许你使用 SQL 语法来查询 Elasticsearch 里面的数据,以 SQL 引擎一致的表格形式返回那些查询结果,并提供一个用户接口来探索这些数据。Elasticsearch SQL 去年还只是作为一个概念被推出,现在马上将发布 alpha 和 beta 版本。

  • Canvas: Canvas 为下一代数据可视化和数据呈现展现了一个全新的篇章。随着 Kibana 越来越受欢迎,Canvas 展现了一种新的方式,可以将数据从 Elasticsearch 中获得的洞察赋予在线的、实时的仪表盘、幻灯片演示和信息图表。Canvas 能让用户能以一种前所未有的方式来表达 Elasticsearch 数据背后的故事,消除将数据导出到 Excel 中的详尽、重复和耗时的过程,来构建 PowerPoint。 Canvas 同样也是可插拔的,允许用户带来新的数据源、可视化类型和 UI 可视化组件。Canvas 去年作为一个概念被提出,目前已提供技术预览版可被下载。

  • Rollups: 一般来说,具备关联的指标和日志数据需要长时间保存,rollups 可以让用户存储有限的数据集,减少历史数据的磁盘占用。Elasticsearch 的 rollup 作业可以让用户配置一个定时任务来对数据进行 “rollup” 或预聚合,并保存结果到一个索引。举一个指标监控的例子,如:“web 服务器每小时的平均负载”,也就是说,平均数据被 rollup 起来并存储,但是其它原始数据,如特定用户、页面、IP 信息却不会。该功能将很快在 Elasticsearch 里面提供测试版本并随后在 Kibana 里面提供支持。

  • Flexible Deployment Configurations: 随着客户将随着越来越多的数据放进 Elasticsearch 并扩展越来越多的使用场景,Elastic 引入 “sliders” 功能来让用户获得定制他们集群配置的能力。Elastic Cloud 和 Elastic Cloud Enterprise (ECE) 客户将获得这些新能力:支持多种类型的硬件可供选择;支持集群模板和 hot/warm 集群;给现有集群添加机器学习节点、独立 master 节点和 APM 节点的能力。这些新特性很快将能在 Elastic Cloud 和 Elastic Cloud Enterprise 上可用。

  • Logstash Azure Monitoring Module: 通过与微软合作,Logstash Azure 监控模块目前是借助 Elastic Stack 监控你的 Azure 基础设施和服务的最简单的方式。新模块集成了 Azure 的集中式日志服务来标准化 Azure 日志和指标,并转换成 JSON 格式。使用 Logstash 来消费这些数据录入到 Elasticsearch。同时借助 Kibana,用户能够分析基础设施的改变和授权信息;识别可疑的行为和潜在的恶意用户;通过调查用户行为来执行根源分析;监控和优化 SQL 数据库的部署。该功能将很快提供 beta 版本。

    最后,Elastic 宣布一个新的、官方的 Elastic 认证计划。在用户要求获得专业认证的推动下,Elastic 将为用户提供新的培训课程,让他们成为专家,并通过 Elastic 认证。新课程 Elasticsearch Engineer I 和 Elasticsearch Engineer II 将为用户提供安装、管理和优化 Elasticsearch 集群的第一手知识,也包括,开发新的解决方案来分析他们的数据。这些课程是成为一名 Elastic 认证工程师的基础,包括动手、技术和基于性能的认证考试,通过考试将获得由官方颁发的 Elastic 电子认证徽章。


    了解更多


    Elastic Opening X-Pack Blog
    Opening X-Pack FAQ
    Elastic Certification
    Elastic Cause Awards

    关于 Elastic


    Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品包括开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一种托管服务)。迄今为止,这些产品的累积下载次数已超过 2.25 亿。Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 800 位员工,分布于世界上 30 多个国家和地区。欲了解详情请访问:elastic.co。

    媒体联系人:


    Michael Lindenberger

    Reidy Communications for Elastic

    Michael@reidycommunications.com

    (415) 531-1449

    亚太地区
    Jeff Yoshimura

    Communications @ Elastic

    pr@elastic.co

社区搜索试运行

资讯动态medcl 发表了文章 • 29 个评论 • 4573 次浏览 • 2017-12-25 11:31 • 来自相关话题

访问地址:
https://index.elasticsearch.cn

badge.png

 
姑且叫做:Elastic 情报局!
这个东西有什么用?
聚合 Elastic 社区的各种资源,
  • Elastic 官网资料、文档、博客、视频
  • Elastic 中文社区
  • Elastic 英文社区
  • Github 仓库的最新事件
  • 其他社区的相关主题,如 StackOverflow、Reddit等

用来提供一站式的垂直搜索,
方便提供您更好的学习和寻找参考资料。

Snip20171225_3.png

 
基于开源爬虫 GOPAElasticsearch 搭建,目前试运行,功能和数据正在完善中,欢迎反馈。

Elastic Stack 全新推出 6.0.0

资讯动态medcl 发表了文章 • 2 个评论 • 4735 次浏览 • 2017-11-15 13:34 • 来自相关话题

1510725544562.jpg



[https://www.elastic.co/cn/blog ... eased](https://www.elastic.co/cn/blog ... leased)

全新推出 6.0.0。

无需多说。你应该立即下载试用,或者通过你最喜欢的托管式 Elasticsearch 和 Kibana 提供平台 [Elastic Cloud](https://www.elastic.co/cn/cloud/as-a-service/signup) 亲身体验。

如果你在过去几个月没有跟上我们的发布节奏,可能会对今天的公告感到意外。今天标志着成千上万的 pull 请求和成百上千位代码提交者的努力终见成效。期间共有两个 alpha 版本、两个 beta 版本、两个候选版本以及最终的通用版本 (GA)。这个里程碑离不开 Elastic 各路团队的努力。还要感谢参与[先锋计划](https://www.elastic.co/cn/blog ... am-6-0)的用户提出的意见和反馈。

今天,我们不仅发布了整套 Elastic Stack,还发布了 [Elastic Cloud Enterprise 1.1](https://www.elastic.co/cn/cloud/enterprise),其中包括 6.0 支持、离线安装,并且对用户体验进行了一系列改进,旨在简化集群的配置、管理和监控。同天发布多款产品的正式版本还不够……还有仍是 Alpha 版本的 APM ,我们邀请大家在 6.0.0 中对它进行测试。

一个版本有如此多的亮点,该从哪里说起呢?你们撰文细述也好,提供详情链接也好,祝你们有愉快的阅读体验……更重要的是……祝你们有愉快的搜索、分析和可视化体验。

Elasticsearch


全新零停机升级体验,增加了序列 ID、改进了对稀疏数据的处理、加快了查询速度、分布式执行 watch 等等。功能摘要请查看[详情](https://www.elastic.co/cn//blo ... leased)。

Kibana


支持 “Dashboard Only” 模式,支持 “全屏” 模式,能够将保存的搜索结果导出到 .csv,X-Pack 黄金版及以上版本支持通过 UI 创建告警,X-Pack 基础版提供迁移助手,我们还通过调整对比度、支持快捷键来产品易用性,让用户使用起来更方便。数据交互的未来详见[此贴](https://www.elastic.co/cn/blog ... leased)。

Logstash


单一 Logstash 实例中可存在多个自成体系的管道,另有新增 UI 组件 - X-Pack 基础版中的管道查看器,以及 X-Pack 黄金版中的 Logstash 管道管理。了解详情,[点这里](https://www.elastic.co/cn/log/ ... leased)。

Beats


Beats <3 容器以及 Beats <3 模块(并且改进了适用于这些模块的仪表板)。再结合全新命令和配置布局,在 Metricbeat 实现更高效的存储。此外,全新推出 Auditbeat。细节详见[这里](https://www.elastic.co/cn/blog/beats-6-0-0-released)。

ES-Hadoop


对Spark的结构化数据流的一流支持已经降落到了 6.0,并重新编写了连接器映射代码以更好地支持多个映射。支持读写新的连接字段也被添加了。用户现在也可以利用非内联脚本类型的更新操作。[详细信息](https://www.elastic.co/blog/es ... leased)。

立即获取!


[招聘] ?Elastic 邀您一起共创开源事业 ❄️

求职招聘medcl 发表了文章 • 6 个评论 • 10076 次浏览 • 2017-07-27 16:20 • 来自相关话题

ElasticON16-Group-Photo-small.jpg

想不想去最棒的开源软件公司工作?
想不想不用朝9晚5浪费大量时间在路上,在家就能办公?
想不想让您的代码运行在成千上万台服务器上面,拯救世界?
想不想工作与生活的完美结合,做自己感兴趣的事情?
... ...
那考虑来Elastic吧,与全球顶尖工程师一起合作,福利待遇从优,一年至少2次出国机会。

基本要求:
  • 英语流利沟通
  • 掌握现代开发技术
  • 贡献过Elastic相关开源项目者优先

 
  下面是热招职位,位置不限,We are Distributed! 


除了上面这些,还有很多其他市场商务类职务,
查看 Elastic 全部在招职位信息,点击这里

关于 Elastic
Elastic 致力于构建大规模实时数据处理软件,场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年,旗下拥有产品:开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、 X-Pack (商业特性)和 Elastic Cloud (一个 SaaS 服务)。迄今为止,这些产品的累积下载次数已超过 3.5 亿。
成千上万的企业包括思科、易趣、高盛、美国宇航局、微软、梅约诊所、纽约时报、维基百科以及微讯通信等都在使用 Elastic 来助力其关键业务应用。 
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,投资额超过 1 亿美金。Elastic 拥有超过 1000 位员工,分布于世界上 30 多个国家和地区。了解更多请访问: elastic.co 。

使用 Elastic Stack 来监控和调优 Golang 应用程序

Beatsmedcl 发表了文章 • 0 个评论 • 11568 次浏览 • 2017-03-03 11:16 • 来自相关话题

Golang 因为其语法简单,上手快且方便部署正被越来越多的开发者所青睐,一个 Golang 程序开发好了之后,势必要关心其运行情况,今天在这里就给大家介绍一下如果使用 Elastic Stack 来分析 Golang 程序的内存使用情况,方便对 Golang 程序做长期监控进而调优和诊断,甚至发现一些潜在的内存泄露等问题。
 
Elastic Stack 其实是一个集合,包含 Elasticsearch、Logstash 和 Beats 这几个开源软件,而 Beats 又包含 Filebeat、Packetbeat、Winlogbeat、Metricbeat 和新出的 Heartbeat,呵呵,有点多吧,恩,每个 beat 做的事情不一样,没关系,今天主要用到 Elasticsearch、Metricbeat 和 Kibana 就行了。
 
Metricbeat 是一个专门用来获取服务器或应用服务内部运行指标数据的收集程序,也是 Golang 写的,部署包比较小才10M 左右,对目标服务器的部署环境也没有依赖,内存资源占用和 CPU 开销也较小,目前除了可以监控服务器本身的资源使用情况外,还支持常见的应用服务器和服务,目前支持列表如下:
  • Apache Module
  • Couchbase Module
  • Docker Module
  • HAProxy Module
  • kafka Module
  • MongoDB Module
  • MySQL Module
  • Nginx Module
  • PostgreSQL Module
  • Prometheus Module
  • Redis Module
  • System Module
  • ZooKeeper Module

当然,也有可能你的应用不在上述列表,没关系,Metricbeat 是可以扩展的,你可以很方便的实现一个模块,而本文接下来所用的 Golang Module 也就是我刚刚为 Metricbeat 添加的扩展模块,目前已经 merge 进入 Metricbeat 的 master 分支,预计会在 6.0 版本发布,想了解是如何扩展这个模块的可以查看 代码路径 和 PR地址
 
上面的这些可能还不够吸引人,我们来看一下 Kibana 对 Metricbeat 使用 Golang 模块收集的数据进行的可视化分析吧:

df9c563e-f831-11e6-835c-183f3f9e5b94.png

 
上面的图简单解读一下:
最上面一栏是 Golang Heap 的摘要信息,可以大致了解 Golang 的内存使用和 GC 情况,System 表示 Golang 程序从操作系统申请的内存,可以理解为进程所占的内存(注意不是进程对应的虚拟内存),Bytes allocated 表示 Heap 目前分配的内存,也就是 Golang 里面直接可使用的内存,GC limit 表示当 Golang 的 Heap 内存分配达到这个 limit 值之后就会开始执行 GC,这个值会随着每次 GC 而变化, GC cycles 则代表监控周期内的 GC 次数;
 
中间的三列分别是堆内存、进程内存和对象的统计情况;Heap Allocated 表示正在用和没有用但还未被回收的对象的大小;Heap Inuse 显然就是活跃的对象大小了;Heap Idle 表示已分配但空闲的内存;

底下两列是 GC 时间和 GC 次数的监控统计,CPUFraction 这个代表该进程 CPU 占用时间花在 GC 上面的百分比,值越大说明 GC 越频繁,浪费更多的时间在 GC 上面,上图虽然趋势陡峭,但是看范围在0.41%~0.52%之间,看起来还算可以,如果GC 比率占到个位数甚至更多比例,那肯定需要进一步优化程序了。
 
有了这些信息我们就能够知道该 Golang 的内存使用和分配情况和 GC 的执行情况,假如要分析是否有内存泄露,看内存使用和堆内存分配的趋势是否平稳就可以了,另外 GC_Limit 和 Byte Allocation 一直上升,那肯定就是有内存泄露了,结合历史信息还能对不同版本/提交对 Golang 的内存使用和 GC 影响进行分析。

接下来就要给大家介绍如何具体使用了,首先需要启用 Golang 的 expvar 服务,expvar(https://golang.org/pkg/expvar/) 是 Golang 提供的一个暴露内部变量或统计信息的标准包。
使用的方法很简单,只需要在 Golang 的程序引入该包即可,它会自动注册现有的 http 服务上,如下:
import _ "expvar"
如果 Golang 没有启动 http 服务,使用下面的方式启动一个即可,这里端口是 6060,如下:
func metricsHandler(w http.ResponseWriter, r *http.Request) {
w.Header().Set("Content-Type", "application/json; charset=utf-8")

first := true
report := func(key string, value interface{}) {
if !first {
fmt.Fprintf(w, ",\n")
}
first = false
if str, ok := value.(string); ok {
fmt.Fprintf(w, "%q: %q", key, str)
} else {
fmt.Fprintf(w, "%q: %v", key, value)
}
}

fmt.Fprintf(w, "{\n")
expvar.Do(func(kv expvar.KeyValue) {
report(kv.Key, kv.Value)
})
fmt.Fprintf(w, "\n}\n")
}

func main() {
mux := http.NewServeMux()
mux.HandleFunc("/debug/vars", metricsHandler)
endpoint := http.ListenAndServe("localhost:6060", mux)
}
默认注册的访问路径是/debug/vars, 编译启动之后,就可以通过 http://localhost:6060/debug/vars  来访问 expvar 以 JSON 格式暴露出来的这些内部变量,默认提供了 Golang 的 runtime.Memstats 信息,也就是上面分析的数据源,当然你还可以注册自己的变量,这里暂时不提。
 
OK,现在我们的 Golang 程序已经启动了,并且通过 expvar 暴露出了运行时的内存使用情况,现在我们需要使用 Metricbeat 来获取这些信息并存进 Elasticsearch。
 
关于 Metricbeat 的安装其实很简单,下载对应平台的包解压(下载地址:https://www.elastic.co/downloads/beats/metricbeat ),启动 Metricbeat 前,修改配置文件:metricbeat.yml
metricbeat.modules:
- module: golang
metricsets: ["heap"]
enabled: true
period: 10s
hosts: ["localhost:6060"]
heap.path: "/debug/vars"
上面的参数启用了 Golang 监控模块,并且会10秒获取一次配置路径的返回内存数据,我们同样配置该配置文件,设置数据输出到本机的 Elasticsearch:
output.elasticsearch:
hosts: ["localhost:9200"]

现在启动 Metricbeat:
./metricbeat -e -v
现在在 Elasticsearch 应该就有数据了,当然记得确保 Elasticsearch 和 Kibana 是可用状态,你可以在 Kibana 根据数据灵活自定义可视化,推荐使用 Timelion 来进行分析,当然为了方便也可以直接导入提供的样例仪表板,就是上面第一个图的效果。
关于如何导入样例仪表板请参照这个文档:https://www.elastic.co/guide/e ... .html 
 
除了监控已经有的内存信息之外,如果你还有一些内部的业务指标想要暴露出来,也是可以的,通过 expvar 来做同样可以。一个简单的例子如下:
var inerInt int64 = 1024
pubInt := expvar.NewInt("your_metric_key")
pubInt.Set(inerInt)
pubInt.Add(2)
在 Metricbeat 内部也同样暴露了很多内部运行的信息,所以 Metricbeat 可以自己监控自己了。。。
首先,启动的时候带上参数设置pprof监控的地址,如下:
./metricbeat -httpprof="127.0.0.1:6060" -e -v
这样我们就能够通过 [url=http://127.0.0.1:6060/debug/vars]http://127.0.0.1:6060/debug/vars[/url] 访问到内部运行情况了,如下:
{
"output.events.acked": 1088,
"output.write.bytes": 1027455,
"output.write.errors": 0,
"output.messages.dropped": 0,
"output.elasticsearch.publishEvents.call.count": 24,
"output.elasticsearch.read.bytes": 12215,
"output.elasticsearch.read.errors": 0,
"output.elasticsearch.write.bytes": 1027455,
"output.elasticsearch.write.errors": 0,
"output.elasticsearch.events.acked": 1088,
"output.elasticsearch.events.not_acked": 0,
"output.kafka.events.acked": 0,
"output.kafka.events.not_acked": 0,
"output.kafka.publishEvents.call.count": 0,
"output.logstash.write.errors": 0,
"output.logstash.write.bytes": 0,
"output.logstash.events.acked": 0,
"output.logstash.events.not_acked": 0,
"output.logstash.publishEvents.call.count": 0,
"output.logstash.read.bytes": 0,
"output.logstash.read.errors": 0,
"output.redis.events.acked": 0,
"output.redis.events.not_acked": 0,
"output.redis.read.bytes": 0,
"output.redis.read.errors": 0,
"output.redis.write.bytes": 0,
"output.redis.write.errors": 0,
"beat.memstats.memory_total": 155721720,
"beat.memstats.memory_alloc": 3632728,
"beat.memstats.gc_next": 6052800,
"cmdline": ["./metricbeat","-httpprof=127.0.0.1:6060","-e","-v"],
"fetches": {"system-cpu": {"events": 4, "failures": 0, "success": 4}, "system-filesystem": {"events": 20, "failures": 0, "success": 4}, "system-fsstat": {"events": 4, "failures": 0, "success": 4}, "system-load": {"events": 4, "failures": 0, "success": 4}, "system-memory": {"events": 4, "failures": 0, "success": 4}, "system-network": {"events": 44, "failures": 0, "success": 4}, "system-process": {"events": 1008, "failures": 0, "success": 4}},
"libbeat.config.module.running": 0,
"libbeat.config.module.starts": 0,
"libbeat.config.module.stops": 0,
"libbeat.config.reloads": 0,
"memstats": {"Alloc":3637704,"TotalAlloc":155
... ...
比如,上面就能看到output模块Elasticsearch的处理情况,如 output.elasticsearch.events.acked 参数表示发送到 Elasticsearch Ack返回之后的消息。
 
现在我们要修改 Metricbeat 的配置文件,Golang 模块有两个 metricset,可以理解为两个监控的指标类型,我们现在需要加入一个新的 expvar 类型,这个即自定义的其他指标,相应配置文件修改如下:
- module: golang
metricsets: ["heap","expvar"]
enabled: true
period: 1s
hosts: ["localhost:6060"]
heap.path: "/debug/vars"
expvar:
namespace: "metricbeat"
path: "/debug/vars"
上面的一个参数 namespace 表示自定义指标的一个命令空间,主要是为了方便管理,这里是 Metricbeat 自身的信息,所以 namespace 就是 metricbeat。
 
重启 Metricbeat 应该就能收到新的数据了,我们前往 Kibana。
 
这里假设关注 output.elasticsearch.events.acked和
output.elasticsearch.events.not_acked这两个指标,我们在Kibana里面简单定义一个曲线图就能看到 Metricbeat 发往 Elasticsearch 消息的成功和失败趋势。
Timelion 表达式:
.es("metricbeat*",metric="max:golang.metricbeat.output.elasticsearch.events.acked").derivative().label("Elasticsearch Success"),.es("metricbeat*",metric="max:golang.metricbeat.output.elasticsearch.events.not_acked").derivative().label("Elasticsearch Failed")
效果如下:

Snip20170304_9.png

从上图可以看到,发往 Elasticsearch 的消息很稳定,没有出现丢消息的情况,同时关于 Metricbeat 的内存情况,我们打开导入的 Dashboard 查看:

Snip20170304_10.png


关于如何使用 Metricbeat 来监控 Golang 应用程序的内容基本上就差不多到这里了,上面介绍了如何基于 expvar 来监控 Golang 的内存情况和自定义业务监控指标,在结合 Elastic Stack 可以快速的进行分析,希望对大家有用。

最后,这个 Golang 模块目前还没 release,估计在 beats 6.0 发布,有兴趣尝鲜的可以自己下载源码打包。

欢迎参加Elastic的Meetup线下活动问卷调查

资讯动态medcl 发表了文章 • 1 个评论 • 4804 次浏览 • 2017-02-23 11:25 • 来自相关话题

问卷调查直达链接:https://www.surveymonkey.com/r/elastic-china17 
 
同学们,乡亲们:
    想要今年的Elastic线下活动来到您身边么,快参加我们的问卷调查吧,如果您的城市不在下拉列表,记得添加进去,问卷调查比较简单啦,大概只需要花费您几分钟时间,快来吧:https://www.surveymonkey.com/r/elastic-china17
 
   另外Elastic也在寻找各个城市的演讲者、场地赞助、协办方、志愿者。如果您有项目用到了任何Elasticsearch、Kibana、Logstash或Beats,并且有兴趣分享您的经验故事(不管是5分钟还是50分钟)请让我们知道,我们非常愿意与我们的社区一起分享您的故事。不管是哪种参与方式都欢迎,请在问卷内留下联系方式或联系我:medcl123(添加注明来意)。


我们感谢您参与本次问卷调查!问题集中在您想参加的线下活动类型,调查结果将被用来使组织者更好地安排活动计划。本调查预计需要花费2 - 5分钟才能完成。我们将与所有参与调查的人分享任何有趣的发现。所有收集的信息将保持匿名。为了鼓励大家花费这一天中的几分钟时间,将随机抽取五个人赢得 $50 美元的亚马逊礼品卡和十五个人将赢得 Elastic Stack 特别版T恤。为了进行抽奖活动,我们会在调查结束时要求您提供电子邮件,但只会用它来让您知道如果您中奖了。


 
除了这个问卷调查,我们在也同时更新了 Elastic 用户组的行为准则(Code of Conduct)。参加我们的活动意味着您同意我们的准则。完整的准则可以访问:https://www.elastic.co/community/codeofconduct。所有的细节可以这个链接页找到。如果您还要其他问题,也欢迎告知我们:) — 我们会一直在这里提供帮助!  :)
 
timg.jpeg

Elasticsearch 安全加固 101

Elasticsearchmedcl 发表了文章 • 8 个评论 • 20749 次浏览 • 2017-01-13 13:03 • 来自相关话题

images.jpeg

 最近 MongoDB 的安全事件闹得沸沸扬扬,应该不少人都听说了吧,事情大概是,因为 MongoDB 默认的安全设置造成了数据外泄并且被黑客勒索才能找回数据,想了解的,这里有几个链接:
http://www.jianshu.com/p/48d17a69e190
http://mt.sohu.com/20170107/n478047698.shtml​ 
http://bbs.tianya.cn/post-itinfo-503786-1.shtml​ 
 
安全从来不是等到出事才要注意的事情,可以说安全是第一重要的事情,不管你是公司的CTO、技术总监、运维总监、架构师还是一线工程师,都应该有安全意识,好了,废话不多说了,Elasticsearch 的用户现在越来越多了,有些已经成为公司的基础服务,所以数据的安全非常重要,今天主要给大家介绍 Elasticsearch 围绕安全方面的的几点使用事项:
 
下载安装
 
     请使用正规渠道下载 Elasticsearch,首选官方网站,下载完成,记得要验证下载文件的 sha1值和官网下载的提供的sha1值进行对比,避免下载过程中被人拦截破坏文件,甚至注入恶意代码。
不要随便安装第三方的插件,插件有可能引入安全漏洞甚至本身自带后门,需谨慎使用。
    链接君:https://www.elastic.co/downloads 
 
 
使用最新的 Elasticsearch
 
    请关注 Elastic 网站,及时更新升级 Elasticsearch 的最新版本,Elasticsearch 每次版本发布都会优化和改进一部分功能,尤其是安全漏洞的补丁,仔细阅读 Elasticsearch 的更新记录,Elasticsearch 的版本遵照 语义化版本 ,所以小版本间应该是能够无缝升级的,建议及时本地测试和线上更新,升级前,记得 snapshot 做好备份。
    链接君:https://www.elastic.co/downloads
 
 
修改默认的 Elasticsearch 集群名称
 
     Elasticsearch 默认的集群名称是 elasticsearch,请在生成环境上一定要修改成其他的名称,并且不同的环境和不同的集群要保证不相同,监控集群节点情况,如果有未知节点加入,一定要及时预警。
    文档君:https://www.elastic.co/guide/e ... .name
 
 不要暴露 Elasticsearch 在公网上
 
      Elasticsearch 默认端口是9200,绑定的是本机127.0.0.1的这个 ip,这个默认参数其实很安全,但是有很多人想要绑定其他的 lan 口或者公网的 ip,可以修改相应参数,记住,修改有风险,如果确实需要将 Elasticsearch 暴露在公网环境,请修改特定的端口绑定IP,不要直接修改参数: network.host,而是要分别修改:http.port 来绑定 HTTP 协议9200 端口的 IP(RESTful 接口调用),修改:transport.tcp.port 对应的 TCP 9300 端口的 IP(集群内通信),如果你不需要 http 端口,你干脆禁用掉,另外还需要在 Elasticsearch 之上加上成熟的安全防护措施(注意是成熟的!),在这里提供几种方案:
  1. 9200的 HTTP 接口之上加上 Nginx 来提供 Http Basic-Auth 的基本的身份认证,辅助 SSL 证书进行传输层的加密,Nginx 进一步限制可接受 Verb 请求类型及可被操作的索引前缀。
  2. 使用 Elastic 的 X-Pack 插件,同样提供了 Http Basic-Auth 和 SSL 传输层的加密,X-Pack 还能提供内外 Elasticsearch 集群节点间的流量加密,避免旁路攻击。

 
     文档君:https://www.elastic.co/guide/e ... tings 
 
禁用批量删除索引
 
Elasticsearch 支持通过_all(全部)和通配符(*)来批量删除索引,在生产环境,这个有点危险,你可以通过设置: action.destructive_requires_name: true 来禁用它。

安全使用动态脚本

     Elasticsearch 的脚本很方便的可以对数据进行操作,不过如果你暂时没有用上,还请禁用它(Elasticsearch 在1.2.x 以后已经默认禁用了),如果你已经在使用动态脚本,比如 Groovy,它不是沙盒机制的脚本引擎,启用 inline 或 store 类型的groovy 有安全风险,请限制脚本的接触方,比如通过模板的方式来限制脚本的调用,只需要执行特定预先定义好的脚本,对调用参数进行过滤和参数值的检测,做好验证,同时各种日志都必须要保留好,方便进行日志分析,异常的调用和请求一定要有发现和预警机制。
      Elasticsearch 默认启用了  Java Security Manager ,但还请正确配置其白名单。
      使用 Groovy 或者JavaScript 等脚本的用户,尽快迁移到 Painless 脚本,Painless 更快更安全。
      文档君:https://www.elastic.co/guide/e ... .html
 
给 Elasticsearch 服务器加固
 
     服务器加固是一个必备流程,不管上面运行的是什么服务;
     首先,请开启防火墙,请设置防火墙规则,只开启必备的端口,完成之后,使用扫描工具扫描服务器,检查端口开发情况;
     如果可能,不要用密码的方法来远程登录服务器,使用公私钥的方式来 ssh 登录服务器,如果只能使用密码,请妥善保管好你的用户名和密码,禁用 root 用户,不用使用弱密码。
     关注 Java 最新的漏洞,使用安全的 JVM 运行时。
     服务器及时更新最新的软件,使用安全的 repo 软件源,绑定软件源的 host和 ip,避免 dns 污染造成的攻击,关注服务器软件漏洞,及时打上补丁。
     收集系统日志和安装相应的入侵检测软件,及时发现服务器是否有异常行为。
 
不要以 root 身份运行 Elasticsearch

    如果你的运维人员打算以 root 身份来运行某个服务,这个运维人员一定是一个不合格的运维人员,记住一定不要以 root 身份来运行 Elasticsearch,另外,要不和其他的服务公用相同的用户,然后还要保证该用户的权限要最小化。
     范例君:
sudo -u es-user ES_JAVA_OPTS="-Xms1024m -Xmx1024m"  /opt/elasticsearch/bin/elasticsearc

 
正确设置 Elasticsearch 的数据目录
 
     请确保 Elasticsearch 的目录分配了合理的读写权限,避免使用共享文件系统,确保只有 elasticsearch 的启动用户才能访问,同理,日志目录也一样需要正确配置,避免泄露敏感信息。
     文档君:https://www.elastic.co/guide/e ... tings
 
定期对 Elasticsearch 进行备份
 
     使用 Elasticsearch 提供的备份还原机制,定期对 Elasticsearch 的数据进行快照备份,以备不时之需。
     文档君:https://www.elastic.co/guide/e ... .html
 
加上监控和预警
 
     Elasticsearch 提供了很好的默认参数,对参数方面还做了正确性检测,bootstrap 启动检查,不准确的参数,直接不允许 Elasticsearch 启动,以至于有很多人抱怨,怎么现在部署到线上默认就需要做这么多设置才能使用呢,是的,以前启动就默认绑定了所有的网卡,集群见自动发现和相连,现在需要手动绑定局域网网卡,默认只是绑定的本机127.0.0.1的 ip,对上线来说麻烦了一点,做了这些检查也就是为了保证数据安全,以前很多的公网都能直接访问的 Elasticsearch 实例,都是因为默认设置就绑定了公网 ip,但是这些还不够,作为用户,你还需要收集各种日志和系统监控信息,及时主动掌握服务健康和资源使用情况,发现异常情况要及时处理,这里提供一些方案:
  1. 使用开源的 Elastic Stack 收集这些日志,可以使用 Filebeat 收集日志,Metricbeat收集系统监控信息,存进 Elasticsearch,一旦发现异常的波动,使用 Watcher 来进行预警,通过邮件或者 webhook 调用短信、微信或者电话。
  2. 使用其他厂商的安全监控产品。
  3. 使用托管的 Elasticsearch 云的产品,如 Elastic Cloud等等。


是的,把安全这个事情考虑进去之后,很多事情都要比没考虑要变得更加复杂和麻烦,千里之堤毁于蚁穴,一个不起眼的忽视就有可能造成全部数据的丢失和泄露,出来混迟早是要还的,安全问题千万不能忽视。
 
以上几点建议举例针对 linux 平台,其他平台思路基本上一样,仅供参考,安全是一个包含很多方方面面的学科,抛砖引玉,希望大家有用。 

最后,Elastic 非常关心我们的产品安全,如果您发现有任何安全方面的问题,还请在这里上报:
https://www.elastic.co/community/security
企业用户需要 X-Pack 及 Elastic 官方技术支持,请访问下面的链接:
https://www.elastic.co/cn/contact