【线下活动】2017-06-10南京Elastic Meetup日程安排

kenny_ye 发表了文章 • 4 个评论 • 828 次浏览 • 2017-05-08 14:07 • 来自相关话题

1. 主办方
Elastic中文社区  趋势科技






2. 时间地点
 活动时间:2017年6月10日 13:30 - 18:00 
 活动地点:雨花区软件大道48号苏豪国际广场B座 趋势科技中国研发中心(靠花神庙地铁站)

3. 主题

分享一:Elastic Stack 5.x 最新进展

演讲者简介:






曾勇(Medcl) Elastic工程师与布道师
2015年加入Elastic公司,在加入Elastic之前,在搜索和运维等方面积累了超过七年的经验。Elasticsearch国内首批用户,自2010年起就开始接触Elasticsearch,是Elasticsearch中文社区的发起人,同时也是Elastic在中国的首位员工。

主题简介:
Elastic Stack是Elastic公司的开源产品:Elasticsearch、Logstash、Kibana和Beats的统称,Elastic Stack的各个产品最近放出了很多新的激动人心的特性,本次分享将为大家一一解读,相信会对很多已经在用和打算用的同学有帮助。

分享二: Elastic Stack的容器化使用与Alert

演讲者简介:






瞿盛熙 嘀哒物流科技有限公司运维组组长

主题简介:
介绍嘀哒物流在公有云上的Elastic Stack部署以及日志分析与监控
1.目的和环境 
2.部署:自动化,容器化下kubernetes与single mode的考量
3.日志分析与alert
4.监控:prometheus与docker

分享三:Elasticsearch辅助的智能客服机器人 

演讲者简介:






杨文俊 趋势科技个人消费者部机器学习工程师
从2013年开始投入大数据处理与机器学习,目前依托Elasticsearch的搜索能力构建了一系列的智能服务。

主题简介:
1. 将原始的日文记录导入Elasticsearch之中
2. 使用Elasticsearch对原始内容进行初次过滤
3. 在过滤的基础之上,调用wmd + word2vec进行rerank,并综合进行判定

分享四: Elastic在华为电信软件运维中的应用简介

演讲者简介:






肖曙旭 华为电信软件业务云运维开发部软件工程师
华为日志服务特性负责人。从2015年起开始接触Elasticsearch并使用至今。先后负责服务调用链和日志服务特性的设计和开发,依托Elasticsearch实现搜索相关能力。

主题简介:
1. 日志采集代理。提供按正则表达式匹配或者分隔符的逻辑行分割方式;支持逻辑行内按分隔符提取字段,或者按正则表达式提取字段;支持一些简易算子对字段进行处理。
2. 日志汇聚。不同的日志类型通过不同的Topic区分
3. 流式处理。日志数据二次处理,或者一些实时分析的逻辑处理。
4. 参考kibana开发搜索和可视化能力,同时支持关键词告警,环比告警等告警能力,以及整个日志服务通道的自身监控能力。

分享五:基于ES的SQL报警引擎

演讲者简介:






张立丹 南京云利来软件科技有限公司
2010年参加工作,工作内容包括:Windows音频驱动及声卡固件;Linux高并发服务器;数据采集及分析。自2015年开始接触Elasticsearch,在工作中使用ES进行网络数据(TCP/HTTP/DNS等)的安全分析。

主题简介:
1. SQL:将ES的DSL抽象成 SQL
2. RDL:规则描述语言
3. 报警规则 查看全部
1. 主办方
Elastic中文社区  趋势科技

451f109ee77935ac8975c8399130efc6.jpg


2. 时间地点
 活动时间:2017年6月10日 13:30 - 18:00 
 活动地点:雨花区软件大道48号苏豪国际广场B座 趋势科技中国研发中心(靠花神庙地铁站)

3. 主题

分享一:Elastic Stack 5.x 最新进展

演讲者简介:

Medcl.jpg


曾勇(Medcl) Elastic工程师与布道师
2015年加入Elastic公司,在加入Elastic之前,在搜索和运维等方面积累了超过七年的经验。Elasticsearch国内首批用户,自2010年起就开始接触Elasticsearch,是Elasticsearch中文社区的发起人,同时也是Elastic在中国的首位员工。

主题简介:
Elastic Stack是Elastic公司的开源产品:Elasticsearch、Logstash、Kibana和Beats的统称,Elastic Stack的各个产品最近放出了很多新的激动人心的特性,本次分享将为大家一一解读,相信会对很多已经在用和打算用的同学有帮助。

分享二: Elastic Stack的容器化使用与Alert

演讲者简介:

嘀嗒物流_qushengxi.jpg


瞿盛熙 嘀哒物流科技有限公司运维组组长

主题简介:
介绍嘀哒物流在公有云上的Elastic Stack部署以及日志分析与监控
1.目的和环境 
2.部署:自动化,容器化下kubernetes与single mode的考量
3.日志分析与alert
4.监控:prometheus与docker

分享三:Elasticsearch辅助的智能客服机器人 

演讲者简介:

趋势科技_wenjun.jpg


杨文俊 趋势科技个人消费者部机器学习工程师
从2013年开始投入大数据处理与机器学习,目前依托Elasticsearch的搜索能力构建了一系列的智能服务。

主题简介:
1. 将原始的日文记录导入Elasticsearch之中
2. 使用Elasticsearch对原始内容进行初次过滤
3. 在过滤的基础之上,调用wmd + word2vec进行rerank,并综合进行判定

分享四: Elastic在华为电信软件运维中的应用简介

演讲者简介:

华为_肖曙旭2.jpg


肖曙旭 华为电信软件业务云运维开发部软件工程师
华为日志服务特性负责人。从2015年起开始接触Elasticsearch并使用至今。先后负责服务调用链和日志服务特性的设计和开发,依托Elasticsearch实现搜索相关能力。

主题简介:
1. 日志采集代理。提供按正则表达式匹配或者分隔符的逻辑行分割方式;支持逻辑行内按分隔符提取字段,或者按正则表达式提取字段;支持一些简易算子对字段进行处理。
2. 日志汇聚。不同的日志类型通过不同的Topic区分
3. 流式处理。日志数据二次处理,或者一些实时分析的逻辑处理。
4. 参考kibana开发搜索和可视化能力,同时支持关键词告警,环比告警等告警能力,以及整个日志服务通道的自身监控能力。

分享五:基于ES的SQL报警引擎

演讲者简介:

云利来_张立丹3.png


张立丹 南京云利来软件科技有限公司
2010年参加工作,工作内容包括:Windows音频驱动及声卡固件;Linux高并发服务器;数据采集及分析。自2015年开始接触Elasticsearch,在工作中使用ES进行网络数据(TCP/HTTP/DNS等)的安全分析。

主题简介:
1. SQL:将ES的DSL抽象成 SQL
2. RDL:规则描述语言
3. 报警规则

Elasticsearch 5.4 发布,新增机器学习功能

medcl 发表了文章 • 1 个评论 • 1726 次浏览 • 2017-05-05 09:12 • 来自相关话题

出大事了,Elastic Stack 今日发布 5.4 版本,X-Pack 新增机器学习模块!
https://www.elastic.co/cn/blog ... stack
 今天,我们非常荣幸地宣布,首次发布通过 X-Pack 提供的 Elastic Stack Machine Learning 功能。加入 Elastic 就像跳上了火箭船,但是经过 7 个月不可思议的工作,我们现已将 Prelert Machine Learning 技术完全集成到 Elastic Stack。这让我们很激动,而且我们非常迫切地想要收到用户的反馈。

温馨提示:请注意,不要太过激动,这项功能在 5.4.0 版本中尚标记为 beta。

Machine Learning

我们的目标是通过一系列工具为用户赋能,让他们可以从自己的 Elasticsearch 数据中获取价值和洞察。与此同时,我们将 Machine Learning 视为 Elasticsearch 搜索和分析能力的自然延伸。举例来说,Elasticsearch 能够让您在大量数据中,实时地搜索用户“steve”的交易,或者利用聚合和可视化,展示一段时间以来的十大畅销产品或交易趋势。而现在有了 Machine Learning 功能,您就可以更加深入地探究数据,例如 “有没有哪项服务的行为发生了变化?” 或者 “主机上是否运行有异常进程?” 那么要想回答这些问题,就必须要利用 Machine Learning 技术,通过数据自动构建主机或服务的行为模式。

不过, Machine Learning 目前是软件行业最被夸大其词的术语之一,因为从本质上来讲,它就是用来实现数据驱动型预测、决策和建模的一系列广泛的算法和方法。因此,我们有必要隔绝干扰信息,具体说说我们所做的工作。

时间序列异常检测

目前,X-Pack Machine Learning 功能的着眼点是,利用无监督式机器学习,提供 “时间序列异常检测” 功能。

随着时间的推移,我们计划增加更多 Machine Learning 功能,但是我们目前只专注于为用户存储的时间序列数据(例如日志文件、应用程序和性能指标、网络流量或 Elasticsearch 中的财务/交易数据)提供附加值。

示例 1 - 自动提醒关键绩效指标值的异常变化

要说这项技术最直观的用例,那就是可以识别指标值或事件速率偏离正常行为的情况。例如,服务响应时间有没有显著增加?网站访客预期数量与同一时段正常情况相比,是否存在明显差异?传统情况下,人们会利用规则、阈值或简单的统计方法来进行此类分析。但遗憾的是,这些简单的方法鲜少能够高效地处理实际数据,原因在于此类方法往往是基于无效的统计假设(例如:高斯分布),因此不支持趋势分析(长期性或周期性趋势),或者在信号发生变化时缺乏稳定性。

所以说, Machine Learning 功能的首个切入点是单一指标作业,您可以借此了解该产品如何学习正常模式,如何识别单变量时间序列数据中存在的异常。如果您发现的异常是有意义的,您就可以连续地实时运行这项分析,并在发生异常时发出警报。

尽管这看上去像是一个比较简单的用例,但是产品后台包含大量复杂的无监督式机器学习算法和统计模型,因此我们对于任意信号具有鲁棒性,并且能够准确反映。

此外,为了让该功能可以在 Elasticsearch 集群中像原生程序一样运行,我们对功能实现进行了优化,因此几秒钟即可分析数以百万计的事件。







示例 2 - 自动追踪数以千计的指标

Machine Learning 产品可以扩展到数十万指标和日志文件,那么下一步就是要同时分析多个指标。这些指标可能是来自同一个主机的多个相关指标,可能是来自同一个数据库或应用程序的性能指标,也可能是来自多个主机的多个日志文件。在这种情况下,我们可以直接单独分析,再将结果聚合到同一个窗口,展示整体的系统异常情况。

例如,假设我要处理来自一大组应用程序服务的响应时间,我可以直接分析各个服务一段时间以来的响应时间,分别确认各个行为异常的服务,同时展示整体的系统异常情况:






示例 3 - 高级作业

最后,我们的产品还有大量更高级的用途。比方说,如果您想找出与整体相比行为异常的用户、异常的 DNS 流量,或者伦敦街头的拥堵路段,这时您就可以利用高级作业,灵活地分析 Elasticsearch 中存储的任何时间序列数据。

Elastic Stack 整合

Machine Learning 是 X-Pack 中的一项功能。这就意味着,安装 X-Pack 之后,就可以使用 Machine Learning 功能实时分析 Elasticsearch 中的时间序列数据。 Machine Learning 作业与索引和分片基本类似,能够跨 Elasticsearch 集群自动分布和管理。这还意味着 Machine Learning 作业对节点故障有很好的适应性。从性能角度看,紧密集成意味着数据永远不需要离开集群,而且我们可以利用 Elasticsearch 聚合极大地提高某些作业类型的性能。而紧密集成带来的另外一个好处就是,您可以直接从 Kibana 创建异常检测作业并查看结果。

由于这种方法对数据进行原位分析,数据从不离开集群,因此与将 Elasticsearch 数据集成到外部数据科学工具相比,这种方法能够带来显著的性能和运维优势。随着我们在这个领域开发出越来越多的技术,这种架构的优势将会更加显著。








立即试用并反馈

这些 Machine Learning 功能是 X-Pack 5.4 中的 beta 功能,现已可用。我们急切地想要听听您的使用体会,所以请下载 5.4 版本,安装 X-Pack,然后直接联系我们,或者通过我们的讨论论坛联系我们。
下载地址:https://www.elastic.co/cn/downloads
  查看全部
出大事了,Elastic Stack 今日发布 5.4 版本,X-Pack 新增机器学习模块!
https://www.elastic.co/cn/blog ... stack
 今天,我们非常荣幸地宣布,首次发布通过 X-Pack 提供的 Elastic Stack Machine Learning 功能。加入 Elastic 就像跳上了火箭船,但是经过 7 个月不可思议的工作,我们现已将 Prelert Machine Learning 技术完全集成到 Elastic Stack。这让我们很激动,而且我们非常迫切地想要收到用户的反馈。

温馨提示:请注意,不要太过激动,这项功能在 5.4.0 版本中尚标记为 beta。

Machine Learning

我们的目标是通过一系列工具为用户赋能,让他们可以从自己的 Elasticsearch 数据中获取价值和洞察。与此同时,我们将 Machine Learning 视为 Elasticsearch 搜索和分析能力的自然延伸。举例来说,Elasticsearch 能够让您在大量数据中,实时地搜索用户“steve”的交易,或者利用聚合和可视化,展示一段时间以来的十大畅销产品或交易趋势。而现在有了 Machine Learning 功能,您就可以更加深入地探究数据,例如 “有没有哪项服务的行为发生了变化?” 或者 “主机上是否运行有异常进程?” 那么要想回答这些问题,就必须要利用 Machine Learning 技术,通过数据自动构建主机或服务的行为模式。

不过, Machine Learning 目前是软件行业最被夸大其词的术语之一,因为从本质上来讲,它就是用来实现数据驱动型预测、决策和建模的一系列广泛的算法和方法。因此,我们有必要隔绝干扰信息,具体说说我们所做的工作。

时间序列异常检测

目前,X-Pack Machine Learning 功能的着眼点是,利用无监督式机器学习,提供 “时间序列异常检测” 功能。

随着时间的推移,我们计划增加更多 Machine Learning 功能,但是我们目前只专注于为用户存储的时间序列数据(例如日志文件、应用程序和性能指标、网络流量或 Elasticsearch 中的财务/交易数据)提供附加值。

示例 1 - 自动提醒关键绩效指标值的异常变化

要说这项技术最直观的用例,那就是可以识别指标值或事件速率偏离正常行为的情况。例如,服务响应时间有没有显著增加?网站访客预期数量与同一时段正常情况相比,是否存在明显差异?传统情况下,人们会利用规则、阈值或简单的统计方法来进行此类分析。但遗憾的是,这些简单的方法鲜少能够高效地处理实际数据,原因在于此类方法往往是基于无效的统计假设(例如:高斯分布),因此不支持趋势分析(长期性或周期性趋势),或者在信号发生变化时缺乏稳定性。

所以说, Machine Learning 功能的首个切入点是单一指标作业,您可以借此了解该产品如何学习正常模式,如何识别单变量时间序列数据中存在的异常。如果您发现的异常是有意义的,您就可以连续地实时运行这项分析,并在发生异常时发出警报。

尽管这看上去像是一个比较简单的用例,但是产品后台包含大量复杂的无监督式机器学习算法和统计模型,因此我们对于任意信号具有鲁棒性,并且能够准确反映。

此外,为了让该功能可以在 Elasticsearch 集群中像原生程序一样运行,我们对功能实现进行了优化,因此几秒钟即可分析数以百万计的事件。

machine-learning-1.gif



示例 2 - 自动追踪数以千计的指标

Machine Learning 产品可以扩展到数十万指标和日志文件,那么下一步就是要同时分析多个指标。这些指标可能是来自同一个主机的多个相关指标,可能是来自同一个数据库或应用程序的性能指标,也可能是来自多个主机的多个日志文件。在这种情况下,我们可以直接单独分析,再将结果聚合到同一个窗口,展示整体的系统异常情况。

例如,假设我要处理来自一大组应用程序服务的响应时间,我可以直接分析各个服务一段时间以来的响应时间,分别确认各个行为异常的服务,同时展示整体的系统异常情况:

machine-learning-2-1.gif


示例 3 - 高级作业

最后,我们的产品还有大量更高级的用途。比方说,如果您想找出与整体相比行为异常的用户、异常的 DNS 流量,或者伦敦街头的拥堵路段,这时您就可以利用高级作业,灵活地分析 Elasticsearch 中存储的任何时间序列数据。

Elastic Stack 整合

Machine Learning 是 X-Pack 中的一项功能。这就意味着,安装 X-Pack 之后,就可以使用 Machine Learning 功能实时分析 Elasticsearch 中的时间序列数据。 Machine Learning 作业与索引和分片基本类似,能够跨 Elasticsearch 集群自动分布和管理。这还意味着 Machine Learning 作业对节点故障有很好的适应性。从性能角度看,紧密集成意味着数据永远不需要离开集群,而且我们可以利用 Elasticsearch 聚合极大地提高某些作业类型的性能。而紧密集成带来的另外一个好处就是,您可以直接从 Kibana 创建异常检测作业并查看结果。

由于这种方法对数据进行原位分析,数据从不离开集群,因此与将 Elasticsearch 数据集成到外部数据科学工具相比,这种方法能够带来显著的性能和运维优势。随着我们在这个领域开发出越来越多的技术,这种架构的优势将会更加显著。


blog-machine-learning-5-4-release.png



立即试用并反馈

这些 Machine Learning 功能是 X-Pack 5.4 中的 beta 功能,现已可用。我们急切地想要听听您的使用体会,所以请下载 5.4 版本,安装 X-Pack,然后直接联系我们,或者通过我们的讨论论坛联系我们。
下载地址:https://www.elastic.co/cn/downloads
 

社区网站更新日志

medcl 发表了文章 • 1 个评论 • 110 次浏览 • 2017-04-28 23:30 • 来自相关话题

这里专门用来放社区网站更新的日志。
 
2017.4.28 支持 SSL




 
这里专门用来放社区网站更新的日志。
 
  • 2017.4.28 支持 SSL

Snip20170428_1.png

 

社区网站服务器迁移完毕

medcl 发表了文章 • 5 个评论 • 531 次浏览 • 2017-04-24 14:52 • 来自相关话题

 感谢 ConvertLab 为本站提供服务器,目前服务器已经迁移完毕,大家可以感受一下速度!

 




同时感谢在此之前为本站提供网站空间的:谱时 
 
 
社区账号也支持 Github 绑定了。

感谢大家一路支持,社区有你更精彩。 查看全部
image001.png

 感谢 ConvertLab 为本站提供服务器,目前服务器已经迁移完毕,大家可以感受一下速度!

 
logoblack.png

同时感谢在此之前为本站提供网站空间的:谱时 
 
 
社区账号也支持 Github 绑定了。

感谢大家一路支持,社区有你更精彩。

Elastic南京meetup分享征集中

kenny_ye 发表了文章 • 1 个评论 • 574 次浏览 • 2017-03-27 14:34 • 来自相关话题

南京meetup筹备中,有意提供分享的同学请将
1. 个人简介
2. 主题简介
3. 大概内容
发送到 kenny_ye@trendmicro.com.cn
 
征稿截止日期: 2017年5月7日
 
欢迎踊跃投稿!
南京meetup筹备中,有意提供分享的同学请将
1. 个人简介
2. 主题简介
3. 大概内容
发送到 kenny_ye@trendmicro.com.cn
 
征稿截止日期: 2017年5月7日
 
欢迎踊跃投稿!

Elastic 官方及社区国内活动日程安排

medcl 发表了文章 • 10 个评论 • 3094 次浏览 • 2017-03-16 15:24 • 来自相关话题

【线上活动】
在线直播
直播工具Zoom:https://elastic.zoom.us/j/522710614,房间号:522710614(密码进群索取)
《Elastic{ON}17 Keynote 回顾》,QQ 群(190605846),2017-3-17 21:00 PM,回放《What's new in Elasticsearch》,QQ 群(190605846),2017-3-20 21:00 PM,回放《What's new in Logstash》,QQ 群(190605846),2017-3-21 21:00 PM,回放《What's new in Kibana》,QQ 群(190605846),《What's new in Beats》,QQ 群(190605846),《What's Machine Learning & Demo》,QQ 群(190605846),《What's Elasticsearch-sql & Demo》,QQ 群(190605846),《What's Kibana Visual Timeseries Builder & Demo》,QQ 群(190605846),《What's Kibana Canvas & Demo》,QQ 群(190605846),《What's ECE(ElasticCloud Enterprise) & Demo》,QQ 群(190605846),更多 Demo 和 Feature 介绍添加中
 
【线下活动】
 Workshop
Elastic Workshop,北京,2017-04-10【报名已满】Elastic Workshop,上海,2017-04-17【报名已满】Elastic Workshop,深圳,2017-04-20【报名已满】
 
Meetup
Elastic Meetup Shanghai ,上海,2017.5.14, 【报名已满】【日程】Elastic Meetup Beijing ,北京,2017.5.21  【报名已满】【日程】Elastic Meetup Nanjing,南京,2017.6.10 【报名链接】【日程】Elastic Meetup Hangzhou,杭州,2017.6.25 【报名链接​】Elastic Meetup Shenzhen,深圳,2017.7.9Elastic Meetup Jinan,济南,2017.7.23Elastic Meetup Zhuhai,珠海,2017.8.26
 
【会议参展】
Elastic 今年继续赞助和支持各种开发者会议,欢迎届时来展台交流。
Gopher China,上海,2017.04.15-2017.04.16OSC Shanghai ,上海,2017.5.13The China-R Conf,北京,2017.5.19-2017.5.21OSC Hangzhou,杭州,2017.6.24ArchSummit Shenzhen,深圳,2017.7.7-2017.7.8OSC Jinan,济南,2017.7.22OSC Zhuhai,珠海,2017.8.27RubyConf China,成都,OSC Chongqing,重庆,2017.9.24PyCon China,深圳,QCon Shanghai,2017.10.19-2017.10.21
 
上面是暂时确定的活动,部分活动报名链接晚点放出来,请关注本页面。
欢迎各个不同的城市的同学一起帮忙举办线下活动。
各个城市的线下活动欢迎报名分享,大家多交流,话题无论大小。 查看全部
Elastic-Heart-2.png


【线上活动】
在线直播
直播工具Zoom:https://elastic.zoom.us/j/522710614,房间号:522710614(密码进群索取)
  • 《Elastic{ON}17 Keynote 回顾》,QQ 群(190605846),2017-3-17 21:00 PM,回放
  • 《What's new in Elasticsearch》,QQ 群(190605846),2017-3-20 21:00 PM,回放
  • 《What's new in Logstash》,QQ 群(190605846),2017-3-21 21:00 PM,回放
  • 《What's new in Kibana》,QQ 群(190605846),
  • 《What's new in Beats》,QQ 群(190605846),
  • 《What's Machine Learning & Demo》,QQ 群(190605846),
  • 《What's Elasticsearch-sql & Demo》,QQ 群(190605846),
  • 《What's Kibana Visual Timeseries Builder & Demo》,QQ 群(190605846),
  • 《What's Kibana Canvas & Demo》,QQ 群(190605846),
  • 《What's ECE(ElasticCloud Enterprise) & Demo》,QQ 群(190605846),
  • 更多 Demo 和 Feature 介绍添加中

 
【线下活动】
 Workshop
  • Elastic Workshop,北京,2017-04-10【报名已满】
  • Elastic Workshop,上海,2017-04-17【报名已满】
  • Elastic Workshop,深圳,2017-04-20【报名已满】

 
Meetup
  • Elastic Meetup Shanghai ,上海,2017.5.14, 【报名已满】【日程
  • Elastic Meetup Beijing ,北京,2017.5.21  【报名已满】【日程
  • Elastic Meetup Nanjing,南京,2017.6.10 【报名链接】【日程
  • Elastic Meetup Hangzhou,杭州,2017.6.25 【报名链接​】
  • Elastic Meetup Shenzhen,深圳,2017.7.9
  • Elastic Meetup Jinan,济南,2017.7.23
  • Elastic Meetup Zhuhai,珠海,2017.8.26

 
【会议参展】
Elastic 今年继续赞助和支持各种开发者会议,欢迎届时来展台交流。
  • Gopher China,上海,2017.04.15-2017.04.16
  • OSC Shanghai ,上海,2017.5.13
  • The China-R Conf,北京,2017.5.19-2017.5.21
  • OSC Hangzhou,杭州,2017.6.24
  • ArchSummit Shenzhen,深圳,2017.7.7-2017.7.8
  • OSC Jinan,济南,2017.7.22
  • OSC Zhuhai,珠海,2017.8.27
  • RubyConf China,成都,
  • OSC Chongqing,重庆,2017.9.24
  • PyCon China,深圳,
  • QCon Shanghai,2017.10.19-2017.10.21

 
上面是暂时确定的活动,部分活动报名链接晚点放出来,请关注本页面。
欢迎各个不同的城市的同学一起帮忙举办线下活动。
各个城市的线下活动欢迎报名分享,大家多交流,话题无论大小。

Elastic{ON}17 第一天

medcl 发表了文章 • 2 个评论 • 411 次浏览 • 2017-03-09 02:06 • 来自相关话题

Elastic 一年一度的用户大会 Elasitc{ON}17 昨日在旧金山举行了,与参人员达到了 2000 多位,这是第三届 Elastic{ON} 了,让我们一起来看看这次大会都要哪些亮点吧。

在进入主题之前,我们先参观看看会场及周边情况吧,这次会场是在旧金山的 48 号码头,和去年的场地很近,不过今年的场地为了容纳的更多的人数,比去年的场地要大很多,码头对面就是著名的AT&T棒球场,看图。
















今年多了一个开场的舞蹈,跟别人不一样的事,芭蕾舞蹈演员身上佩戴着若干闪光的传感器,在大背景墙上面可以看到随着演员的舞蹈,有不断变化的各种传感器实时分析的 Kibana 界面,这一切都是实时的哦。











然后就进入 Keynote 了,Elastic 公司 CEO Shay Banon 宣布 Elastic 的产品下载次数达到小目标,已经累计一个亿了。






Elastic 的产品的一个重要原则就是简单,为了让简单的事情变简单,比如采集日志文件,现在的 Filebeat 引入了模块的概念,相应模块直接提供对应成套的配置文件,包括 Mapping、Ingest pipeline、Kibana Dashboard, 启动 filebeat 收集数据进入 es 之后,直接就能可视化分析了。






现在使用 elasticsearch 来做 metric 分析的场景和用户越来越多,而 Kibana 的 Timeseries visual builder 就是为了 metric 场景而产生的一个新的特性,支持非常灵活的自定义可视化,还支持 elasticsearch 的 pipeline aggregation。











接下来就是,Elasticsearch 机器学习了,去年收购的 Perlert,目前已经和 Elasticsearch 无缝集成,现场 demo 演示了通过机器学习模块来分析日志的完整过程,实时的进行异常预测,从众多 service 的日志中找到 root cause。






















然后就是 ECE,即 ElasticCloud 的私有云,企业可以很方便的借助它来实现搭建 Elastic 的私有云,集群管理,集群升级都很简单。











然后前 CEO Steven Schuurman 为大家揭晓了今年的第一届 Elastic Cause Awards 获奖的结果,你知道吗,Elasticsearch 正被用于预防埃博拉病毒、拯救人口贩卖以及防止校园暴力等很多有意义的项目中。





















然后 Costin Leau 为大家演示了 Elasticsearch-sql,新的和 Elasticsearch 交互的方式,jdbc 兼容,大家期盼已久的功能终于来了,你可以使用现有的支持 jdbc 协议的各种工具来使用 elasticsearch 了,当然不会是完整的 SQL 标准协议,但满足大部分常见的简单的场景。

















 
接下来,Rashid Khan 为大家介绍了与社区相关的一些统计,到最后才跳出来,这些炫酷的 infographic 和 presentation 居然就是在 Kibana 上面,并且这些数据是实时变化的,从而引入了 Kibana 新的功能:Kibana Canvas,借助它,你可以灵活布局设计报表或是 presentation,与后端Elasticsearch数据实时连接,另外与大家通常熟知的静态的 infographic 不同,所有的这些可视化图形都是可以交互操作的,比如过滤与搜索,从此,数据的探索与分析又有了一种新的方式了。


























Keynote 的内容主要就到这里了,下午还有很多其他的具体的演讲,都是各个产品的具体的新的特性,回头再补充。
 
现场还有很多各种类型的 Demo。










































想知道 Elastic{ON}17 后续几天还有什么新鲜事么,欢迎关注我的微博:@medcl 和 Elastic 中文社区公众号。
  查看全部
Elastic 一年一度的用户大会 Elasitc{ON}17 昨日在旧金山举行了,与参人员达到了 2000 多位,这是第三届 Elastic{ON} 了,让我们一起来看看这次大会都要哪些亮点吧。

在进入主题之前,我们先参观看看会场及周边情况吧,这次会场是在旧金山的 48 号码头,和去年的场地很近,不过今年的场地为了容纳的更多的人数,比去年的场地要大很多,码头对面就是著名的AT&T棒球场,看图。

IMG_5718.jpg


IMG_5720.jpg


IMG_5820.jpg


今年多了一个开场的舞蹈,跟别人不一样的事,芭蕾舞蹈演员身上佩戴着若干闪光的传感器,在大背景墙上面可以看到随着演员的舞蹈,有不断变化的各种传感器实时分析的 Kibana 界面,这一切都是实时的哦。

C6WCqNtU0AA3Ft1.jpg


C6WDw1dU8AAuJvA.jpg


然后就进入 Keynote 了,Elastic 公司 CEO Shay Banon 宣布 Elastic 的产品下载次数达到小目标,已经累计一个亿了。

C6WDw1eU8AAZETi.jpg


Elastic 的产品的一个重要原则就是简单,为了让简单的事情变简单,比如采集日志文件,现在的 Filebeat 引入了模块的概念,相应模块直接提供对应成套的配置文件,包括 Mapping、Ingest pipeline、Kibana Dashboard, 启动 filebeat 收集数据进入 es 之后,直接就能可视化分析了。

IMG_5742.jpg


现在使用 elasticsearch 来做 metric 分析的场景和用户越来越多,而 Kibana 的 Timeseries visual builder 就是为了 metric 场景而产生的一个新的特性,支持非常灵活的自定义可视化,还支持 elasticsearch 的 pipeline aggregation。

IMG_5748.jpg


IMG_5749.jpg


接下来就是,Elasticsearch 机器学习了,去年收购的 Perlert,目前已经和 Elasticsearch 无缝集成,现场 demo 演示了通过机器学习模块来分析日志的完整过程,实时的进行异常预测,从众多 service 的日志中找到 root cause。

IMG_5751.jpg


IMG_5752.jpg


IMG_5756.jpg


IMG_5759.jpg



然后就是 ECE,即 ElasticCloud 的私有云,企业可以很方便的借助它来实现搭建 Elastic 的私有云,集群管理,集群升级都很简单。

IMG_5761.jpg


IMG_5762.jpg


然后前 CEO Steven Schuurman 为大家揭晓了今年的第一届 Elastic Cause Awards 获奖的结果,你知道吗,Elasticsearch 正被用于预防埃博拉病毒、拯救人口贩卖以及防止校园暴力等很多有意义的项目中。

IMG_5765.jpg


C6WWI9kU4AADZb5.jpg


C6WWI9kU4AEYmEm.jpg


C6WWI92UoAA-vwB.jpg


然后 Costin Leau 为大家演示了 Elasticsearch-sql,新的和 Elasticsearch 交互的方式,jdbc 兼容,大家期盼已久的功能终于来了,你可以使用现有的支持 jdbc 协议的各种工具来使用 elasticsearch 了,当然不会是完整的 SQL 标准协议,但满足大部分常见的简单的场景。

C6WZQQ-U0AETS_S.jpg

IMG_5768.jpg

IMG_5769.jpg

IMG_5770.jpg

 
接下来,Rashid Khan 为大家介绍了与社区相关的一些统计,到最后才跳出来,这些炫酷的 infographic 和 presentation 居然就是在 Kibana 上面,并且这些数据是实时变化的,从而引入了 Kibana 新的功能:Kibana Canvas,借助它,你可以灵活布局设计报表或是 presentation,与后端Elasticsearch数据实时连接,另外与大家通常熟知的静态的 infographic 不同,所有的这些可视化图形都是可以交互操作的,比如过滤与搜索,从此,数据的探索与分析又有了一种新的方式了。

IMG_5773.jpg


IMG_5774.jpg


IMG_5775.jpg


IMG_5778.jpg


IMG_5781.jpg


Keynote 的内容主要就到这里了,下午还有很多其他的具体的演讲,都是各个产品的具体的新的特性,回头再补充。
 
现场还有很多各种类型的 Demo。

IMG_5784.jpg


IMG_5785.jpg


IMG_5786.jpg


IMG_5787.jpg


IMG_5788.jpg


IMG_5789.jpg


IMG_5790.jpg


IMG_5791.jpg



想知道 Elastic{ON}17 后续几天还有什么新鲜事么,欢迎关注我的微博:@medcl 和 Elastic 中文社区公众号。
 

Elastic Stack 5.2.2 发布

medcl 发表了文章 • 5 个评论 • 431 次浏览 • 2017-03-01 10:37 • 来自相关话题

Elasticsearch 5.2.2
修复request熔断器没有正确处理当前运行请求数的bug,当请求返回前却被客户端关闭时没有对计数减一,会造成节点慢慢的不能处理任何请求,除非重启节点,所有的用户都应该升级 #23317修复cgroup正则解析的bug,造成节点的不能正常启动 #23219被shard锁暂缓执行的请求可能会别其他线程启动,并且该请求丢失了上下文,会造成该请求被当做非法请求而拒绝恢复terms agg的include/exclude参数的支持
 
下载:https://www.elastic.co/downloads/elasticsearch
完整的Release notes:https://www.elastic.co/guide/e ... .html
XPack release notes:https://www.elastic.co/guide/e ... 5.2.2
 
Logstash 5.2.2
修复持久化队列在windows启用造成的崩溃修复多实例公用相同的数据目录造成的数据损坏修复JVM性能指标收集造成的吞吐影响
 
下载:https://www.elastic.co/downloads/logstash
Release notes:https://www.elastic.co/guide/e ... .html
 
Kibana 5.2.2
 之前的版本kibana的visualization依赖一个旧的Elasticsearch的include/exclude特性,但是该功能在Elasticsearch5.2.1被突然移除了,引起了kibana的visualization的错误,现在Kibana对新创建的visualization使用正确的结构,并且能在查询时自动转换遗留的旧结构到新的结构从5.2.0开始,包含sub-bucket的垂直条形图(vertical bar)配置为分组没有合适的缩减y轴,造成相当小甚至某些情况下不可用,这次回归将再次对y轴进行必要的扩展而不管其条形图的模式
 
下载:https://www.elastic.co/downloads/kibana
完整Release notes https://www.elastic.co/guide/e ... .html
 
Beats 5.2.2
Metricbeat修复当docker容器被kill掉造成的docker 模块挂起的bugMetricbeat修复超时时间设置而不是默认值
 
Release notes:https://www.elastic.co/guide/e ... .html
下载:https://www.elastic.co/downloads/beats/ 查看全部
Elasticsearch 5.2.2
  • 修复request熔断器没有正确处理当前运行请求数的bug,当请求返回前却被客户端关闭时没有对计数减一,会造成节点慢慢的不能处理任何请求,除非重启节点,所有的用户都应该升级 #23317
  • 修复cgroup正则解析的bug,造成节点的不能正常启动 #23219
  • 被shard锁暂缓执行的请求可能会别其他线程启动,并且该请求丢失了上下文,会造成该请求被当做非法请求而拒绝
  • 恢复terms agg的include/exclude参数的支持

 
下载:https://www.elastic.co/downloads/elasticsearch
完整的Release notes:https://www.elastic.co/guide/e ... .html
XPack release notes:https://www.elastic.co/guide/e ... 5.2.2
 
Logstash 5.2.2
  • 修复持久化队列在windows启用造成的崩溃
  • 修复多实例公用相同的数据目录造成的数据损坏
  • 修复JVM性能指标收集造成的吞吐影响

 
下载:https://www.elastic.co/downloads/logstash
Release notes:https://www.elastic.co/guide/e ... .html
 
Kibana 5.2.2
  •  之前的版本kibana的visualization依赖一个旧的Elasticsearch的include/exclude特性,但是该功能在Elasticsearch5.2.1被突然移除了,引起了kibana的visualization的错误,现在Kibana对新创建的visualization使用正确的结构,并且能在查询时自动转换遗留的旧结构到新的结构
  • 从5.2.0开始,包含sub-bucket的垂直条形图(vertical bar)配置为分组没有合适的缩减y轴,造成相当小甚至某些情况下不可用,这次回归将再次对y轴进行必要的扩展而不管其条形图的模式

 
下载:https://www.elastic.co/downloads/kibana
完整Release notes https://www.elastic.co/guide/e ... .html
 
Beats 5.2.2
  • Metricbeat修复当docker容器被kill掉造成的docker 模块挂起的bug
  • Metricbeat修复超时时间设置而不是默认值

 
Release notes:https://www.elastic.co/guide/e ... .html
下载:https://www.elastic.co/downloads/beats/

欢迎参加Elastic的Meetup线下活动问卷调查

medcl 发表了文章 • 0 个评论 • 572 次浏览 • 2017-02-23 11:25 • 来自相关话题

问卷调查直达链接:https://www.surveymonkey.com/r/elastic-china17 
 
同学们,乡亲们:
    想要今年的Elastic线下活动来到您身边么,快参加我们的问卷调查吧,如果您的城市不在下拉列表,记得添加进去,问卷调查比较简单啦,大概只需要花费您几分钟时间,快来吧:https://www.surveymonkey.com/r/elastic-china17 。
 
   另外Elastic也在寻找各个城市的演讲者、场地赞助、协办方、志愿者。如果您有项目用到了任何Elasticsearch、Kibana、Logstash或Beats,并且有兴趣分享您的经验故事(不管是5分钟还是50分钟)请让我们知道,我们非常愿意与我们的社区一起分享您的故事。不管是哪种参与方式都欢迎,请在问卷内留下联系方式或联系我:medcl123(添加注明来意)。

我们感谢您参与本次问卷调查!问题集中在您想参加的线下活动类型,调查结果将被用来使组织者更好地安排活动计划。本调查预计需要花费2 - 5分钟才能完成。我们将与所有参与调查的人分享任何有趣的发现。所有收集的信息将保持匿名。为了鼓励大家花费这一天中的几分钟时间,将随机抽取五个人赢得 $50 美元的亚马逊礼品卡和十五个人将赢得 Elastic Stack 特别版T恤。为了进行抽奖活动,我们会在调查结束时要求您提供电子邮件,但只会用它来让您知道如果您中奖了。

 
除了这个问卷调查,我们在也同时更新了 Elastic 用户组的行为准则(Code of Conduct)。参加我们的活动意味着您同意我们的准则。完整的准则可以访问:https://www.elastic.co/community/codeofconduct。所有的细节可以这个链接页找到。如果您还要其他问题,也欢迎告知我们:) — 我们会一直在这里提供帮助!  :)
  查看全部
问卷调查直达链接:https://www.surveymonkey.com/r/elastic-china17 
 
同学们,乡亲们:
    想要今年的Elastic线下活动来到您身边么,快参加我们的问卷调查吧,如果您的城市不在下拉列表,记得添加进去,问卷调查比较简单啦,大概只需要花费您几分钟时间,快来吧:https://www.surveymonkey.com/r/elastic-china17
 
   另外Elastic也在寻找各个城市的演讲者、场地赞助、协办方、志愿者。如果您有项目用到了任何Elasticsearch、Kibana、Logstash或Beats,并且有兴趣分享您的经验故事(不管是5分钟还是50分钟)请让我们知道,我们非常愿意与我们的社区一起分享您的故事。不管是哪种参与方式都欢迎,请在问卷内留下联系方式或联系我:medcl123(添加注明来意)。


我们感谢您参与本次问卷调查!问题集中在您想参加的线下活动类型,调查结果将被用来使组织者更好地安排活动计划。本调查预计需要花费2 - 5分钟才能完成。我们将与所有参与调查的人分享任何有趣的发现。所有收集的信息将保持匿名。为了鼓励大家花费这一天中的几分钟时间,将随机抽取五个人赢得 $50 美元的亚马逊礼品卡和十五个人将赢得 Elastic Stack 特别版T恤。为了进行抽奖活动,我们会在调查结束时要求您提供电子邮件,但只会用它来让您知道如果您中奖了。


 
除了这个问卷调查,我们在也同时更新了 Elastic 用户组的行为准则(Code of Conduct)。参加我们的活动意味着您同意我们的准则。完整的准则可以访问:https://www.elastic.co/community/codeofconduct。所有的细节可以这个链接页找到。如果您还要其他问题,也欢迎告知我们:) — 我们会一直在这里提供帮助!  :)
 
timg.jpeg

Elastic Stack 5.2.1 发布

medcl 发表了文章 • 4 个评论 • 682 次浏览 • 2017-02-15 14:07 • 来自相关话题

Elasticsearch 5.2.1 发布内容
 
基于 Lucene 6.4.1,所有5.2.0 用户都应该升级到该版本,修正了很多 bug,尤其了 Lucene6.4.1修复了两个重要的内存泄漏:
当存储字段配置为“best_compression",我们依赖于 JVM 回收机制来释放解压缩实例(Deflater/Inflater instances)。然而这些类也行只使用了很少的 JVM 堆栈内存,却使用了大量了本地内存,所以可能 会出现在 JVM 回收解压缩实例之前而操作系统先用完了本地内存。 LUCENE-7647。特定的查询可能会持有 IndexReader 的一个引用,当这些查询被缓存之后,本来应该已经被删除的段会因为这个引用而继续被 Lucene 持有。LUCENE-7657。
 
功能废弃:
Geo distance range 废弃,请使用`geo_distance` bucket aggregation 或 geo_distance sort来替代。#22835。
 改进增强:
分配解释 API(allocation explaining)在未分配主分片信息中包含陈旧的副本信息(不管是陈旧还是损坏的)#22826。
 
Bug 修复:
如果查询超时,将缓存结果置为无效。#22807。Reindex 接口支持来源 es 版本<2.0,当不能清除旧的 scroll 不记录日志。将参数:search.highlight.term_vector_multi_value 保留为节点级别。
 
其他细节详见 Release notes。 
Download Elasticsearch 5.2.1
X-Pack 5.2.1 release notes
 
Kibana 5.2.1 发布内容:
 
在该版本中主要包括了一些重要的 bug 修复,包含一个安全风险的 fix 以及可能造成 kibana 崩溃的问题。
在5.0早期的版本中,如果配置了 SSL,特定的请求会造成 Kibana 无法释放文件打开句柄,这会造成进程随着时间推移的崩溃。请求在发生数据之前被取消也会造成进程的崩溃。还有一个安全的风险:ESA-2017-02(Http 头信息可能泄露敏感信息的问题,注:Kibana4不受影响)。
 
其他详见:Release notes
Download Kibana 5.2.1
 
Beats,Logstash 发布内容见:
https://www.elastic.co/guide/e ... .html
https://www.elastic.co/guide/e ... .html
 
  查看全部
Elasticsearch 5.2.1 发布内容
 
基于 Lucene 6.4.1,所有5.2.0 用户都应该升级到该版本,修正了很多 bug,尤其了 Lucene6.4.1修复了两个重要的内存泄漏:
  • 当存储字段配置为“best_compression",我们依赖于 JVM 回收机制来释放解压缩实例(Deflater/Inflater instances)。然而这些类也行只使用了很少的 JVM 堆栈内存,却使用了大量了本地内存,所以可能 会出现在 JVM 回收解压缩实例之前而操作系统先用完了本地内存。 LUCENE-7647
  • 特定的查询可能会持有 IndexReader 的一个引用,当这些查询被缓存之后,本来应该已经被删除的段会因为这个引用而继续被 Lucene 持有。LUCENE-7657

 
功能废弃:
  • Geo distance range 废弃,请使用`geo_distance` bucket aggregation 或 geo_distance sort来替代。#22835

 改进增强:
  • 分配解释 API(allocation explaining)在未分配主分片信息中包含陈旧的副本信息(不管是陈旧还是损坏的)#22826

 
Bug 修复:
  • 如果查询超时,将缓存结果置为无效。#22807
  • Reindex 接口支持来源 es 版本<2.0,当不能清除旧的 scroll 不记录日志。
  • 将参数:search.highlight.term_vector_multi_value 保留为节点级别。

 
其他细节详见 Release notes。 
Download Elasticsearch 5.2.1
X-Pack 5.2.1 release notes
 
Kibana 5.2.1 发布内容:
 
在该版本中主要包括了一些重要的 bug 修复,包含一个安全风险的 fix 以及可能造成 kibana 崩溃的问题。
在5.0早期的版本中,如果配置了 SSL,特定的请求会造成 Kibana 无法释放文件打开句柄,这会造成进程随着时间推移的崩溃。请求在发生数据之前被取消也会造成进程的崩溃。还有一个安全的风险:ESA-2017-02(Http 头信息可能泄露敏感信息的问题,注:Kibana4不受影响)。
 
其他详见:Release notes
Download Kibana 5.2.1
 
Beats,Logstash 发布内容见:
https://www.elastic.co/guide/e ... .html
https://www.elastic.co/guide/e ... .html