Elastic南京meetup分享征集中

kenny_ye 置顶文章 • 3 个评论 • 1342 次浏览 • 2017-03-27 14:34 • 来自相关话题

Elastic 中国 Partner 的网站 elastictech.cn 上线了!对 X-Pack 付费功能感兴趣的可以聊起来了!

elastictech 发表了文章 • 0 个评论 • 54 次浏览 • 4 天前 • 来自相关话题

上海普翔信息科技发展有限公司是 Elastic 在中国的 Partner ,负责 X-Pack 的销售、咨询服务,今天上线了业务网站 http://elastictech.cn 。
从官网介绍可以看出,主要业务都是和 Elastic 相关的,分别是:
X-Pack License 购买服务Elastic 本地咨询服务Elastic 本地培训服务

[size=18]对X-Pack 刚兴趣的可以去留言咨询了!当然也可以私信和我沟通哦![/size]






  查看全部
上海普翔信息科技发展有限公司是 Elastic 在中国的 Partner ,负责 X-Pack 的销售、咨询服务,今天上线了业务网站 http://elastictech.cn 。
从官网介绍可以看出,主要业务都是和 Elastic 相关的,分别是:
  • X-Pack License 购买服务
  • Elastic 本地咨询服务
  • Elastic 本地培训服务


[size=18]对X-Pack 刚兴趣的可以去留言咨询了!当然也可以私信和我沟通哦![/size]


site_crop-min_2_(1).png

 

Elastic与阿里云达成合作伙伴关系 提供 ” 阿里云 Elasticsearch ” 的新服务

medcl 发表了文章 • 4 个评论 • 156 次浏览 • 2017-10-13 14:39 • 来自相关话题

新服务发布 -阿里云 Elasticsearch 将包含 Elasticsearch、Kibana 及 Elastic 的 X-Pack 功能

Elastic - 旗下拥有 Elasticsearch,以及使用最广泛的开源产品集合 Elastic Stack,用于解决搜索、日志和数据分析等关键任务型用例 - 今天宣布与阿里巴巴集团(纽约证券交易所代码:BABA,「阿里巴巴」)旗下云计算平台阿里云达成新的合作伙伴关系,旨在共同研发及发布于阿里云上提供托管的 Elasticsearch,为中国市场提供崭新的用户体验。

这项名为 “ 阿里云 Elasticsearch ” 的新服务能让阿里巴巴的客户随心所欲地运用 Elasticsearch 强大的实时搜索、采集及数据分析功能,是一站式而且主导性的解决方案。

阿里云总裁胡晓明先生表示:“作为全球领先的云计算服务提供商,阿里云内致力于通过我们的平台向客户提供最先进的产品,使其保持竞争优势并促进创新。” 他指出:“阿里云 Elasticsearch 将会成为一项高度差异化的服务,因为它运用了 Elastic 先进的搜索产品及强大的 X-Pack 功能,不论在服务的任何层面上,均容易上手使用以及方便管理。”

阿里云 Elasticsearch 现已正式上线,简单配置即可添加到客户的云计算服务之上。通过 Elasticsearch 实时搜索的能力与客户应用相结合,以 Logstash 或 Beats 将数据导入阿里云 Elasticsearch 里,使用 Kibana 仪表板把实时及历史数据可视化,加上 X-Pack 的一系列功能如 security、alerting、monitoring、reporting、Graph 分析及 machine learning,为开发人员提供一站式产品的体验。

此外,阿里云和 Elastic 会着力于技术提升,确保阿里云 Elasticsearch 与时并进,拥有最新的功能。在未来,日志导入功能及其他服务也将相继可用。

Elastic 创始人兼首席执行官 Shay Banon 先生表示:“中国对我们来说是一个不断增长的市场,过去几年间,我们看到 Elasticsearch 的社区版图扩展至超过 5000 多位开发人员。 通过与亚洲最大的云端供应商阿里云合作,并配合 Elasticsearch 的实时处理能力、强大的 X-Pack 功能,如 security,alerting和 machine learning,我们能够一同加快中国广大开发者生态的创新步伐,构建、托管及管理更多不同的应用。”








阿里云总裁胡晓明与 Elastic 创始人兼首席执行官 Shay Banon



了解更多

阿里云 Elasticsearch
Elastic & Alibaba Blog

关于阿里云

阿里云创立于 2009 年, 为阿里巴巴集团旗下云计算业务。现时被 Gartner 评为全球 3 大基础设施即服务 (IaaS) 供货商之一。根据 IDC 2016年调研显示,阿里云为中国最大的公共云端服务供货商,基础设施即服务 (IaaS) 收入全球排行第四。阿里云提供全面的云计算服务,支持世界各地的企业,包括在阿里巴巴集团市场上做生意的商家、初创公司、企业级客户及政府机构等。阿里云现时为国际奥林匹克委员会官方云服务官方合作伙伴。有关更多信息,请访问 https://www.aliyun.com。

关于 Elastic

Elastic 通过构建软件,让用户能够实时地、大规模地将数据用于搜索、日志和分析场景。Elastic 创立于 2012 年,相继开发了开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、X-Pack(商业功能)和 Elastic Cloud(托管服务)。截至目前,累计下载量超过 1.5 亿。Benchmark Capital、Index Ventures 和 NEA 为 Elastic 提供了超过 1 亿美元资金作为支持,Elastic 共有 600 多名员工,分布在 30 个国家/地区。有关更多信息,请访问 elastic.co/cn。

https://www.elastic.co/cn/abou ... cloud 查看全部
新服务发布 -阿里云 Elasticsearch 将包含 Elasticsearch、Kibana 及 Elastic 的 X-Pack 功能

Elastic - 旗下拥有 Elasticsearch,以及使用最广泛的开源产品集合 Elastic Stack,用于解决搜索、日志和数据分析等关键任务型用例 - 今天宣布与阿里巴巴集团(纽约证券交易所代码:BABA,「阿里巴巴」)旗下云计算平台阿里云达成新的合作伙伴关系,旨在共同研发及发布于阿里云上提供托管的 Elasticsearch,为中国市场提供崭新的用户体验。

这项名为 “ 阿里云 Elasticsearch ” 的新服务能让阿里巴巴的客户随心所欲地运用 Elasticsearch 强大的实时搜索、采集及数据分析功能,是一站式而且主导性的解决方案。

阿里云总裁胡晓明先生表示:“作为全球领先的云计算服务提供商,阿里云内致力于通过我们的平台向客户提供最先进的产品,使其保持竞争优势并促进创新。” 他指出:“阿里云 Elasticsearch 将会成为一项高度差异化的服务,因为它运用了 Elastic 先进的搜索产品及强大的 X-Pack 功能,不论在服务的任何层面上,均容易上手使用以及方便管理。”

阿里云 Elasticsearch 现已正式上线,简单配置即可添加到客户的云计算服务之上。通过 Elasticsearch 实时搜索的能力与客户应用相结合,以 Logstash 或 Beats 将数据导入阿里云 Elasticsearch 里,使用 Kibana 仪表板把实时及历史数据可视化,加上 X-Pack 的一系列功能如 security、alerting、monitoring、reporting、Graph 分析及 machine learning,为开发人员提供一站式产品的体验。

此外,阿里云和 Elastic 会着力于技术提升,确保阿里云 Elasticsearch 与时并进,拥有最新的功能。在未来,日志导入功能及其他服务也将相继可用。

Elastic 创始人兼首席执行官 Shay Banon 先生表示:“中国对我们来说是一个不断增长的市场,过去几年间,我们看到 Elasticsearch 的社区版图扩展至超过 5000 多位开发人员。 通过与亚洲最大的云端供应商阿里云合作,并配合 Elasticsearch 的实时处理能力、强大的 X-Pack 功能,如 security,alerting和 machine learning,我们能够一同加快中国广大开发者生态的创新步伐,构建、托管及管理更多不同的应用。”



aliyun-alibaba-simon-shay-handshake.jpg


阿里云总裁胡晓明与 Elastic 创始人兼首席执行官 Shay Banon



了解更多

阿里云 Elasticsearch
Elastic & Alibaba Blog

关于阿里云

阿里云创立于 2009 年, 为阿里巴巴集团旗下云计算业务。现时被 Gartner 评为全球 3 大基础设施即服务 (IaaS) 供货商之一。根据 IDC 2016年调研显示,阿里云为中国最大的公共云端服务供货商,基础设施即服务 (IaaS) 收入全球排行第四。阿里云提供全面的云计算服务,支持世界各地的企业,包括在阿里巴巴集团市场上做生意的商家、初创公司、企业级客户及政府机构等。阿里云现时为国际奥林匹克委员会官方云服务官方合作伙伴。有关更多信息,请访问 https://www.aliyun.com

关于 Elastic

Elastic 通过构建软件,让用户能够实时地、大规模地将数据用于搜索、日志和分析场景。Elastic 创立于 2012 年,相继开发了开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、X-Pack(商业功能)和 Elastic Cloud(托管服务)。截至目前,累计下载量超过 1.5 亿。Benchmark Capital、Index Ventures 和 NEA 为 Elastic 提供了超过 1 亿美元资金作为支持,Elastic 共有 600 多名员工,分布在 30 个国家/地区。有关更多信息,请访问 elastic.co/cn。

https://www.elastic.co/cn/abou ... cloud

Elastic Stack 6.0 发布 beta 版本啦!

medcl 发表了文章 • 11 个评论 • 1684 次浏览 • 2017-08-09 10:29 • 来自相关话题

头条新闻:Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn 
 
 
注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。




 

6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。
 

Elasticsearch [下载] [6.0 Breaking Chages]
https://www.elastic.co/blog/el ... eased
Sequence numbers and fast recovery
新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
Search scalability
移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
Preventing full disks
新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
Removal of default passwords
为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
优化 Profiling 的开销占用,进一步较少针对超时及查询取消的检查开销提升 Percolator 的性能
 更多改进:[Beta1 Release Notes]
 
 
Kibana [下载] [Breaking Changes]
https://www.elastic.co/blog/ki ... eased
Upgrade Assistant and Rolling Upgrade Support
 
新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。




Watcher UI for Threshold Based Alerts
新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。





Experimental Kibana Query Language
引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
Refactoring of the Visualizations Code
通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。





X-Pack Monitoring Email Notifications for Cluster Alerts
支持设置监控的告警邮件发送。





Cluster Alert for X-Pack License Expiration
证书过期现在有自动的提示了。





New Colors to Improve Accessibility
改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。









Full Screen Mode for Dashboard
新增的全屏模式对 Dashboard 的大屏展现更加友好。





更多详情:[6.0 Beta1 Release Notes]  

 
Logstash [下载] 
https://www.elastic.co/blog/lo ... eased
Pipeline Viewer
X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。





Centrally manage configurations
用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。





Ingest to Logstash convertor
提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。$(document).ready(function() {$('pre code').each(function(i, block) { hljs.highlightBlock( block); }); });$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf


 
 Beats [下载] [Breaking Changes]
https://www.elastic.co/blog/be ... eased
Auditbeat
一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。





New commands and configuration layout
一些常见的操作,你现在可以直接通过命令的方式来快速操作了。$ metricbeat modules list
$ metricbeat modules enable redis
$ metricbeat modules disable redis
Add Docker metadata to the Docker logs
将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
Internal pipeline refactoring
Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。
 
更多详情:[Beta1 Release Notes] 
 
ES-Hadoop [下载]
https://www.elastic.co/blog/es ... eased
Spark 2.2.0 and Stable Support for Spark Structured StreamingSupport for new Join FieldsMultiple Mappings and Multiple Index Reads
 
更多详情:[Release Notes]
 
上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!
  查看全部
头条新闻:Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn 
 
 
注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。
DGu1frNXoAEVYlM.jpg

 

6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。
 

Elasticsearch [下载] [6.0 Breaking Chages]
https://www.elastic.co/blog/el ... eased
  • Sequence numbers and fast recovery

新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
  • Search scalability

移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
  • Preventing full disks

新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
  • Removal of default passwords

为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
  • 优化 Profiling 的开销占用,进一步较少针对超时及查询取消的检查开销
  • 提升 Percolator 的性能

 更多改进:[Beta1 Release Notes]
 
 
Kibana [下载] [Breaking Changes]
https://www.elastic.co/blog/ki ... eased
  • Upgrade Assistant and Rolling Upgrade Support

 
新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。
issue_1619_2.png

  • Watcher UI for Threshold Based Alerts

新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。

Snip20170809_9.png

  • Experimental Kibana Query Language

引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
  • Refactoring of the Visualizations Code

通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。

issue_11786_0.JPG

  • X-Pack Monitoring Email Notifications for Cluster Alerts

支持设置监控的告警邮件发送。

Snip20170809_7.png

  • Cluster Alert for X-Pack License Expiration

证书过期现在有自动的提示了。

image_(3).png

  • New Colors to Improve Accessibility

改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。

Screen_Shot_2017-07-28_at_1.26_.42_PM_.png

Snip20170809_10.png

  • Full Screen Mode for Dashboard

新增的全屏模式对 Dashboard 的大屏展现更加友好。

Snip20170809_8.png

更多详情:[6.0 Beta1 Release Notes]  

 
Logstash [下载] 
https://www.elastic.co/blog/lo ... eased
  • Pipeline Viewer

X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。

pipeline_viz2.png

  • Centrally manage configurations

用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。

Snip20170809_11.png

  • Ingest to Logstash convertor

提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。
$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf 


 
 Beats [下载] [Breaking Changes]
https://www.elastic.co/blog/be ... eased
  • Auditbeat

一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。

auditbeat-file-integrity-dashboard.png

  • New commands and configuration layout

一些常见的操作,你现在可以直接通过命令的方式来快速操作了。
$ metricbeat modules list
$ metricbeat modules enable redis
$ metricbeat modules disable redis

  • Add Docker metadata to the Docker logs

将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
  • Internal pipeline refactoring

Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。
 
更多详情:[Beta1 Release Notes] 
 
ES-Hadoop [下载]
https://www.elastic.co/blog/es ... eased
  • Spark 2.2.0 and Stable Support for Spark Structured Streaming
  • Support for new Join Fields
  • Multiple Mappings and Multiple Index Reads

 
更多详情:[Release Notes]
 
上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!
 

超过5千以上的Kibana实例裸奔在互联网上,国内第二!

medcl 发表了文章 • 0 个评论 • 833 次浏览 • 2017-08-02 15:20 • 来自相关话题

消息来自:https://medium.com/%40SergiuSe ... 4af48
因为这个网址不存在,所以搬过来大家一起看看,请自查自家服务器是不是快乐的在裸奔,嘿,要管管了啊。
试试:
https://www.zoomeye.org/search ... Dhost 
https://www.shodan.io/search?query=kibana​ 
 

Over 5,000 Kibana instances exposed on the internet

I’m not a big fan of writing articles so I’ll keep it short… I was using Shodan.io recently for research purposes and while searching for different devices I came across 5,591 Kibana instances exposed over the internet. A significant number of those instances didn’t use any authentication mechanisms and several had +100 million log events recorded.

The query syntax that I used was the following: kibana port:”5601".





 
Risk: Kibana is deployed alone or together with Elasticsearch and Logstash (the ELK Stack) for log management purposes and it gained notoriety in the last couple of years as an open source alternative to more expensive commercial solutions. Log management solutions usually contain sensitive info and should not be exposed over the internet… (people who are familiar with information security know what I’m talking about).

Solution: For all the entities affected please refer to the following link and enable authentication on your Kibana implementations: https://www.elastic.co/guide/e ... .html





 
去年的大规模勒索事件,大家应该还记得吧,什么,ES你也裸奔着,你。。。
  查看全部
消息来自:https://medium.com/%40SergiuSe ... 4af48
因为这个网址不存在,所以搬过来大家一起看看,请自查自家服务器是不是快乐的在裸奔,嘿,要管管了啊。
试试:
https://www.zoomeye.org/search ... Dhost 
https://www.shodan.io/search?query=kibana​ 
 

Over 5,000 Kibana instances exposed on the internet

I’m not a big fan of writing articles so I’ll keep it short… I was using Shodan.io recently for research purposes and while searching for different devices I came across 5,591 Kibana instances exposed over the internet. A significant number of those instances didn’t use any authentication mechanisms and several had +100 million log events recorded.

The query syntax that I used was the following: kibana port:”5601".

1-Hq_v5wzUz4DVDWfDDKM1_w.png

 
Risk: Kibana is deployed alone or together with Elasticsearch and Logstash (the ELK Stack) for log management purposes and it gained notoriety in the last couple of years as an open source alternative to more expensive commercial solutions. Log management solutions usually contain sensitive info and should not be exposed over the internet… (people who are familiar with information security know what I’m talking about).

Solution: For all the entities affected please refer to the following link and enable authentication on your Kibana implementations: https://www.elastic.co/guide/e ... .html

1-ZhLEr1uzB5du22GM1cZ8PA.png

 
去年的大规模勒索事件,大家应该还记得吧,什么,ES你也裸奔着,你。。。
 

Elastic 收购 Opbeat,进入 APM 领域

medcl 发表了文章 • 1 个评论 • 877 次浏览 • 2017-06-23 10:53 • 来自相关话题

 
https://www.elastic.co/blog/we ... amily
https://techcrunch.com/2017/06 ... tion/
 
 
Today, at Elastic’s customer event in London, the company announced it has acquired Opbeat, a SaaS-application performance management vendor for an undisclosed amount. All 15 employees have already joined the Elastic team.

Opbeat focuses on monitoring applications written in Javascript. What’s more, it maps production application issues directly to the relevant developer source code, making it easier to fix the problem without having to hunt in the code to find the problem area.

Elastic is probably best known for its search product, Elasticsearch, an open source search tool that runs on some of the world’s biggest properties including Wikipedia, Yelp and eBay. In recent years, the company has moved beyond straight search and into analytics, particularly focusing on log data that puts them squarely in competition with companies like Splunk. Last year, it pulled all of the products together into a platform play they called Elastic Stack.

Elastic CEO Shay Banon sees today’s acquisition through a strategic lens, giving his company a leg up on the competition by offering not only a way to search log data, but also giving insights into the applications that are generating the data and why they may be performing poorly.

Rasmus Makwarth, who was CEO at Opbeat says joining Elastic allows the company to speed up the product roadmap and take advantage of the breadth of the Elastic platform. “We’ve been running a SaaS platform for some time now, giving application insights to developers, but haven’t been able to give customers insight into the entire application,” he explained. Joining Elastic lets his company take advantage of the search tool, as well as analytics, logging and data visualization available on the Elastic platform to greatly expand the vision.

Opbeat’s employees have already joined Elastic and are working with the Elastic team to build an on-prem application to go with the existing SaaS piece. Banon said that the company hopes to take advantage of Opbeat’s cloud background to expand its cloud offerings.

Taking a cloud-native application and engineering it to be on-prem is no simple task, but the two companies hope to have an on-prem version ready in several month. It’s worth noting that Opbeat was using Elasticsearch in its product, but as Banon pointed out using a product and making it part of the stack are two different matters, and it will take a significant engineering effort to incorporate the new company into the fold as both a cloud and on-prem product.

You may recall that Cisco bought APM vendor AppDynamics earlier this year for $3.7 billion right before the company was about to IPO. While Banon wouldn’t reveal today’s purchase price, he joked that it was substantially less than that.

Given that Opbeat was founded in 2013 in Copenhagen, Denmark and has raised approximately $2.8 million, that’s a fair bet. The company will remain in Denmark. 查看全部
IMG_7227.PNG


IMG_7226.JPG


IMG_7224.JPG

 
https://www.elastic.co/blog/we ... amily
https://techcrunch.com/2017/06 ... tion/
 
 
Today, at Elastic’s customer event in London, the company announced it has acquired Opbeat, a SaaS-application performance management vendor for an undisclosed amount. All 15 employees have already joined the Elastic team.

Opbeat focuses on monitoring applications written in Javascript. What’s more, it maps production application issues directly to the relevant developer source code, making it easier to fix the problem without having to hunt in the code to find the problem area.

Elastic is probably best known for its search product, Elasticsearch, an open source search tool that runs on some of the world’s biggest properties including Wikipedia, Yelp and eBay. In recent years, the company has moved beyond straight search and into analytics, particularly focusing on log data that puts them squarely in competition with companies like Splunk. Last year, it pulled all of the products together into a platform play they called Elastic Stack.

Elastic CEO Shay Banon sees today’s acquisition through a strategic lens, giving his company a leg up on the competition by offering not only a way to search log data, but also giving insights into the applications that are generating the data and why they may be performing poorly.

Rasmus Makwarth, who was CEO at Opbeat says joining Elastic allows the company to speed up the product roadmap and take advantage of the breadth of the Elastic platform. “We’ve been running a SaaS platform for some time now, giving application insights to developers, but haven’t been able to give customers insight into the entire application,” he explained. Joining Elastic lets his company take advantage of the search tool, as well as analytics, logging and data visualization available on the Elastic platform to greatly expand the vision.

Opbeat’s employees have already joined Elastic and are working with the Elastic team to build an on-prem application to go with the existing SaaS piece. Banon said that the company hopes to take advantage of Opbeat’s cloud background to expand its cloud offerings.

Taking a cloud-native application and engineering it to be on-prem is no simple task, but the two companies hope to have an on-prem version ready in several month. It’s worth noting that Opbeat was using Elasticsearch in its product, but as Banon pointed out using a product and making it part of the stack are two different matters, and it will take a significant engineering effort to incorporate the new company into the fold as both a cloud and on-prem product.

You may recall that Cisco bought APM vendor AppDynamics earlier this year for $3.7 billion right before the company was about to IPO. While Banon wouldn’t reveal today’s purchase price, he joked that it was substantially less than that.

Given that Opbeat was founded in 2013 in Copenhagen, Denmark and has raised approximately $2.8 million, that’s a fair bet. The company will remain in Denmark.

Elasticsearch 5.4.1 和 5.3.3 发布

medcl 发表了文章 • 0 个评论 • 1605 次浏览 • 2017-06-02 09:46 • 来自相关话题

昨日 Elastic 正式发布针对 5.4 Bug 的修复版本 Elasticsearch 5.4.1(基于 Lucene6.5.1 ),以及基于 Lucene6.4.2的 Elasticsearch 5.3.3。 Elasticsearch 5.4.1 是目前最新的稳定版本,在官方的 Elastic Cloud 上已可以直接部署和升级。此次发布包括两个安全补丁-- 所有 X-Pack Security 用户都应该升级。

5.4.x 相关链接:
Elasticsearch 5.4.1 下载地址
Elasticsearch 5.4.1 发行说明
Elasticsearch 5.4 重要改变
X-Pack 5.4.1 发行说明

5.3.x 相关链接:
Elasticsearch 5.3.3 下载地址
Elasticsearch 5.3.3 发行说明
Elasticsearch 5.3.3 重要改变
X-Pack 5.3.3 发行说明

你可以通过阅读上面的详细的发行说明来了解具体的发布内容,下面是一些重点摘要:

X-Pack Document Level Security and Aliases (ESA-2017-09) 

X-Pack 安全组件在版本 5.4.1 和 5.3.3 之前对于索引别名的文档层面的安全设置存在漏洞,这个 bug 允许单个用户在特定的操作下能通过别名查看未经允许的数据。

影响版本
X-Pack Security 从 5.0.0 到 5.4.0 都受影响。

解决方案
所有 X-Pack 安全组件的用户升级到 5.3.3 或者 5.4.1。如果不能升级,通过禁用索引层面的 request cache 可以临时解决这个问题。

CVE ID: CVE-2017-8441

 
X-Pack Privilege Escalation (ESA-2017-06)

修复 run_as 功能存在的一个特权扩大的bug。正常情况下,当使用run_as执行某些操作会以特定的身份来执行,这个bug 让用户无法正常转换为 run_as 指定的用户身份,从而导致查询失败和结果异常。

如果你不使用 run_as 功能或 _user 属性,则不受此bug影响。

影响版本
X-Pack Security 从 5.0.0 到 5.4.0 都受影响。

解决方案
建议升级 Elastic Stack 到 5.4.1,如果不能升级,请移除模板里面的 {{_user.username}} 占位符并确保 run_as 设置不会被不可信用户修改。

CVE ID: CVE-2017-8438


其它重要变化:
修复 bug,单分片进行 scroll 操作可能引起 X-Pack Security 造成节点僵死及 OOM。Elasticsearch 5.4.0 启用 TLS 不能对 5.3.x 和之前的节点进行认证。LDAP 认证用户在撤销认证之后后可能任然驻留在缓存。现在,Netty在处理线程池、缓冲池和其他资源时,尊重处理器的设置,而不是在其他容器上运行时,可能会对这些资源进行过度的调整。对关闭的索引进行 Index setting 修改将进行验证,保护因为错误的配置造成索引无法打开的问题。修复 TransportClient 关于嗅探可能造成客户端挂起的异常。修复在KERBEROS安全模式,HDFS repository 插件与 Java Security Manager 发生的冲突。修复 Snapshot/restore 在 Elasticsearch 5.2.x 及之前的版本在取回所有快照时异常缓慢的问题。

 
最后,请下载和试用最新的 Elasticsearch 5.4.1,欢迎前往GitHub issue反馈任何遇到的问题。 查看全部
昨日 Elastic 正式发布针对 5.4 Bug 的修复版本 Elasticsearch 5.4.1(基于 Lucene6.5.1 ),以及基于 Lucene6.4.2的 Elasticsearch 5.3.3。 Elasticsearch 5.4.1 是目前最新的稳定版本,在官方的 Elastic Cloud 上已可以直接部署和升级。此次发布包括两个安全补丁-- 所有 X-Pack Security 用户都应该升级。

5.4.x 相关链接:
Elasticsearch 5.4.1 下载地址
Elasticsearch 5.4.1 发行说明
Elasticsearch 5.4 重要改变
X-Pack 5.4.1 发行说明

5.3.x 相关链接:
Elasticsearch 5.3.3 下载地址
Elasticsearch 5.3.3 发行说明
Elasticsearch 5.3.3 重要改变
X-Pack 5.3.3 发行说明

你可以通过阅读上面的详细的发行说明来了解具体的发布内容,下面是一些重点摘要:

X-Pack Document Level Security and Aliases (ESA-2017-09) 

X-Pack 安全组件在版本 5.4.1 和 5.3.3 之前对于索引别名的文档层面的安全设置存在漏洞,这个 bug 允许单个用户在特定的操作下能通过别名查看未经允许的数据。

影响版本
X-Pack Security 从 5.0.0 到 5.4.0 都受影响。

解决方案
所有 X-Pack 安全组件的用户升级到 5.3.3 或者 5.4.1。如果不能升级,通过禁用索引层面的 request cache 可以临时解决这个问题。

CVE ID: CVE-2017-8441

 
X-Pack Privilege Escalation (ESA-2017-06)

修复 run_as 功能存在的一个特权扩大的bug。正常情况下,当使用run_as执行某些操作会以特定的身份来执行,这个bug 让用户无法正常转换为 run_as 指定的用户身份,从而导致查询失败和结果异常。

如果你不使用 run_as 功能或 _user 属性,则不受此bug影响。

影响版本
X-Pack Security 从 5.0.0 到 5.4.0 都受影响。

解决方案
建议升级 Elastic Stack 到 5.4.1,如果不能升级,请移除模板里面的 {{_user.username}} 占位符并确保 run_as 设置不会被不可信用户修改。

CVE ID: CVE-2017-8438


其它重要变化:
  1. 修复 bug,单分片进行 scroll 操作可能引起 X-Pack Security 造成节点僵死及 OOM。
  2. Elasticsearch 5.4.0 启用 TLS 不能对 5.3.x 和之前的节点进行认证。
  3. LDAP 认证用户在撤销认证之后后可能任然驻留在缓存。
  4. 现在,Netty在处理线程池、缓冲池和其他资源时,尊重处理器的设置,而不是在其他容器上运行时,可能会对这些资源进行过度的调整。
  5. 对关闭的索引进行 Index setting 修改将进行验证,保护因为错误的配置造成索引无法打开的问题。
  6. 修复 TransportClient 关于嗅探可能造成客户端挂起的异常。
  7. 修复在KERBEROS安全模式,HDFS repository 插件与 Java Security Manager 发生的冲突。
  8. 修复 Snapshot/restore 在 Elasticsearch 5.2.x 及之前的版本在取回所有快照时异常缓慢的问题。


 
最后,请下载和试用最新的 Elasticsearch 5.4.1,欢迎前往GitHub issue反馈任何遇到的问题。

Elasticsearch 5.4 发布,新增机器学习功能

medcl 发表了文章 • 3 个评论 • 3190 次浏览 • 2017-05-05 09:12 • 来自相关话题

出大事了,Elastic Stack 今日发布 5.4 版本,X-Pack 新增机器学习模块!
https://www.elastic.co/cn/blog ... stack
 今天,我们非常荣幸地宣布,首次发布通过 X-Pack 提供的 Elastic Stack Machine Learning 功能。加入 Elastic 就像跳上了火箭船,但是经过 7 个月不可思议的工作,我们现已将 Prelert Machine Learning 技术完全集成到 Elastic Stack。这让我们很激动,而且我们非常迫切地想要收到用户的反馈。

温馨提示:请注意,不要太过激动,这项功能在 5.4.0 版本中尚标记为 beta。

Machine Learning

我们的目标是通过一系列工具为用户赋能,让他们可以从自己的 Elasticsearch 数据中获取价值和洞察。与此同时,我们将 Machine Learning 视为 Elasticsearch 搜索和分析能力的自然延伸。举例来说,Elasticsearch 能够让您在大量数据中,实时地搜索用户“steve”的交易,或者利用聚合和可视化,展示一段时间以来的十大畅销产品或交易趋势。而现在有了 Machine Learning 功能,您就可以更加深入地探究数据,例如 “有没有哪项服务的行为发生了变化?” 或者 “主机上是否运行有异常进程?” 那么要想回答这些问题,就必须要利用 Machine Learning 技术,通过数据自动构建主机或服务的行为模式。

不过, Machine Learning 目前是软件行业最被夸大其词的术语之一,因为从本质上来讲,它就是用来实现数据驱动型预测、决策和建模的一系列广泛的算法和方法。因此,我们有必要隔绝干扰信息,具体说说我们所做的工作。

时间序列异常检测

目前,X-Pack Machine Learning 功能的着眼点是,利用无监督式机器学习,提供 “时间序列异常检测” 功能。

随着时间的推移,我们计划增加更多 Machine Learning 功能,但是我们目前只专注于为用户存储的时间序列数据(例如日志文件、应用程序和性能指标、网络流量或 Elasticsearch 中的财务/交易数据)提供附加值。

示例 1 - 自动提醒关键绩效指标值的异常变化

要说这项技术最直观的用例,那就是可以识别指标值或事件速率偏离正常行为的情况。例如,服务响应时间有没有显著增加?网站访客预期数量与同一时段正常情况相比,是否存在明显差异?传统情况下,人们会利用规则、阈值或简单的统计方法来进行此类分析。但遗憾的是,这些简单的方法鲜少能够高效地处理实际数据,原因在于此类方法往往是基于无效的统计假设(例如:高斯分布),因此不支持趋势分析(长期性或周期性趋势),或者在信号发生变化时缺乏稳定性。

所以说, Machine Learning 功能的首个切入点是单一指标作业,您可以借此了解该产品如何学习正常模式,如何识别单变量时间序列数据中存在的异常。如果您发现的异常是有意义的,您就可以连续地实时运行这项分析,并在发生异常时发出警报。

尽管这看上去像是一个比较简单的用例,但是产品后台包含大量复杂的无监督式机器学习算法和统计模型,因此我们对于任意信号具有鲁棒性,并且能够准确反映。

此外,为了让该功能可以在 Elasticsearch 集群中像原生程序一样运行,我们对功能实现进行了优化,因此几秒钟即可分析数以百万计的事件。







示例 2 - 自动追踪数以千计的指标

Machine Learning 产品可以扩展到数十万指标和日志文件,那么下一步就是要同时分析多个指标。这些指标可能是来自同一个主机的多个相关指标,可能是来自同一个数据库或应用程序的性能指标,也可能是来自多个主机的多个日志文件。在这种情况下,我们可以直接单独分析,再将结果聚合到同一个窗口,展示整体的系统异常情况。

例如,假设我要处理来自一大组应用程序服务的响应时间,我可以直接分析各个服务一段时间以来的响应时间,分别确认各个行为异常的服务,同时展示整体的系统异常情况:






示例 3 - 高级作业

最后,我们的产品还有大量更高级的用途。比方说,如果您想找出与整体相比行为异常的用户、异常的 DNS 流量,或者伦敦街头的拥堵路段,这时您就可以利用高级作业,灵活地分析 Elasticsearch 中存储的任何时间序列数据。

Elastic Stack 整合

Machine Learning 是 X-Pack 中的一项功能。这就意味着,安装 X-Pack 之后,就可以使用 Machine Learning 功能实时分析 Elasticsearch 中的时间序列数据。 Machine Learning 作业与索引和分片基本类似,能够跨 Elasticsearch 集群自动分布和管理。这还意味着 Machine Learning 作业对节点故障有很好的适应性。从性能角度看,紧密集成意味着数据永远不需要离开集群,而且我们可以利用 Elasticsearch 聚合极大地提高某些作业类型的性能。而紧密集成带来的另外一个好处就是,您可以直接从 Kibana 创建异常检测作业并查看结果。

由于这种方法对数据进行原位分析,数据从不离开集群,因此与将 Elasticsearch 数据集成到外部数据科学工具相比,这种方法能够带来显著的性能和运维优势。随着我们在这个领域开发出越来越多的技术,这种架构的优势将会更加显著。








立即试用并反馈

这些 Machine Learning 功能是 X-Pack 5.4 中的 beta 功能,现已可用。我们急切地想要听听您的使用体会,所以请下载 5.4 版本,安装 X-Pack,然后直接联系我们,或者通过我们的讨论论坛联系我们。
下载地址:https://www.elastic.co/cn/downloads
  查看全部
出大事了,Elastic Stack 今日发布 5.4 版本,X-Pack 新增机器学习模块!
https://www.elastic.co/cn/blog ... stack
 今天,我们非常荣幸地宣布,首次发布通过 X-Pack 提供的 Elastic Stack Machine Learning 功能。加入 Elastic 就像跳上了火箭船,但是经过 7 个月不可思议的工作,我们现已将 Prelert Machine Learning 技术完全集成到 Elastic Stack。这让我们很激动,而且我们非常迫切地想要收到用户的反馈。

温馨提示:请注意,不要太过激动,这项功能在 5.4.0 版本中尚标记为 beta。

Machine Learning

我们的目标是通过一系列工具为用户赋能,让他们可以从自己的 Elasticsearch 数据中获取价值和洞察。与此同时,我们将 Machine Learning 视为 Elasticsearch 搜索和分析能力的自然延伸。举例来说,Elasticsearch 能够让您在大量数据中,实时地搜索用户“steve”的交易,或者利用聚合和可视化,展示一段时间以来的十大畅销产品或交易趋势。而现在有了 Machine Learning 功能,您就可以更加深入地探究数据,例如 “有没有哪项服务的行为发生了变化?” 或者 “主机上是否运行有异常进程?” 那么要想回答这些问题,就必须要利用 Machine Learning 技术,通过数据自动构建主机或服务的行为模式。

不过, Machine Learning 目前是软件行业最被夸大其词的术语之一,因为从本质上来讲,它就是用来实现数据驱动型预测、决策和建模的一系列广泛的算法和方法。因此,我们有必要隔绝干扰信息,具体说说我们所做的工作。

时间序列异常检测

目前,X-Pack Machine Learning 功能的着眼点是,利用无监督式机器学习,提供 “时间序列异常检测” 功能。

随着时间的推移,我们计划增加更多 Machine Learning 功能,但是我们目前只专注于为用户存储的时间序列数据(例如日志文件、应用程序和性能指标、网络流量或 Elasticsearch 中的财务/交易数据)提供附加值。

示例 1 - 自动提醒关键绩效指标值的异常变化

要说这项技术最直观的用例,那就是可以识别指标值或事件速率偏离正常行为的情况。例如,服务响应时间有没有显著增加?网站访客预期数量与同一时段正常情况相比,是否存在明显差异?传统情况下,人们会利用规则、阈值或简单的统计方法来进行此类分析。但遗憾的是,这些简单的方法鲜少能够高效地处理实际数据,原因在于此类方法往往是基于无效的统计假设(例如:高斯分布),因此不支持趋势分析(长期性或周期性趋势),或者在信号发生变化时缺乏稳定性。

所以说, Machine Learning 功能的首个切入点是单一指标作业,您可以借此了解该产品如何学习正常模式,如何识别单变量时间序列数据中存在的异常。如果您发现的异常是有意义的,您就可以连续地实时运行这项分析,并在发生异常时发出警报。

尽管这看上去像是一个比较简单的用例,但是产品后台包含大量复杂的无监督式机器学习算法和统计模型,因此我们对于任意信号具有鲁棒性,并且能够准确反映。

此外,为了让该功能可以在 Elasticsearch 集群中像原生程序一样运行,我们对功能实现进行了优化,因此几秒钟即可分析数以百万计的事件。

machine-learning-1.gif



示例 2 - 自动追踪数以千计的指标

Machine Learning 产品可以扩展到数十万指标和日志文件,那么下一步就是要同时分析多个指标。这些指标可能是来自同一个主机的多个相关指标,可能是来自同一个数据库或应用程序的性能指标,也可能是来自多个主机的多个日志文件。在这种情况下,我们可以直接单独分析,再将结果聚合到同一个窗口,展示整体的系统异常情况。

例如,假设我要处理来自一大组应用程序服务的响应时间,我可以直接分析各个服务一段时间以来的响应时间,分别确认各个行为异常的服务,同时展示整体的系统异常情况:

machine-learning-2-1.gif


示例 3 - 高级作业

最后,我们的产品还有大量更高级的用途。比方说,如果您想找出与整体相比行为异常的用户、异常的 DNS 流量,或者伦敦街头的拥堵路段,这时您就可以利用高级作业,灵活地分析 Elasticsearch 中存储的任何时间序列数据。

Elastic Stack 整合

Machine Learning 是 X-Pack 中的一项功能。这就意味着,安装 X-Pack 之后,就可以使用 Machine Learning 功能实时分析 Elasticsearch 中的时间序列数据。 Machine Learning 作业与索引和分片基本类似,能够跨 Elasticsearch 集群自动分布和管理。这还意味着 Machine Learning 作业对节点故障有很好的适应性。从性能角度看,紧密集成意味着数据永远不需要离开集群,而且我们可以利用 Elasticsearch 聚合极大地提高某些作业类型的性能。而紧密集成带来的另外一个好处就是,您可以直接从 Kibana 创建异常检测作业并查看结果。

由于这种方法对数据进行原位分析,数据从不离开集群,因此与将 Elasticsearch 数据集成到外部数据科学工具相比,这种方法能够带来显著的性能和运维优势。随着我们在这个领域开发出越来越多的技术,这种架构的优势将会更加显著。


blog-machine-learning-5-4-release.png



立即试用并反馈

这些 Machine Learning 功能是 X-Pack 5.4 中的 beta 功能,现已可用。我们急切地想要听听您的使用体会,所以请下载 5.4 版本,安装 X-Pack,然后直接联系我们,或者通过我们的讨论论坛联系我们。
下载地址:https://www.elastic.co/cn/downloads
 

社区网站更新日志

medcl 发表了文章 • 3 个评论 • 833 次浏览 • 2017-04-28 23:30 • 来自相关话题

这里专门用来放社区网站更新的日志。
 
2017.4.28 支持 SSL




 
这里专门用来放社区网站更新的日志。
 
  • 2017.4.28 支持 SSL

Snip20170428_1.png

 

社区网站服务器迁移完毕

medcl 发表了文章 • 5 个评论 • 1299 次浏览 • 2017-04-24 14:52 • 来自相关话题

 感谢 ConvertLab 为本站提供服务器,目前服务器已经迁移完毕,大家可以感受一下速度!

 




同时感谢在此之前为本站提供网站空间的:谱时 
 
 
社区账号也支持 Github 绑定了。

感谢大家一路支持,社区有你更精彩。 查看全部
image001.png

 感谢 ConvertLab 为本站提供服务器,目前服务器已经迁移完毕,大家可以感受一下速度!

 
logoblack.png

同时感谢在此之前为本站提供网站空间的:谱时 
 
 
社区账号也支持 Github 绑定了。

感谢大家一路支持,社区有你更精彩。

Elastic南京meetup分享征集中

kenny_ye 发表了文章 • 3 个评论 • 1342 次浏览 • 2017-03-27 14:34 • 来自相关话题

南京meetup筹备中,有意提供分享的同学请将
1. 个人简介
2. 主题简介
3. 大概内容
发送到 kenny_ye@trendmicro.com.cn
 
征稿截止日期: 2017年5月7日
 
欢迎踊跃投稿!
南京meetup筹备中,有意提供分享的同学请将
1. 个人简介
2. 主题简介
3. 大概内容
发送到 kenny_ye@trendmicro.com.cn
 
征稿截止日期: 2017年5月7日
 
欢迎踊跃投稿!