悟空,拿我的打狗棒来

社区日报 第210期 (2018-03-14)

  1. elastic{on} 2018 新鲜出炉的3个开场视频,快来看看吧! http://t.cn/RnhEkAy

  2. 如果你在使用 Azure,来看看如何使用 ElasticStack 监控它吧! http://t.cn/RnhnA8O

  3. github 上开源的收集 docker 日志到 es 的项目 https://github.com/rchicoli/docker-log-elasticsearch
继续阅读 »
  1. elastic{on} 2018 新鲜出炉的3个开场视频,快来看看吧! http://t.cn/RnhEkAy

  2. 如果你在使用 Azure,来看看如何使用 ElasticStack 监控它吧! http://t.cn/RnhnA8O

  3. github 上开源的收集 docker 日志到 es 的项目 https://github.com/rchicoli/docker-log-elasticsearch
收起阅读 »

elasticsearch参考手册 (译文)

一直以来官方手册都是零散的阅读,没有完整的看过,导致对es很多功能还有使用细节并不是非常了解。
 
然后最近也是在debug 看源码,顺便想把官方文档也刷了,决定开始自己翻译 elasticsearch 官方参考手册。看到之前网上有人在翻译但是没有翻译完,自己也尝试一下。
 
公司用的是2.2版本的所以我就从这个版本开始翻译了,译文中会有一些批注,后续会持续关注高版本并把特性以批注的方式补上说明。
 
在线阅读: www.code4j.tech
 
github地址:https://github.com/rpgmakervx/ ... ation
 
掘金翻译计划:https://github.com/xitu/gold-miner
 
计划每周翻译两三篇吧,看情况。
 
英语只有六级啦,有些地方翻译起来也很笨拙,有翻译不恰当之处大家可以提issue呀!
继续阅读 »
一直以来官方手册都是零散的阅读,没有完整的看过,导致对es很多功能还有使用细节并不是非常了解。
 
然后最近也是在debug 看源码,顺便想把官方文档也刷了,决定开始自己翻译 elasticsearch 官方参考手册。看到之前网上有人在翻译但是没有翻译完,自己也尝试一下。
 
公司用的是2.2版本的所以我就从这个版本开始翻译了,译文中会有一些批注,后续会持续关注高版本并把特性以批注的方式补上说明。
 
在线阅读: www.code4j.tech
 
github地址:https://github.com/rpgmakervx/ ... ation
 
掘金翻译计划:https://github.com/xitu/gold-miner
 
计划每周翻译两三篇吧,看情况。
 
英语只有六级啦,有些地方翻译起来也很笨拙,有翻译不恰当之处大家可以提issue呀! 收起阅读 »

上海Elasticsearch技术沙龙

活动介绍

本期邀请了阿里巴巴、Elastic、eBay、饿了么的技术专家,分享Elasticsearch及其相关组件在搜索、日志分析和监控领域的应用,帮助开发者更好的理解Elastisearch及其相关组件。

活动安排

时间:2018年3月24日周六 13:30-17:30
地点:上海浦东南路855号世界广场B2层路演中心会场

活动主题

  • 13:30—14:00 签到
  • 14:00—14:40 《Elasticsearch在智能运维领域的应用》 Elastic布道师 曾勇
  • 14:40—15:20 《Performance Tuning Best Practice in Elasticsearch》 eBay技术专家 王佩
  • 15:20—16:00 《基于Elasticsearch的离线搜索平台架构设计》 阿里巴巴技术专家 杨孔仕
  • 16:00—16:40 《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么资深搜索工程师 徐胜
  • 16:40—17:30 自由交流

报名通道

活动报名通道:

https://yq.aliyun.com/event/208/join

使用钉钉扫描,加入Elasticsearch技术交流群:

QR

嘉宾介绍

曾勇 Elastic布道师、Elasticsearch中国社区发起人

在分布式搜索、高性能、高可用架构、自动化运维等方面积累了超过七年的经验。曾勇是Elasticsearch国内首批用户,自2010年起就开始接触Elasticsearch并投入到生产环境中使用,并编写过一系列的中文处理相关的插件。

演讲主题:《Elasticsearch在智能运维领域的应用》 分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践,如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。

王佩 eBay技术专家

9年文档存储、索引、搜索领域软件行业从业经验,使用ElasticSearch约3年。现在eBay的ElasticSearch管理平台Pronto项目组工作,主要方向是ElasticSearch集群的部署和性能调优。

演讲主题:《Performance Tuning Best Practice in Elasticsearch》 eBay内部很多个项目组使用了Elasticsearch来提供数据查询和分析服务,其中绝大部分cluster都是建立在Pronto平台上,由Pronto项目组负责管理维护60+集群和监控调优工作。本次分享介绍了Pronto的ElasticSearch性能调优实践流程,调优过程中的注意事项和检查手段。

杨孔仕 阿里巴巴技术专家

2013年加入阿里巴巴, 先后在淘宝终搜和主搜做搜索平台化的工作。2017年加入美柚,负责美柚的搜索工程技术, 同年11月回到阿里巴巴搜索事业部负责Elasticsearch项目开发工作。

演讲主题:《基于Elasticsearch的离线搜索平台架构设计》 本次分享介绍了基于Elasticsearch的搜索离线平台的系统设计,结合阿里终搜和阿里主搜以及美柚的离线平台的设计,聊聊离线的数据流程。

徐胜 饿了么资深搜索工程师

在ELasticsearch运维配置、性能调优、分布式计算有丰富实践。目前是饿了么搜索推荐研发部的资深搜索工程师,负责饿了么十几条业务线的es集群的运维、查询和监控平台。

演讲主题:《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么在10+个业务场景下,Elastisearch集群达到数百个node、千万级indices、TB级别数据量规模。嘉宾分享如何对大规模的线上集群进行运维配置、查询和监控应用。  

继续阅读 »

活动介绍

本期邀请了阿里巴巴、Elastic、eBay、饿了么的技术专家,分享Elasticsearch及其相关组件在搜索、日志分析和监控领域的应用,帮助开发者更好的理解Elastisearch及其相关组件。

活动安排

时间:2018年3月24日周六 13:30-17:30
地点:上海浦东南路855号世界广场B2层路演中心会场

活动主题

  • 13:30—14:00 签到
  • 14:00—14:40 《Elasticsearch在智能运维领域的应用》 Elastic布道师 曾勇
  • 14:40—15:20 《Performance Tuning Best Practice in Elasticsearch》 eBay技术专家 王佩
  • 15:20—16:00 《基于Elasticsearch的离线搜索平台架构设计》 阿里巴巴技术专家 杨孔仕
  • 16:00—16:40 《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么资深搜索工程师 徐胜
  • 16:40—17:30 自由交流

报名通道

活动报名通道:

https://yq.aliyun.com/event/208/join

使用钉钉扫描,加入Elasticsearch技术交流群:

QR

嘉宾介绍

曾勇 Elastic布道师、Elasticsearch中国社区发起人

在分布式搜索、高性能、高可用架构、自动化运维等方面积累了超过七年的经验。曾勇是Elasticsearch国内首批用户,自2010年起就开始接触Elasticsearch并投入到生产环境中使用,并编写过一系列的中文处理相关的插件。

演讲主题:《Elasticsearch在智能运维领域的应用》 分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践,如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。

王佩 eBay技术专家

9年文档存储、索引、搜索领域软件行业从业经验,使用ElasticSearch约3年。现在eBay的ElasticSearch管理平台Pronto项目组工作,主要方向是ElasticSearch集群的部署和性能调优。

演讲主题:《Performance Tuning Best Practice in Elasticsearch》 eBay内部很多个项目组使用了Elasticsearch来提供数据查询和分析服务,其中绝大部分cluster都是建立在Pronto平台上,由Pronto项目组负责管理维护60+集群和监控调优工作。本次分享介绍了Pronto的ElasticSearch性能调优实践流程,调优过程中的注意事项和检查手段。

杨孔仕 阿里巴巴技术专家

2013年加入阿里巴巴, 先后在淘宝终搜和主搜做搜索平台化的工作。2017年加入美柚,负责美柚的搜索工程技术, 同年11月回到阿里巴巴搜索事业部负责Elasticsearch项目开发工作。

演讲主题:《基于Elasticsearch的离线搜索平台架构设计》 本次分享介绍了基于Elasticsearch的搜索离线平台的系统设计,结合阿里终搜和阿里主搜以及美柚的离线平台的设计,聊聊离线的数据流程。

徐胜 饿了么资深搜索工程师

在ELasticsearch运维配置、性能调优、分布式计算有丰富实践。目前是饿了么搜索推荐研发部的资深搜索工程师,负责饿了么十几条业务线的es集群的运维、查询和监控平台。

演讲主题:《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么在10+个业务场景下,Elastisearch集群达到数百个node、千万级indices、TB级别数据量规模。嘉宾分享如何对大规模的线上集群进行运维配置、查询和监控应用。  

收起阅读 »

社区日报 第209期 (2018-03-13)

1.亿级PV的ELK集群实践之路。
http://t.cn/RnvPElX
2.高效管理Elasticsearch中基于时间的索引。
http://t.cn/REFMMZM
3.elastalert,使用ElasticSearch轻松的&灵活警报。
http://t.cn/REFxc7F
 
编辑:叮咚光军
归档:https://elasticsearch.cn/article/529 
订阅:https://tinyletter.com/elastic-daily  
继续阅读 »
1.亿级PV的ELK集群实践之路。
http://t.cn/RnvPElX
2.高效管理Elasticsearch中基于时间的索引。
http://t.cn/REFMMZM
3.elastalert,使用ElasticSearch轻松的&灵活警报。
http://t.cn/REFxc7F
 
编辑:叮咚光军
归档:https://elasticsearch.cn/article/529 
订阅:https://tinyletter.com/elastic-daily   收起阅读 »

社区日报 第208期 (2018-03-12)

1. Elasticsrach-dump : 数据导入导出工具
http://t.cn/8kmCqB2

2. 多个ElasticSearch Cluster的一致性问题
http://t.cn/RIwrbul

3. searchkit:一款方便的搜索UI,帮你快速构建一套搜索系统。
http://t.cn/Rqv3jow 

编辑:cyberdak
归档:https://elasticsearch.cn/article/528
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1. Elasticsrach-dump : 数据导入导出工具
http://t.cn/8kmCqB2

2. 多个ElasticSearch Cluster的一致性问题
http://t.cn/RIwrbul

3. searchkit:一款方便的搜索UI,帮你快速构建一套搜索系统。
http://t.cn/Rqv3jow 

编辑:cyberdak
归档:https://elasticsearch.cn/article/528
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第207期 (2018-03-11)

1.febAzure监控和Azure日志分析:何时使用哪个。 
http://t.cn/REr0nPS 
2.(自备梯子)Sherlock:近实时搜索索引。 
http://t.cn/RErpGvJ 
3.(自备梯子)代码审查最佳实践。 
http://t.cn/RErplG9 
 
编辑:至尊宝 
归档:https://elasticsearch.cn/article/527
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.febAzure监控和Azure日志分析:何时使用哪个。 
http://t.cn/REr0nPS 
2.(自备梯子)Sherlock:近实时搜索索引。 
http://t.cn/RErpGvJ 
3.(自备梯子)代码审查最佳实践。 
http://t.cn/RErplG9 
 
编辑:至尊宝 
归档:https://elasticsearch.cn/article/527
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第206期 (2018-03-10)

  1. 使用物联网设备,Node.js,ELK,MQTT追踪展示空气污染状况。 http://t.cn/RE3UL0w

  2. 新手营:ES中索引模板的运用。 http://t.cn/RE3V6Mk

  3. 人是怎么废掉的? http://t.cn/RE3VCCh
继续阅读 »
  1. 使用物联网设备,Node.js,ELK,MQTT追踪展示空气污染状况。 http://t.cn/RE3UL0w

  2. 新手营:ES中索引模板的运用。 http://t.cn/RE3V6Mk

  3. 人是怎么废掉的? http://t.cn/RE3VCCh
收起阅读 »

社区日报 第205期 (2018-03-09)

1. Elasticsearch在电商领域的实战应用
http://t.cn/REEzwES
2.使用Docker和Elasticsearch搭建全文本搜索引擎应用
http://t.cn/REEzUng
3.剖析Elasticsearch索引原理
http://t.cn/R8CcO9g 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/525
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1. Elasticsearch在电商领域的实战应用
http://t.cn/REEzwES
2.使用Docker和Elasticsearch搭建全文本搜索引擎应用
http://t.cn/REEzUng
3.剖析Elasticsearch索引原理
http://t.cn/R8CcO9g 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/525
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第204期 (2018-03-08)

  1. 知乎Live全文搜索之使用Elasticsearch全文搜索。 http://t.cn/RxAz6g1

  2. 简单尝试Kibana Canvas插件。 http://t.cn/RE8osJJ

  3. 用ansible管理你的es集群。 http://t.cn/RE8KPZR
继续阅读 »
  1. 知乎Live全文搜索之使用Elasticsearch全文搜索。 http://t.cn/RxAz6g1

  2. 简单尝试Kibana Canvas插件。 http://t.cn/RE8osJJ

  3. 用ansible管理你的es集群。 http://t.cn/RE8KPZR
收起阅读 »

Docker 社区版中 Kubernetes 开启

Docker 社区版从 17.12 版本开始已经提供了对 Kubernetes 的支持。但是由于其安装过程依赖的镜像服务在国内访问很不稳定,很多朋友都无法配置成功。阿里提供了一个简单的工具帮助大家开启 Docker 社区版的Kubernetes 功能

开启 Kubernetes 从 Docker 官方站点下载并安装 Docker for Mac 或 Docker for Windows

在 Docker -> Preferences ... 中,配置 registry mirror 为 https://registry.docker-cn.com

具体步骤参考: https://github.com/wellpeng/k8s-for-docker-desktop
 
继续阅读 »
Docker 社区版从 17.12 版本开始已经提供了对 Kubernetes 的支持。但是由于其安装过程依赖的镜像服务在国内访问很不稳定,很多朋友都无法配置成功。阿里提供了一个简单的工具帮助大家开启 Docker 社区版的Kubernetes 功能

开启 Kubernetes 从 Docker 官方站点下载并安装 Docker for Mac 或 Docker for Windows

在 Docker -> Preferences ... 中,配置 registry mirror 为 https://registry.docker-cn.com

具体步骤参考: https://github.com/wellpeng/k8s-for-docker-desktop
  收起阅读 »

社区日报 第203期 (2018-03-07)

1. 中小规模搜索引擎(ElasticSearch)典型应用场景及性能优化系列文章(一共四篇)
http://t.cn/RlDYuI7 
http://t.cn/RlDeubP 
http://t.cn/Rjwyqwm 
http://t.cn/REQIHEp 
2. ElasticSearch tips
http://t.cn/REQIe3k 
http://t.cn/REQIsmF 
3. 多数据源索引同步设计
http://t.cn/RjCAaus 
 
编辑:江水
归档:https://elasticsearch.cn/article/522
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1. 中小规模搜索引擎(ElasticSearch)典型应用场景及性能优化系列文章(一共四篇)
http://t.cn/RlDYuI7 
http://t.cn/RlDeubP 
http://t.cn/Rjwyqwm 
http://t.cn/REQIHEp 
2. ElasticSearch tips
http://t.cn/REQIe3k 
http://t.cn/REQIsmF 
3. 多数据源索引同步设计
http://t.cn/RjCAaus 
 
编辑:江水
归档:https://elasticsearch.cn/article/522
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第202期 (2018-03-06)

1.亚马逊AWS官方博客-基于ECS的容器日志解决方案。
http://t.cn/RElYPUV 
2.从Elasticsearch集群及数据层架构,看阿里少强谈分布式系统设计。
http://t.cn/REiAZ6H 
3.Filebeat和Logstash收集Nginx日志到Elasticsearch详解姊妹篇。
http://t.cn/RElYzIa 
http://t.cn/RElYAo6 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/520 
订阅:https://tinyletter.com/elastic-daily 
 
 
继续阅读 »
1.亚马逊AWS官方博客-基于ECS的容器日志解决方案。
http://t.cn/RElYPUV 
2.从Elasticsearch集群及数据层架构,看阿里少强谈分布式系统设计。
http://t.cn/REiAZ6H 
3.Filebeat和Logstash收集Nginx日志到Elasticsearch详解姊妹篇。
http://t.cn/RElYzIa 
http://t.cn/RElYAo6 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/520 
订阅:https://tinyletter.com/elastic-daily 
 
  收起阅读 »

GitHub疑遭有史以来最强的DDoS 攻击 峰值流量高达1.35Tbps!

北京时间周四凌晨1点15分,知名代码托管网站GitHub遭遇了有史以来最严重的DDoS网络攻击,峰值流量达到了1.35Tbps。尽管此类攻击的特点就是利用如潮水般的流量同时涌入网站,不过本次攻击不同之处在于采用了更先进的放大技术,目的是针对主机服务器产生更严重的影响。

t01d43737a3e41c986d.webp_.jpg


报道称,拥有超过900万开发者用户的GitHub,是全球最知名的开源代码库之一。美国东部时间周三下午,为用户提供海量开源代码的GitHub透露,其可能遭受了有史最强的DDoS攻击,专家称攻击者采用了放大攻击的新方法,可能会在未来发生更大规模的分布式拒绝服务(DDoS)攻击。

t010c91aa06f44a3a86.webp_.jpg


据悉,对GitHub平台的第一次峰值流量攻击达到了1.35Tbps,随后又出现了另外一次400Gbps的峰值,这可能也将成为目前记录在案的最强DDoS攻击。对GitHub的攻击甚至超过了2016年对Dyn的大规模DDoS攻击,峰值流量达1.2Tbps,当时关闭了美国的互联网服务。


然而,对GitHub的攻击几乎毫发无损,只经历了几分钟的零星停机时间。按照GitHub方面的说法,从当地时间2月28日起,GitHub.com经历了两次间歇性不可访问,但其强调开发者数据依然安全。此外,GitHub在攻击发生10分钟后便向CDN服务商Akamai请求协助,访问GitHub的流量目前已由AkamaiProlexic接管。Prolexic接管了中间人路由所有进出GitHub的流量,并通过其清理中心发送数据来清除和阻止恶意数据包。八分钟后,攻击者松了口气,袭击事件下降了。


近年来随着互联网病毒的广泛传播,大规模的DDoS攻击愈发增多。而GitHub也并非第一次遭到DDoS攻击,2015年,Github曾遭到当时最大规模的攻击。
继续阅读 »
北京时间周四凌晨1点15分,知名代码托管网站GitHub遭遇了有史以来最严重的DDoS网络攻击,峰值流量达到了1.35Tbps。尽管此类攻击的特点就是利用如潮水般的流量同时涌入网站,不过本次攻击不同之处在于采用了更先进的放大技术,目的是针对主机服务器产生更严重的影响。

t01d43737a3e41c986d.webp_.jpg


报道称,拥有超过900万开发者用户的GitHub,是全球最知名的开源代码库之一。美国东部时间周三下午,为用户提供海量开源代码的GitHub透露,其可能遭受了有史最强的DDoS攻击,专家称攻击者采用了放大攻击的新方法,可能会在未来发生更大规模的分布式拒绝服务(DDoS)攻击。

t010c91aa06f44a3a86.webp_.jpg


据悉,对GitHub平台的第一次峰值流量攻击达到了1.35Tbps,随后又出现了另外一次400Gbps的峰值,这可能也将成为目前记录在案的最强DDoS攻击。对GitHub的攻击甚至超过了2016年对Dyn的大规模DDoS攻击,峰值流量达1.2Tbps,当时关闭了美国的互联网服务。


然而,对GitHub的攻击几乎毫发无损,只经历了几分钟的零星停机时间。按照GitHub方面的说法,从当地时间2月28日起,GitHub.com经历了两次间歇性不可访问,但其强调开发者数据依然安全。此外,GitHub在攻击发生10分钟后便向CDN服务商Akamai请求协助,访问GitHub的流量目前已由AkamaiProlexic接管。Prolexic接管了中间人路由所有进出GitHub的流量,并通过其清理中心发送数据来清除和阻止恶意数据包。八分钟后,攻击者松了口气,袭击事件下降了。


近年来随着互联网病毒的广泛传播,大规模的DDoS攻击愈发增多。而GitHub也并非第一次遭到DDoS攻击,2015年,Github曾遭到当时最大规模的攻击。 收起阅读 »

​社区日报 第201期 (2018-03-05)

1. App搜索一站式解决方案 , swiftype-app-search开始公测
http://t.cn/REOPVZy
2. Conveyor : 图形化数据导入工具
http://t.cn/REOhwGT
3. Kibana 文档参看强化插件,以markdown格式展示文档
http://t.cn/REOhKgB

编辑:cyberdak
归档:https://elasticsearch.cn/article/518
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. App搜索一站式解决方案 , swiftype-app-search开始公测
http://t.cn/REOPVZy
2. Conveyor : 图形化数据导入工具
http://t.cn/REOhwGT
3. Kibana 文档参看强化插件,以markdown格式展示文档
http://t.cn/REOhKgB

编辑:cyberdak
归档:https://elasticsearch.cn/article/518
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第200期 (2018-03-04)

1.Elasticsearch插件初学者指南。
http://t.cn/RENLNC3
2.(自备梯子)保护Elasticsearch和Kibana。
http://t.cn/RENA3Sb
3.(自备梯子)如何成功地教自己如何编码。
http://t.cn/RENLbGm

编辑:至尊宝
归档:https://elasticsearch.cn/article/517
订阅:https://tinyletter.com/elastic-daily 
继续阅读 »
1.Elasticsearch插件初学者指南。
http://t.cn/RENLNC3
2.(自备梯子)保护Elasticsearch和Kibana。
http://t.cn/RENA3Sb
3.(自备梯子)如何成功地教自己如何编码。
http://t.cn/RENLbGm

编辑:至尊宝
归档:https://elasticsearch.cn/article/517
订阅:https://tinyletter.com/elastic-daily  收起阅读 »