【直播报名】ElasticTalk #9 Elasticsearch 分词器那些事儿

rockybean 发表了文章 • 0 个评论 • 163 次浏览 • 2 天前 • 来自相关话题

直播时间:
4月20日(周六) 14:00~15:00

直播内容:
对于刚接触 ES 的新手来说,分词器是个坎儿,如何正确理解分词以及如何正确使用分词器,是很重要的一项基础功,这次我们就来聊聊分词器的那些事儿~

analysis-chain.png

直播方式: 
直播链接会在开始前发送到讨论群中。
点击下方网站链接,选择对应 Webinar 注册即可

Webinar 注册链接

ElasticTalk #5 冷热架构那些事儿 直播回放

rockybean 发表了文章 • 0 个评论 • 178 次浏览 • 2019-03-23 21:47 • 来自相关话题

第5期 ElasticTalk 直播已经结束,我们主要讨论了 Elasticsearch 冷热架构的相关只是,感兴趣的同学可去如下网址观看回放。
 
ElasticTalk #5 Hot-Warm Architecture
 
ElasticTalk 是一个社区的 Webinar 活动,也欢迎感兴趣的伙伴加入,我们的目标如下:
1.研讨 Elastic Stack 的新功能、原理等,使更多的人以更直接的方式掌握其功能
2.锻炼参与者的选题、语言表达及沟通能力
 
目前是计划每周六下午 2:00 举行一场,形式主要以在线直播为主。
 
如果你对这个项目感兴趣,欢迎联系我!
 
招聘时间
我司在大力招聘 Elastic 技术专家,欢迎感兴趣的同学来投简历,地址如下:
http://www.elastictech.cn/jobs

ElasticTalk #4 ILM 索引生命周期管理直播回放

rockybean 发表了文章 • 0 个评论 • 173 次浏览 • 2019-03-17 15:19 • 来自相关话题

第4期 ElasticTalk 直播已经结束,我们主要讨论了 Elasticsearch 6.6 新增的 Index Lifecycle Management 功能,感兴趣的同学可去如下网址观看回放。
 
ElasticTalk #4 ILM
 
ElasticTalk 是一个社区的 Webinar 活动,也欢迎感兴趣的伙伴加入,我们的目标如下:
1.研讨 Elastic Stack 的新功能、原理等,使更多的人以更直接的方式掌握其功能
2.锻炼参与者的选题、语言表达及沟通能力
 
目前是计划每周六下午 2:00 举行一场,形式主要以在线直播为主。
 
如果你对这个项目感兴趣,欢迎联系我!
 
 
第4期 ElasticTalk 直播已经结束,我们主要讨论了 Elasticsearch 6.6 新增的 Index Lifecycle Management 功能,感兴趣的同学可去如下网址观看回放。
 
ElasticTalk #4 ILM
 
ElasticTalk 是一个社区的 Webinar 活动,也欢迎感兴趣的伙伴加入,我们的目标如下:
1.研讨 Elastic Stack 的新功能、原理等,使更多的人以更直接的方式掌握其功能
2.锻炼参与者的选题、语言表达及沟通能力
 
目前是计划每周六下午 2:00 举行一场,形式主要以在线直播为主。
 
如果你对这个项目感兴趣,欢迎联系我!
 
 

【ElasticTalk 直播来袭】Elasticsearch 6.6 之 Index Lifecycle Management Practice

rockybean 发表了文章 • 0 个评论 • 221 次浏览 • 2019-03-14 17:41 • 来自相关话题

直播时间:

3月16日(本周六) 14:00~15:00

直播内容:

Elastic Stack 已经更新到 6.6 版本,该版本带来很多新功能,比如:
  • Index Lifecycle Management
  • Frozen Index
  • Geoshape based on Bkd Tree
  • SQL adds support for Date histograms
  • ......


在这些众多功能中,Index Lifecycle Management(索引生命周期管理,后文简称 ILM) 是最受社区欢迎的功能,我们此次研讨会将聚焦该功能,为大家讲解关于 ILM 的概念、原理及实践。

ilm_summary.png



直播方式: 待定(B站或者斗鱼)

直播链接会在开始前发送到讨论群中。
点击我报名吧!

2018云栖大会关于es的专题视频有吗?

回复

lz8086 发起了问题 • 2 人关注 • 0 个回复 • 356 次浏览 • 2018-09-25 11:02 • 来自相关话题

【直播预告】ElasticTalk #4 Elastic 官方认证考试那些事儿

rockybean 发表了文章 • 0 个评论 • 565 次浏览 • 2018-07-23 08:33 • 来自相关话题

大家好,ElasticTalk 第4次直播将于本周进行,主题是关于 Elastic 官方认证考试的。
 
我于7月初成功通过了 Elastic Certified Engineer 的考试,拿到下面的徽章。

bin_certificate.png

 
感兴趣的同学可以扫下面海报中的二维码或者搜索 elastic-talk 微信号,添加好友后进入直播群。
 

phone_post.001_.jpeg

 

ElasticTalk #3 Elasticsearch压测实战 II esrally 进阶实战

rockybean 发表了文章 • 0 个评论 • 376 次浏览 • 2018-07-20 19:51 • 来自相关话题

ElasticTalk 第3期 直播的内容是 Elasticsearch 压测实战之 esrally 进阶实战。

本次我们主要讲解了 esrally 如何自定义测试集群、自定义数据集和报告,最后还讲了三步上手 esrally 的方法。
 
视频地址如下:
http://www.bilibili.com/video/av27117279/
ElasticTalk 第3期 直播的内容是 Elasticsearch 压测实战之 esrally 进阶实战。

本次我们主要讲解了 esrally 如何自定义测试集群、自定义数据集和报告,最后还讲了三步上手 esrally 的方法。
 
视频地址如下:
http://www.bilibili.com/video/av27117279/

ElasticTalk #2 Elasticsearch压测实战 I esrally 入门与实战

rockybean 发表了文章 • 0 个评论 • 381 次浏览 • 2018-07-20 19:49 • 来自相关话题

 
ElasticTalk 第2期 直播的内容是 Elasticsearch 压测实战之 esrally 入门和实战。希望这次直播可以帮助大家快速掌握 esrally 这款优秀的 es 压测工具。
 
视频地址如下:
https://www.bilibili.com/video/av27114309/
 
ElasticTalk 第2期 直播的内容是 Elasticsearch 压测实战之 esrally 入门和实战。希望这次直播可以帮助大家快速掌握 esrally 这款优秀的 es 压测工具。
 
视频地址如下:
https://www.bilibili.com/video/av27114309/

ElasticTalk #1 用 ElasticStack 快速收集和分析 Nginx 日志

rockybean 发表了文章 • 2 个评论 • 444 次浏览 • 2018-07-20 19:45 • 来自相关话题

 
去年做了3期 ElasticTalk 的直播节目,预计下周开始恢复。现在放出相关的视频内容,希望对大家有所帮助。
 
第1期的课程内容为用 ElasticStack 快速收集分析 Nginx 日志,其中详细讲解了如何使用 filebeat 的 module 功能。
 
 
视频地址如下:
https://www.bilibili.com/video/av27123368/
 
去年做了3期 ElasticTalk 的直播节目,预计下周开始恢复。现在放出相关的视频内容,希望对大家有所帮助。
 
第1期的课程内容为用 ElasticStack 快速收集分析 Nginx 日志,其中详细讲解了如何使用 filebeat 的 module 功能。
 
 
视频地址如下:
https://www.bilibili.com/video/av27123368/

Elastic Certified Engineer 徽章到手!Elastic 官方认证考试

rockybean 发表了文章 • 14 个评论 • 1084 次浏览 • 2018-07-14 08:27 • 来自相关话题

Elastic 官方在6月29日推出了认证服务,即 elastic certified engineer(官方网页),在7月9日我参加了认证考试,并顺利通过拿到了这枚官方认证的徽章。
 

elastic_certificate.png

 
考试还是有一定难度的,需要你对 elastic 的知识面有比较全面的掌握,由于是面向 engineer 的认证,所以只是在应用层面,不会考理论深度层面,感兴趣的同学可以根据官方的考纲重点来准备考试了,下周我会和大家再详细分享下该认证考试的方式和建议。
 
Good Luck!

《Elastic Stack 从入门到实践》的课程已在慕课网上线,一次搞定 es logstash beats kibana

rockybean 发表了文章 • 2 个评论 • 2216 次浏览 • 2018-04-03 22:58 • 来自相关话题

大家好,经过近半年的辛勤努力,我在慕课网推出了《Elastic Stack 从入门到实践》的课程(https://coding.imooc.com/class/chapter/181.html),其中包含了 elasticsearch 教程、beats 和 logstash 教程、kibana 教程,简单看下课程的内容:


第1章 课程概述
对课程整体进行介绍给出相关学习说明和建议

第2章 Elasticsearch 篇之 入门
本章会对 Elasticsearch 篇进行一个总体的介绍,让大家对该篇每一章要讲解的内容有初步的了解。然后会讲解 Elasticsearch 中常见的术语、api,然后运行 Elasticsearch 并实际感受 api 的调用方式,为接下来的课程做好准备。

第3章 Elasticsearch 篇之倒排索引与分词
本章会讲解搜索引擎的基础倒排索引,让大家对倒排索引有一个直观的认识,掌握它的组成。然后为大家讲解分词的相关知识,介绍 es 内置的分词器,还会介绍中文分词的常见解决方案。

第4章 Elasticsearch 篇之Mapping 设置
本章会讲解 Elasticsearch 中数据建模的基础--Mapping,即如何定义数据字段和类型。让大家熟悉 mapping 中常见的配置项,也会讲解 dynamic mapping 和 template 的相关知识。

第5章 Elasticsearch 篇之Search API 介绍
本章会讲解搜索特性,详细讲解 Search API 的组成和分类,带领大家逐个了解、掌握 API 的使用方法和技巧。

第6章 Elasticsearch 篇之分布式特性介绍
本章会讲解 Elasticsearch 集群是如何一步步搭建起来的,让大家了解不同节点类型的作用,shard 设计的意义以及文档是如何存储到 shard 上的,也会给大家介绍脑裂等问题。

第7章 Elasticsearch 篇之深入了解 Search 的运行机制
本章会深入讲解 Search 的运行机制,比如 Query 和 Fetch 阶段具体哪些工作,分片为相关性算分带来了哪些问题。另外还会讲解排序、分页与遍历的解决方案和相关问题。

第8章 Elasticsearch 篇之聚合分析入门
本章会介绍 Elasticsearch 聚合分析的功能,让大家了解其分类、组成,带领大家逐个了解、掌握每一个聚合 API 的使用方法和技巧,为后续 Kibana 使用打好基础。

第9章 Elasticsearch 篇之数据建模
本章会介绍使用 Elasticsearch 中要注意的数据建模常见问题以及优化思路和方案,让大家可以根据自己的业务场景设置最合理的模型。

第10章 Elasticsearch 篇之集群调优建议
本章会介绍 Elasticsearch 集群在搭建、配置上的注意事项,也会讲解读写性能优化的方案和调优的方式。

第11章 Logstash 篇之入门与运行机制
本章会介绍 Logstash 的作用、使用方法,让大家了解其组成和运行机制,带领大家实际操作 Logstash 来收集1个日志文件。

第12章 Logstash 篇之插件详解
本章会详细介绍 Input、Filter、Ouput 以及 Codec 插件 的作用和相关配置,让大家了解常见相关插件的使用场景和效果,以及如何合理选择各个插件来实现自己的业务需求。

第13章 Logstash 篇之实例分析
本章会以实例的形式为大家演示如何使用 Logstash 收集各种类型的数据,比如日志文件、数据库、tcp/udp 等。

第14章 Beats 篇之Filebeat
本章会介绍 Beats 的作用和组成,然后为大家详细介绍 Filebeat 的功能和常见配置,同时会详细讲解如何使用 Module 模块来快速完成日志的收集到分析工作。

第15章 Beats 篇之Metricbeat
本章会介绍 Metricbeat 的功能和使用技巧,让大家对 Metricbeat 的使用有一个直观的感受。

第16章 Beats 篇之Packetbeat
本章会介绍 Packetbeat 的功能和使用技巧,带领大家用 Packetbeat 来收集网络数据并进行分析,让大家对 Packetbeat 有一个直观的感受。

第17章 Beats 篇之其他 beat
本章会介绍其他众多beat的作用和应用场景,带领大家去发现社区提供的多种多样的beat,以满足日常业务开发的需求。

第18章 Kibana 篇之 入门与管理
本章会介绍 Kibana 的入门知识,让大家对 Kibana 有一个整体的了解,另外还会详细介绍Management 的功能,熟悉 Kibana 的配置。

第19章 Kibana 篇之 数据探索 Discovery
本章会介绍 Kibana 的数据探索功能,让大家了解 Discovery 的功能和使用技巧。

第20章 Kibana 篇之 可视化分析
本章会介绍Kibana 的可视化分析功能,首先会带领大家逐个操作 Kibana 提供的每一个图表,并会介绍时序分析工具 Timelion,然后会介绍如何使用 Dashboard功能来整合图表后讲故事或者做报表,也会讲解 Dashboard 使用中要注意的问题和使用技巧。 ...

第21章 实践篇 之搜索项目
本章会讲解一个搜索引擎相关的实践项目,带领大家通过编写少量的代码,快速基于 Elastic Stack 来构建一个具备常见搜索功能的系统,比如类似 Airbnb 的搜房系统、豆瓣电影等。

第22章 实践篇 之日志分析项目
本章会根据慕课网的日志为大家展示如何使用 Elastic Stack 来快速分析日志数据,带领大家一步步完成数据收集、处理、存储到可视化分析的步骤,最终打造属于自己的 Dashboard。

第23章 实践篇 之数据分析项目
本章会为大家展示如何使用 Elastic Stack 来分析身边的数据,比如空气质量分析、订单数据分析等等,让大家通过本章的学习可以快速将 Elastic Stack 应用到实际生活中。
 


 
实践方面我从搜索项目、日志分析和数据分析三个维度介绍了 Elastic Stack 的功能,可以看下最终的效果截图:
 

MyAirbnb.png

 

[Project]_imooc_log_-Nginx_Overview.png

 
 

[Project]_北京的空气质量这些年有变好吗?.png


[Project]_2016年的北京雾霾.png

 
那么剩下的就看你们了!
 
 
 
 
 
 
 
 

GitHub疑遭有史以来最强的DDoS 攻击 峰值流量高达1.35Tbps!

qq731761942 发表了文章 • 0 个评论 • 502 次浏览 • 2018-03-05 13:02 • 来自相关话题

北京时间周四凌晨1点15分,知名代码托管网站GitHub遭遇了有史以来最严重的DDoS网络攻击,峰值流量达到了1.35Tbps。尽管此类攻击的特点就是利用如潮水般的流量同时涌入网站,不过本次攻击不同之处在于采用了更先进的放大技术,目的是针对主机服务器产生更严重的影响。

t01d43737a3e41c986d.webp_.jpg


报道称,拥有超过900万开发者用户的GitHub,是全球最知名的开源代码库之一。美国东部时间周三下午,为用户提供海量开源代码的GitHub透露,其可能遭受了有史最强的DDoS攻击,专家称攻击者采用了放大攻击的新方法,可能会在未来发生更大规模的分布式拒绝服务(DDoS)攻击。

t010c91aa06f44a3a86.webp_.jpg


据悉,对GitHub平台的第一次峰值流量攻击达到了1.35Tbps,随后又出现了另外一次400Gbps的峰值,这可能也将成为目前记录在案的最强DDoS攻击。对GitHub的攻击甚至超过了2016年对Dyn的大规模DDoS攻击,峰值流量达1.2Tbps,当时关闭了美国的互联网服务。


然而,对GitHub的攻击几乎毫发无损,只经历了几分钟的零星停机时间。按照GitHub方面的说法,从当地时间2月28日起,GitHub.com经历了两次间歇性不可访问,但其强调开发者数据依然安全。此外,GitHub在攻击发生10分钟后便向CDN服务商Akamai请求协助,访问GitHub的流量目前已由AkamaiProlexic接管。Prolexic接管了中间人路由所有进出GitHub的流量,并通过其清理中心发送数据来清除和阻止恶意数据包。八分钟后,攻击者松了口气,袭击事件下降了。


近年来随着互联网病毒的广泛传播,大规模的DDoS攻击愈发增多。而GitHub也并非第一次遭到DDoS攻击,2015年,Github曾遭到当时最大规模的攻击。

关于社工库搭建的问题 请教各位老铁

laoyang360 回复了问题 • 3 人关注 • 2 个回复 • 3852 次浏览 • 2018-02-27 08:23 • 来自相关话题

百度网盘里面的资料都访问不了了,现在去哪可以下到?

medcl 回复了问题 • 2 人关注 • 1 个回复 • 581 次浏览 • 2017-11-02 16:02 • 来自相关话题

[分享]Kibana,Elasticsearch 指令速查

medcl 发表了文章 • 3 个评论 • 3082 次浏览 • 2017-10-31 14:10 • 来自相关话题

Elasticsearch_CheatSheet.jpg

Kibana_CheatSheet.jpg